分享

about云系列spark入门6:GraphX 介绍



GraphX 是 图 和 图并行计算的 Apache Spark's API

灵活性

图与集合无缝结合

图结合ETL,探索性分析,迭代图计算。你可以看到相同的数据,在图和集合中。
使用RDD  transformjoin 图,使用 Pregel API 编写自定义迭代图算法

[mw_shl_code=scala,true]graph = Graph(vertices, edges)
messages = spark.textFile("hdfs://...")
graph2 = graph.joinVertices(messages) {
(id, vertex, msg) => ...
}[/mw_shl_code]



速度

在性能上比专业的图片处理系统还快,同时保持了spark的灵活性,故障容错和易于使用

graphx-perf-comparison.png

算法

选择一个图形算法库

除了高度灵活的API,GraphX还有各种图形算法。


  • PageRank
  • Connected components
  • Label propagation
  • SVD++
  • Strongly connected components
  • Triangle count






已有(1)人评论

跳转到指定楼层
小南3707 发表于 2015-7-10 09:07:16
赞!            
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条