Spark GraphX技术应用与开发

SPARKGRAPHX基本概念与操作图的产生社交关系网页链接表格与图的自由转换BSP模型传统图计算模型实现SuperStep计算，通信，同步(Barrier)优点：简单缺点：Barrier影响效率GAS模型SparkGraphX采用的模型Gather、Apply、Scatter单边粒度的操作，可以并行传统图计算SPARKGRAPHX计算图切分GRAPHX采用点切分点切分法RandomVertexCutCanonicaRandomVertexCutEdgePartition1DEdgePartition2DGRAPHX属性GRAPHX编程·创建图Graph.edges为边，graph.vertices为点从文件创建图GRAPHX基本操作属性操作mapVertices、mapEdges、mapTriplets结构操作reversesubgraphmaskgroupEdges度计算inDegreesoutDegreesDegrees邻居collectNeighborIdscollectNeighbors连接操作Joinoutjoin成熟算法Pageranker最短路径三角数·社区发现淘宝应用度分布，检测超级节点，大客户，大商家2跳邻居数，更广传播，潜在利益连通图，发现社区多图合并，协同推荐能量传播，用户聚类未来图计算的前景就淘宝而言，未来Graphx模型将主要应用于用户网络的社区发现、用户影响力、能量传播、标签传播等，提升用户黏性和活跃度推荐领域的标签推理、人群划分、年龄段预测、商品交易时序跳转，则可以提升推荐的丰富度和准确性。