Spark Review 11: algoritmo gráfico incorporado, análisis de algoritmo de PageRank y caso simple

1. Descripción del algoritmo de PageRank:

1.1 Inicialice cada vértice con un valor de clasificación de página de 1 / N, donde N es el número total de vértices en el gráfico.

1.2 Bucle:
              cada vértice envía un valor PR de 1 / M a lo largo del borde de salida, donde M es el grado de salida del vértice actual.

             Cuando cada vértice recibe otros valores PR enviados de vértices vecinos, el total de estos valores PR se toma como el nuevo valor PR del vértice actual.

             El PR del vértice en el gráfico no cambia significativamente en comparación con la iteración anterior, y la iteración se cierra.

2. Caso del algoritmo de PageRank:

package sparkGraphX

import org.apache.spark.graphx.{Graph, GraphLoader, VertexRDD}
import org.apache.spark.{SparkConf, SparkContext}

object pageRankTest {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("SimpleGraphX").setMaster("local")
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")
    val graph: Graph[Int, Int] = GraphLoader.edgeListFile(sc,"D:/web.txt")
//  val web: VertexRDD[Double] = graph.pageRank(0.001).vertices   //动态调用 参数为收敛值
    val staticPage: VertexRDD[Double] = graph.staticPageRank(5).vertices  //静态调用 参数为迭代次数,第二个参数为resetProb: Double = 0.15为方法写死的值,不需要写即可。
    staticPage.collect.foreach(println(_)) //输出计算的结果

  }
}

 Resultados impresos: Representación gráfica de vértices:

                    

Análisis de resultados:

2 tiene la mayor cantidad de grados, por lo que el valor de clasificación es el más alto, y solo hay un grado de salida para el vértice 2, que es 8, por lo que el valor de 8 es relativamente alto. El grado de salida de 8 es 1, y 1 tiene dos grados de salida, extendiendo los valores de clasificación. Y así sucesivamente. También existe la influencia de los coeficientes de valor de clasificación. Esta es solo una aplicación preliminar.

29 artículos originales publicados · 55 elogiados · visitas 1491

Supongo que te gusta

Origin blog.csdn.net/csdnliu123/article/details/105636761
Recomendado
Clasificación