Giraph的大数据量测试

测试总结:开启Out of Core配置有一定作用,但是任然不能处理任意大小的数据。

算法PageRank

  1. 不开启Out of Core,数据文件244M,用-Xmx1G的程序测试,很快失败。

  2. 开启Out of Core,数据文件244M, 用-Xmx1G的程序测试,设置giraph.useOutOfCoreGraph=true, giraph.useOutOfCoreMessages=true
    partitions的数量设置100, giraph.maxPartitionsInMemory=2
    结果:运行成功

  3. 开启Out of Core, 数据文件在1G,用-Xmx1G的程序测试,giraph.useOutOfCoreGraph=true, giraph.useOutOfCoreMessages=true
    partitions的数量设置1000, giraph.maxPartitionsInMemory=2
    结果运行失败

猜你喜欢

转载自blog.csdn.net/houzhizhen/article/details/106712703