测试总结:开启Out of Core配置有一定作用,但是任然不能处理任意大小的数据。
算法PageRank
-
不开启Out of Core,数据文件244M,用-Xmx1G的程序测试,很快失败。
-
开启Out of Core,数据文件244M, 用-Xmx1G的程序测试,设置giraph.useOutOfCoreGraph=true, giraph.useOutOfCoreMessages=true
partitions的数量设置100, giraph.maxPartitionsInMemory=2
结果:运行成功 -
开启Out of Core, 数据文件在1G,用-Xmx1G的程序测试,giraph.useOutOfCoreGraph=true, giraph.useOutOfCoreMessages=true
partitions的数量设置1000, giraph.maxPartitionsInMemory=2
结果运行失败