Spark RDD 练习题（python）

from pyspark import SparkContext
sc = SparkContext('local', 'pyspark')

牛顿法求平方根

我们知道牛顿法求 $\sqrt{n}$ (达到eps准确度)的算法是这样的：**
* 给定一个初始值 $x = 1.0$.
* 求$x$和$n / x$的平均$(x + n/x)/2$
* 根据$(x + n/x)/2$和$\sqrt{n}$的大小比较，确定下一步迭代的2个端点，同时不断迭代直至$x*x$与$n$之间的差值小于$eps$.

在Spark中完成上述算法

给定0-9 10个数的作为输入，计算它们的平方根，初始值都设为1.0

initial_sqrt=[(n,1.0) for n in range(10)]
initial_sqrt

[(0, 1.0),
 (1, 1.0),
 (2, 1.0),
 (3, 1.0),
 (4, 1.0),
 (5, 1.0),
 (6, 1.0),
 (7, 1.0),
 (8, 1.0),
 (9, 1.0)]

设置误差eps和最大迭代次数max_iter
并执行牛顿法求平方根

eps=0.0001
max_iter=10
ns=sc.parallelize(initial_sqrt)
while max_iter!=0:
    ns=ns.map(lambda n:(n[0],(n[1]+n[0]/n[1])/2) if abs(n[1]**2-n[0])>eps else n)
    ns.cache()
    max_iter-=1
ns.collect()

[(0, 0.0078125),
 (1, 1.0),
 (2, 1.4142156862745097),
 (3, 1.7320508100147274),
 (4, 2.0000000929222947),
 (5, 2.2360688956433634),
 (6, 2.4494943716069653),
 (7, 2.64576704419029),
 (8, 2.8284271250498643),
 (9, 3.000000001396984)]

在Spark里使用reduce()计算10!

rdd = sc.parallelize(range(1,10+1))
rdd.reduce(lambda x, y: x * y)

3628800