Sparkの最初のプログラム

1.インストール

Linux環境で
は、対話型ツールとしてpysparkとjupyterノートブックを使用します。
特にSpark Getting Startedを参照してください。

2.最初のプログラム

円周率を計算します。

import random
num_samples = 100000000

def inside(p):     
  x, y = random.random(), random.random()
  return x*x + y*y < 1

count = sc.parallelize(range(0, num_samples)).filter(inside).count()

pi = 4 * count / num_samples
print(pi)

sc.stop()

演算結果：

3.1417056

---

参照：

1. PySparkとJupyter Notebookを3分でインストールする方法