spark學習筆記（1）

Apache Spark

Apache Spark是一種新型的快速通用的集群計算引擎。Spark是基於內存計算的大數據計算框架，提高了在大數據環境下數據處理的實時性，同時保證了高容錯性和高可伸縮性，允許用戶將Spark部署在大量廉價的硬件之上。形成集群。

1. 分佈式計算；
2. 內存計算
3. 容錯
4. 多計算範式

Scala的值類型（無引用類型）

Byte，Char，Short，Int，Long，Float，Double
scala
聲明方法
def f1(x:Int,y:Int) : Int = x + y
聲明函數
var f1(x: int, y : Int)=> x + y
函數作為方法的參數
def m2(f:(Int,Int)=>Int) = f(3,4)
val f1 = (x: Int, y :Int) => x + y
m2(f1)

var res = for(i <- 1 to 10) yield i
res: scala.collection.immutable.IndexedSeq[Int] = Vector(1, 2, 3, 4, 5, 6, 7, 8,9, 10)
println(res)
(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)

var arr1 = new ArrayInt
array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0)