spark 最新版1.0本地模式安装_spark入门学习一

1：环境准备(可以是虚拟机)

     

1：准备虚拟机一台，我安装的是redhat6.4的32位操作系统。

2 :修改hostname。使用命令hostname localhost（如需重启后生效，可以 修改配置文件/etc/sysconfig/network中的HOSTNAME=localhost即可）。另修改/etc/hosts ,用#注释掉默认的文本，添加127.0.0.1 localhost即可。

3：jdk安装（大家可根据操作系统的版本安装相应的JDK，建议1.6以上版本），我的虚拟机是32位的，可下载jdk-6u43-linux-i586.bin文件，上传到/home/software目录下，用命令chmod 755 jdk-6u43-linux-i586.bin授可执行权限。然后./jdk-6u43-linux-i586.bin执行即可快速安装，默认路径在/home/software/jdk1.6.0_43目录中。

4：配置JAVA_HOME。在/etc/profile文件中添加

      export JAVA_HOME=/home/software/jdk1.6.0_43

      export PATH = $PATH:$JAVA_HOME/bin

      保存后用命令source /etc/profile使环境配置修改生效。

用命令java、javac、java -version测试jdk是否成功。

扫描二维码关注公众号，回复： 3783344 查看本文章

二 :解压spark安装包

  1：下载编译好的spark安装包： spark-1.0.0-bin-hadoop1.tgz （下载地址）

  2：在/home目录下解压tar -zxvf spark-1.0.0-bin-hadoop1.tgz

  3：配置环境变量

       在/etc/profile文件中添加SPARK_HOME=/home/ spark-1.0.0-bin-hadoop1

三 :测试运行

1： 进入 /home/ spark-1.0.0-bin-hadoop1目录下，命令启动bin/spark-shell即可启动spark的命令操作区

scala> val textFile = sc.textFile("README.md")
textFile: spark.RDD[String] = spark.MappedRDD@2ee9b6XXX

scala> textFile.count() // Number of items in this RDD
res0: Long = 127

1： spark的默认端口是4040，web界面通过http://localhost:4040访问

三 :总结

  本地模式的spark安装非常简单，只需要解压下载好的已经编译好的JAR包即可运行，作为单机环境下测试非常好。后续会有集群模式下的spark安装以及spark on  yarn上的集群安装。期待。。。