因为应用需要开始学习数据处理技术,网上多使用spark，随大流也选用spark （spark性能是hadoop的100倍，我也是道听途说，没有亲测。）
1.ssh免密登录配置
Mac 自带ssh 不需安装，只需要生成秘要并放入秘要文件中即可
生成秘要文件： ssh-keygen -t rsa
第一个输入提示是 生成文件名可以直接回车使用默认的文件名，如果默认文件名已经有文件存在会有提示是否覆盖，根据提示输入yes即可覆盖原有文件。紧接着提示输入密码和确认密码。
生成的文件默认在~/.ssh/目录中，然后将id_rsa.pub文件写入authorized_keys中 ：cat id_rsa.pub >> authorized_key
authorized_keys 是ssh登录是认证文件，如果存在key可以认为是信任用户直接登录。
文件夹下hosts（可能不存在）是一个缓存文件，记录登录的用户ip或用户名，如果用户key有变动可以删除此文件。
Mac中不允许root用户使用ssh登录（安全策略）默认最大连接数是10 ，默认不开启秘要登录。开启秘要登录：PubkeyAuthentication yes
最大连接数：MaxStartups 10启动sshd服务：sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist
停止sshd服务：
sudo launchctl unload -w /System/Library/LaunchDaemons/ssh.plist
查看是否启动：
sudo launchctl list | grep ssh
可能会出现文件权限问题，或者是ip 黑名单 ，端口被占用或其他问题可以使用 shh -v localhost 查看日志分析。
2.配置JAVA_HOME 环境变量
mac中使用 /usr/libexec/java_home -V 查看jdk安装路径 在~/.bash_profile 中添加JAVA_HOME环境变量并重新加载 source ~/.bash_profile
3.下载对应版本的hadoop （本人使用的是2.8.3版本其他版本可另行寻找资料）
本人是使用hadoop程序编译安装的，可以避免出现下载版本native加载失败的问题
hadoop release文件下载路径 http://hadoop.apache.org/releases.html
安装mevan 并设置环境变量 可自行产考其他教程，
安装protobuf2.5.0
安装cmake ：brew install cmak
安装openssl跟snappy ：brew install openssl ，brew install snappy
上述安装成功后进入hadoop-2.8.3-src文件夹
1:终端执行
cmake /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=64
执行成功后
2：打开配置Java环境变量的地方
3：添加下面两行（具体根据自己电脑上的openssl安装版本还有文件地址配置）
export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2l
export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2l/include
4：记住修改环境变量后一定要执行立即生效命令，然后再执行
cmake /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=6
然后执行
mvn clean package -Pdist,native -DskipTests -Dtar
编译成功后可以将编译后文件放到需要的位置，编译后文件在 dict项目target文件夹中。
编译参考：https://blog.csdn.net/syso_alt_hao/article/details/77655862
之后开始配置hadoop
参考https://www.cnblogs.com/bigdataZJ/p/hellospark.html
编译中可能会出现权限问题，建议使用普通用权限安装。