版权声明：转载请链接 https://blog.csdn.net/DPnice/article/details/89850263
软件版本:
| 软件 | 版本 | 压缩包包名 |
|---|---|---|
| seaweedfs | seaweedfs-1.24 | linux_amd64.tar.gz |
| hadoop | 2.7.1 | |
| spark | 2.3.1 |
| 依赖jar包 | 版本 | mvnrepository |
|---|---|---|
| seaweedfs-hadoop-client | 1.0.2 | https://mvnrepository.com/artifact/com.github.chrislusf/seaweedfs-hadoop-client |
前置要求：
启动一个weed filer
配置Hadoop以使用SeaweedFS
向core-site.xml 添加几个属性：
fs.seaweedfs.impl：此属性定义SeaweedFS HDFS客户端JAR中包含的Seaweed HCFS实现类。这是必需的。
fs.defaultFS：此属性定义要使用的默认文件系统URI。如果路径始终具有前缀，则它是可选的seaweedfs://localhost:8888。
<configuration>
<property>
<name>fs.seaweedfs.impl</name>
<value>seaweed.hdfs.SeaweedFileSystem</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>seaweedfs://localhost:8888</value>
</property>
</configuration>
部署SeaweedFS HDFS客户端jar
# 执行命令查看 hadoop 的 classpath
$ bin/hadoop classpath
# 复制jar 包到 任意一个文件夹下
$ cd ${HADOOP_HOME}
$ cp ./seaweedfs-hadoop-client-x.x.x.jar share/hadoop/common/lib/
确保spark配置了HADOOP_CONF_DIR
将$ SPARK_HOME/conf/spark-env.sh中的HADOOP_CONF_DIR设置为包含配置文件core-site.xml的位置
启动spark-shell
/usr/local/spark/bin/spark-shell --master spark://mgr1:7077 --jars /usr/local/hadoop/share/hadoop/common/lib/seaweedfs-hadoop-client-1.0.2.jar
#测试读写
scala> sc.textFile("seaweedfs://data1:8888/path/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("seaweedfs://data1:8888/out-1.0.2")
使用spark-submit
$ /bin/spark-submit \
--name "My app" \
--master spark://mgr1:7077 \
--conf spark.eventLog.enabled=false \
--conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \
--conf spark.hadoop.fs.seaweedfs.impl=seaweed.hdfs.SeaweedFileSystem \
--conf spark.hadoop.fs.defaultFS=seaweedfs://data1:8888 \
myApp.jar
–jars 为diver和executor添加附加jar包，多个jar包以逗号分割。