著作権：転載リンクしてくださいhttps://blog.csdn.net/DPnice/article/details/89850263
ソフトウェア・バージョン：
| ソフトウェア | 版 | 圧縮袋の名前 |
|---|---|---|
| seaweedfs | seaweedfs-1.24 | linux_amd64.tar.gz |
| Hadoopの | 2.7.1 | |
| スパーク | 2.3.1 |
| 依存するJARパッケージ | 版 | mvnrepository |
|---|---|---|
| seaweedfs-Hadoopのクライアント | 1.0.2 | https://mvnrepository.com/artifact/com.github.chrislusf/seaweedfs-hadoop-client |
事前要件：
启动一个weed filer
SeaweedFSを使用するためのHadoopの設定
コア-site.xmlのにいくつかのプロパティを追加します。
fs.seaweedfs.impl：海藻HCFSこの属性は定義SeaweedFS HDFSクライアントJARの実装クラスが含まれています。これが必要です。
fs.defaultFS：使用するには、このURI属性定義のデフォルトのファイルシステム。パスは常に接頭辞が付いている場合、それはオプションseaweedfsです：// localhostを：8888。
<configuration>
<property>
<name>fs.seaweedfs.impl</name>
<value>seaweed.hdfs.SeaweedFileSystem</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>seaweedfs://localhost:8888</value>
</property>
</configuration>
展開SeaweedFS HDFSのクライアントjar
# 执行命令查看 hadoop 的 classpath
$ bin/hadoop classpath
# 复制jar 包到 任意一个文件夹下
$ cd ${HADOOP_HOME}
$ cp ./seaweedfs-hadoop-client-x.x.x.jar share/hadoop/common/lib/
スパーク構成されたHADOOP_CONF_DIRを確認してください
将$ SPARK_HOME/conf/spark-env.sh中的HADOOP_CONF_DIR设置为包含配置文件core-site.xml的位置
スパーク・シェルを起動します
/usr/local/spark/bin/spark-shell --master spark://mgr1:7077 --jars /usr/local/hadoop/share/hadoop/common/lib/seaweedfs-hadoop-client-1.0.2.jar
#测试读写
scala> sc.textFile("seaweedfs://data1:8888/path/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("seaweedfs://data1:8888/out-1.0.2")
使用火花を提出
$ /bin/spark-submit \
--name "My app" \
--master spark://mgr1:7077 \
--conf spark.eventLog.enabled=false \
--conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \
--conf spark.hadoop.fs.seaweedfs.impl=seaweed.hdfs.SeaweedFileSystem \
--conf spark.hadoop.fs.defaultFS=seaweedfs://data1:8888 \
myApp.jar
-jarsジャーパッケージは、追加のダイバーとエグゼキュータ、コンマジャーによって複数のパケットを追加します。