Diferencias entre las versiones de descarga de Spark
Confundido sobre la diferencia entre el Sparksitio web oficial Pre-built for Apache Hadoopy Pre-built with user-provided Apache Hadoop.
¿Por qué descargar Sparktantas versiones? ? ? Este artículo usa la 2.1.1versión como prueba.
Pre-construido para Apache Hadoop
JavaEjecute el siguiente comando en una máquina instalada
# 0. 进入测试目录
cd /tmp
# 1. 下载Spark 并解压
wget https://archive.apache.org/dist/spark/spark-2.1.1/spark-2.1.1-bin-hadoop2.7.tgz
tar -xf spark-2.1.1-bin-hadoop2.7.tgz
# 2. 运行Spark
cd /tmp/spark-2.1.1-bin-hadoop2.7 &&\
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100
# 程序是可以正常运行的且可以看到
# 类似于Pi is roughly 3.1408123140812316 的字样
Preconstruido con Apache Hadoop proporcionado por el usuario
JavaEjecute el siguiente comando en una máquina instalada
# 0. 进入测试目录
cd /tmp
# 1. 下载Spark 并解压
wget https://archive.apache.org/dist/spark/spark-2.1.1/spark-2.1.1-bin-without-hadoop.tgz
tar -xf spark-2.1.1-bin-without-hadoop.tgz
# 2. 运行Spark
cd /tmp/spark-2.1.1-bin-without-hadoop &&\
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100
# 直接报错，java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream
# 3. 与之前的spark-2.1.1-bin-hadoop2.7.tgz 对比以下jar 包
ls spark-2.1.1-bin-hadoop2.7/jars/ > h.txt
ls spark-2.1.1-bin-without-hadoop/jars/ > w.txt
diff -y -W 50 h.txt w.txt # -y 并排对比，-W 列宽
# 看到右边的w.txt 内容中少了很多Hadoop 的包
# 4. 下载Hadoop 并解压
cd /tmp && wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
tar -xf hadoop-2.7.2.tar.gz
# 5. 确认Hadoop 的版本
/tmp/hadoop-2.7.2/bin/hadoop version
# 6. 关联Spark-Without-Hadoop 和Hadoop
cat > /tmp/spark-2.1.1-bin-without-hadoop/conf/spark-env.sh << 'EOF'
#!/usr/bin/env bash
export SPARK_DIST_CLASSPATH=$(/tmp/hadoop-2.7.2/bin/hadoop classpath)
EOF
# 7. 再次运行Spark
cd /tmp/spark-2.1.1-bin-without-hadoop &&\
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100 2>&1 | grep 'Pi is'
# 成功显示Pi is roughly 3.1424395142439514
Resumen
Se puede ver en el experimento anterior que la versión [Precompilada con Apache Hadoop proporcionada por el usuario] (# Precompilada con Apache Hadoop proporcionada por el usuario) debe modificar el archivo de configuración para adaptarse Hadoop. De hecho, es Hadoopel Jarpaquete agregado en CLASSPATH durante la ejecución , y [Precompilado para Apache Hadoop] (# Precompilado para Apache Hadoop) está listo para usar y Hadoop Jaragrupa los paquetes correspondientes de antemano . Al mismo tiempo, debido a que las interfaces, como Hadoop 2.6y no Hadoop 2.7son HDFSlas mismas, se Pre-built for Apache Hadoopdividen en dos versiones. .
Referencia
Uso de la compilación "Hadoop Free" de Spark
¿Cuál es la diferencia entre los tipos de paquetes de Spark en la página de descarga?
