Ubuntu&Spark安装及配置&Linux基本操作

修改用户权限(root的权限和非root不一样)
方法一:
1.sudo gedit /etc/passwd
2.修改ID:1000->0

方法二(推荐):Ubuntu&Spark安装及配置&Linux基本操作
1.设置root密码:sudo passwd root
2.设置密码
3.获取root权限:su (按enter)

安装VMware Tools:
1.“虚拟机”菜单栏-安装VMware Tools
2.将VMware Tools压缩包解压到某一个新建的文件夹
3.cd vmware-tools-distrib
4.sudo ./vmware-install.pl
如果是“VMware-Tools”是灰色的,则在CD/DVD处修改iso位置,选择linux.iso

安装SPARK步骤:
1.安装JDK,配置JDK和JRE
2.安装SCALA,配置scala(如果不用scala,可以不用)
3.安装python或ipython,我安装anaconda
4.安装spark

安装JDK:
1.新建文件夹:sudo mkdir /usr/jvm
2.将压缩包解压到新建的文件夹中:sudo tar -zxvf 压缩包.tar.gz -C /usr/lib/jvm
3.进入jvm文件夹,修改文件名:sudo mv 压缩包名 java
4.环境配置:
sudo gedit ~/.bashrc
source ~/.bashrc(保存后)
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
5.测试:java -version
cd

安装scala:
1.新建文件夹:sudo mkdir /usr/spark
2.将压缩包解压到新建的文件夹中:sudo tar -zxvf 压缩包.tar.gz -C /usr/lib/spark/scala
3.进入spark文件夹,修改文件名:sudo mv 压缩包名 scala
4.环境配置:
export SCALA_HOME=/usr/lib/spark/scala
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${SCALA_HOME}/bin:$PATH
5.测试:scala--version

安装anaconda:
1.安装: bash Anaconda3-2.1.0-Linux-x86_64.sh
2.指定安装路径:/home/anaconda
3.环境配置:
export ANACONDA_HOME=/home/spark/anaconda
PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${SCALA_HOME}/bin:${ANACONDA_HOME}/bin:$PATH
4.测试:conda list
5.打开 “anaconda/bin”,运行spyder便可开始编程之旅(直接进到该目录,输入spyder、)
conda install ***  安装新包,
conda update *** 更新。

安装pycharm:
1.将压缩包解压到新建的文件夹中:sudo tar -xvf 压缩包.tar -C /usr/lib/spark/
2.进入spark文件夹,修改文件名:sudo mv 压缩包名 pycharm
3.进入“pycharm/bin”,运行 ./pycharm.sh,运行pycharm
4.打开PyCharm,创建一个Project。 然后选择“Run” ->“Edit Configurations” ->“Environment variables”
5.增加SPARK_HOME目录与PYTHONPATH目录。
- SPARK_HOME:Spark安装目录
- PYTHONPATH:Spark安装目录下的Python目录

安装spark(还是不要放在root中,不然不能写入):
1.将压缩包解压到新建的文件夹中:tar -xvf 压缩包.tar -C /home/spark/

python配置:
export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/bin:${SPARK_HOME}/python/lib/py4j-0.9-src.zip:$PYTHONPATH

打开spark下的python\ipython:
cd /home/spark-hadoop/bin
1.终端输入PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark
2.在~/.bashrc 中设置
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

修改jupyter-notebook位置:
1.jupyter notebook --generate-config,找到生成文件路径
2.cd ~/jupyter,gedit jupyter_notebook_config.py,修改c.NotebookApp.notebook_dir='保存路径'

附上我配置的内容:
(环境配置的方法具体请百度)

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export SCALA_HOME=/usr/lib/spark/scala
export ANACONDA_HOME=/home/spark/anaconda
export SPARK_HOME=/home/spark/spark-hadoop
export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/bin:${SPARK_HOME}/python/lib/py4j-0.9-src.zip:$PYTHONPATH
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${SCALA_HOME}/bin:${ANACONDA_HOME}/bin:${SPARK_HOME}/bin:$PATH

安装opencv:
1.安装编译工具:
sudo apt-get install build-essential
安装辅助工具:
sudo apt-get install cmake git pkg-config libgtk2.0-dev libavcodec-dev libavformat-dev libswscale-dev
安装关联库:
sudo apt-get install python-dev python-opencv python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev
2.OpenCV-2.4.13.zip移动到用户主目录下进行编译:
unzip opencv_ 2.4.13 .zip
cd opencv- 2.4.13
mkdir build
cd build
3.编译命令
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D BUILD_NEW_PYTHON_SUPPORT=ON -D WITH_V4L=ON -D WITH_QT=ON -D WITH_OPENGL=ON ..
4.vim
:w 保存文件但不退出vi
:w file 将修改另外保存到file中,不退出vi
:w! 强制保存,不推出vi
:wq 保存文件并退出vi
:wq! 强制保存文件,并退出vi
q: 不保存文件,退出vi
:q! 不保存文件,强制退出vi
:e! 放弃所有修改,从上次保存文件开始再编辑



猜你喜欢

转载自blog.csdn.net/yiyao8236/article/details/79536862