Java、Python、Hadoop、Spark、XGBoost、OpenCV、MySQL的安装

Java、Python、Hadoop、Spark、XGBoost、OpenCV、MySQL的安装

前言

对于从事算法工程的人来说，经常需要在三个地方安装自己需要的软件和开源组件：自己用的电脑、在公司用的电脑、以及服务器，所以将这些东西的安装过程记录下来是很有必要的。

Java

• 1，官网下载Java的JDK，默认安装

• 2，配置Java环境变量

  编辑系统变量：JAVA_HOME 
      jdk所在路径（例如C:\Program Files\Java\jdk1.8.0_121）
  编辑系统变量 CLASSPATH
      %JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
  并在Path中添加
      %JAVA_HOME%\bin
  

• 3，检查Java是否配置成功

• 打开cmd（快捷键win+R），执行
      java -version
  

Python

• Windows：下载Anaconda，一路按下去就好
• Linux：需要下载一个Anaconda.sh的文件，然后进入Linux后bash该文件

Hadoop与Spark

参考网址：

• http://blog.csdn.net/hjxinkkl/article/details/57083549?winzoom=1

步骤：

• 1，下载Hadoop和Spark，两者的版本要相互对应
• 2，将两个解压文件安装到任意一个盘中，注意路径不能带空格

• 3，然后配置Hadoop和Spark的环境变量

  添加Hadoop的环境变量HADOOP_HOME
      Hadoop所在路径
  添加Spark的环境变量SPARK_HOME
      Spark所在路径
  并在Path中添加
  %SPARK_HOME%\bin 
  %SPARK_HOME%\sbin
  

• 4，打开Spark路径下的\python\lib，将py4j和pyspark解压到Python目录下 C:\Program Files\Anaconda3\Lib\site-packages

• 5，建立环境变量PYTHONPATH，并在其中配置两个文件的路径

• C:\Program Files\Anaconda3\Lib\site-packages\py4j;
  C:\Program Files\Anaconda3\Lib\site-packages\pyspark;
  %SPARK_HOME%\python;
  

3，配置Python中Spark的环境

XGBoost

在这个网站下寻找对应的xgboost的whl文件 * https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载，然后pip install ****.whl

OpenCV

安装步骤参照百度经验的即可，然后要知道不同的操作系统下是需要不同的whl文件就行。

MySQL

我所找到的一篇有参考意义的网址：

• https://www.cnblogs.com/reyinever/p/8551977.html

Python中对应的MySQL连接包建议使用pymysql