大数据技术之_24_电影推荐系统项目_07_工具环境搭建(具体实操)

---

第2章 工具环境搭建(具体实操)

2.1 MongoDB（单节点）环境配置

[atguigu@hadoop102 software]$ pwd
/opt/software

// 通过 wget 下载 Linux 版本的 MongoDB
[atguigu@hadoop102 software]$ wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.4.3.tgz

// 将压缩包解压到指定目录 /opt/module 下
[atguigu@hadoop102 software]$ tar -zxf mongodb-linux-x86_64-rhel62-3.4.3.tgz -C /opt/module/

// 将解压后的文件重命名为 mongodb
[atguigu@hadoop102 module]$ mv mongodb-linux-x86_64-rhel62-3.4.3/ mongodb

// 在安装目录下创建 data 文件夹用于存放数据和日志
[atguigu@hadoop102 mongodb]$ mkdir /opt/module/mongodb/data

// 在 data 文件夹下创建 db 文件夹，用于存放数据
[atguigu@hadoop102 mongodb]$ mkdir /opt/module/mongodb/data/db

// 在 data 文件夹下创建 logs 文件夹，用于存放日志
[atguigu@hadoop102 mongodb]$ mkdir /opt/module/mongodb/data/logs

// 在 logs 文件夹下创建 mongodb.log 文件
[atguigu@hadoop102 mongodb]$ touch /opt/module/mongodb/data/logs/mongodb.log

// 在 data 文件夹下创建 mongodb.conf配 置文件
[atguigu@hadoop102 mongodb]$ touch /opt/module/mongodb/data/logs/mongodb.conf

// 在 mongodb.conf 文件中输入如下内容
[atguigu@hadoop102 data]$ pwd
/opt/module/mongodb/data
[atguigu@hadoop102 data]$ vim mongodb.conf

#端口号
port = 27017
#数据目录
dbpath = /opt/module/mongodb/data/db
#日志目录
logpath = /opt/module/mongodb/data/logs/mongodb.log
#设置后台运行
fork = true
#日志输出方式
logappend = true
#开启认证（为了开发方便，不用输入用户名和密码）
#auth = true

完成 MongoDB 的安装后，启动 MongoDB 服务器：

// 启动 MongoDB 服务器
[atguigu@hadoop102 mongodb]$ sudo /opt/module/mongodb/bin/mongod -config /opt/module/mongodb/data/mongodb.conf
about to fork child process, waiting until server is ready for connections.
forked process: 4854
child process started successfully, parent exiting

// 查看 MongoDB 的启动情况
[atguigu@hadoop102 mongodb]$ ps -ef | grep mongo    
root       4854      1  1 10:47 ?        00:00:00 /opt/module/mongodb/bin/mongod -config /opt/module/mongodb/data/mongodb.conf
atguigu    4875   4336  0 10:48 pts/0    00:00:00 grep mongo
[atguigu@hadoop102 mongodb]$ 

// 访问 MongoDB 服务器
[atguigu@hadoop102 mongodb]$ /opt/module/mongodb/bin/mongo

// 停止 MongoDB 服务器
[atguigu@hadoop102 mongodb]$ sudo /opt/module/mongodb/bin/mongod -shutdown -config /opt/module/mongodb/data/mongodb.conf

MongoDB 的安装小结：

1、MongoDB 如果没有可视化客户端，可以使用 bin/mongo 直接连接。
2、MongoDB 在关闭的时候，也需要通过 -config 来指定启动时指定的文件。
3、MongoDB 不需要安装在 /usr 目录下，可以是任何的目录。
4、启动：bin/mongod -config ./data/mongodb.conf
5、连接：bin/mongo
6、关闭：bin/mongodb -shutdown -config ./data/mongodb.conf

2.2 Redis（单节点）环境配置

// 通过 wget 下载 Redis 的源码
[atguigu@hadoop102 software]$ wget http://download.redis.io/releases/redis-4.0.2.tar.gz

// 将源代码解压到指定目录 /opt/module 下
[atguigu@hadoop102 software]$ tar -zxf redis-4.0.2.tar.gz -C /opt/module

// 进入 Redis 源代码目录，编译安装（因为 redis 是用 C 语言写的）
[atguigu@hadoop102 module]$ cd redis-4.0.2/

// 安装 GCC
[atguigu@hadoop102 module]$ sudo yum install gcc

// 编译源代码
[atguigu@hadoop102 redis-4.0.2]$ make MALLOC=libc

// 编译安装
[atguigu@hadoop102 redis-4.0.2]$ sudo make install

// 创建配置文件，放入指定的目录
[atguigu@hadoop102 redis-4.0.2]$ sudo cp /opt/module/redis-4.0.2/redis.conf /opt/module/redis-4.0.2/myredis

// 修改配置文件中以下内容
[atguigu@hadoop102 redis-4.0.2]$ sudo vim /opt/module/redis-4.0.2/myredis/redis.conf

bind 0.0.0.0                                            #69行       #绑定主机 IP，默认值为127.0.0.1，我们是跨机器运行，所以需要更改
daemonize yes                                           #136行      #是否以后台 daemon 方式运行，默认不是后台运行
pidfile /var/run/redis/redis_6379.pid                   #158行      #redis 的 PID 文件路径（可选）
logfile "/opt/module/redis-4.0.2/myredis/redis.log"     #171行      #定义 log 文件位置，模式 log 信息定向到 stdout，输出到 /dev/null（可选）
dir "/opt/module/redis-4.0.2/myredis"                   #263行      #本地数据库存放路径，默认为./（可选）

// 编译安装默认存在在 /usr/local/bin 目录下，如下
[atguigu@hadoop102 redis-4.0.2]$ cd /usr/local/bin/
[atguigu@hadoop102 bin]$ ll
总用量 9572
-rw-r--r-- 1 root root      83 5月   8 01:27 dump6379.rdb
-rw-r--r-- 1 root root      83 5月   8 01:27 dump6380.rdb
-rw-r--r-- 1 root root      83 5月   8 01:27 dump6381.rdb
lrwxrwxrwx 1 root root       6 4月  28 17:17 nc -> netcat
-rwxr-xr-x 1 root root  103479 4月  28 17:17 netcat
-rwxr-xr-x 1 root root  290454 5月  23 12:37 redis-benchmark
-rwxr-xr-x 1 root root 2971304 5月  23 12:37 redis-check-aof
-rwxr-xr-x 1 root root   45443 5月   6 17:27 redis-check-dump
-rwxr-xr-x 1 root root 2971304 5月  23 12:37 redis-check-rdb
-rwxr-xr-x 1 root root  419907 5月  23 12:37 redis-cli
lrwxrwxrwx 1 root root      12 5月  23 12:37 redis-sentinel -> redis-server
-rwxr-xr-x 1 root root 2971304 5月  23 12:37 redis-server

在安装完 Redis 之后，启动 Redis

// 启动 Redis 服务器
[atguigu@hadoop102 redis-4.0.2]$ redis-server /opt/module/redis-4.0.2/myredis/redis.conf

// 连接 Redis 服务器
[atguigu@hadoop102 redis-4.0.2]$ redis-cli -h 192.168.25.102 -p 6379

// 查看 Redis 的启动情况
[atguigu@hadoop102 redis-4.0.2]$ ps -ef | grep redis
atguigu    6033      1  0 13:08 ?        00:00:00 redis-server 0.0.0.0:6379                              
atguigu    6046   4336  0 13:12 pts/0    00:00:00 grep redis 

// 停止 Redis 服务器
[atguigu@hadoop102 redis-4.0.2]$ redis-cli shutdown

Redis 的安装小结：

1、对于源码包，安装三部曲： 
    1) ./configure 检查依赖环境
    2) make 编译
    3) make install 编译安装
2、启动：redis-server ./redis.conf
3、连接：redis-cli
4、关闭：redis-cli shutdown

2.3 ElasticSearch（单节点）环境配置

// 通过 wget 下载 ElasticSearch 安装包
[atguigu@hadoop102 software]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.2.tar.gz

配置 ElasticSearch：

// 解压 ElasticSearch 到安装目录
[atguigu@hadoop102 software]$ tar -zxf elasticsearch-5.2.2.tar.gz -C /opt/module/

在 /opt/module/elasticsearch-5.2.2 路径下创建 data 和 logs 文件夹
// 创建 ElasticSearch 数据文件夹 data
[atguigu@hadoop102 elasticsearch-5.2.2]$ mkdir data
// 创建 ElasticSearch 日志文件夹 logs
[atguigu@hadoop102 elasticsearch-5.2.2]$ mkdir logs

// 修改 ElasticSearch 配置文件
[atguigu@hadoop102 config]$ pwd
/opt/module/elasticsearch-5.2.2/config
[atguigu@hadoop102 config]$ vim elasticsearch.yml

# ---------------------------------- Cluster -----------------------------------
cluster.name: my-application    #设置集群的名称
# ------------------------------------ Node ------------------------------------
node.name: node-102             #修改当前节点的名称
# ----------------------------------- Paths ------------------------------------
path.data: /opt/module/elasticsearch-5.2.2/data     #修改数据路径
path.logs: /opt/module/elasticsearch-5.2.2/logs     #修改日志路径
# ----------------------------------- Memory -----------------------------------
bootstrap.memory_lock: false            #设置ES节点允许内存交换
bootstrap.system_call_filter: false     #禁用系统调用过滤器
# ---------------------------------- Network -----------------------------------
network.host: 192.168.25.102            #设置当前主机名称
# --------------------------------- Discovery ----------------------------------
discovery.zen.ping.unicast.hosts: ["hadoop102"]     #设置集群的主机列表

修改 Linux 配置参数：

// 使用 root 用户，修改文件数配置，在文件末尾添加如下配置
[root@hadoop102 elasticsearch-5.2.2]# vim /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

// 使用 root 用户，修改* soft nproc 1024 为 * soft nproc 2048
[root@hadoop102 elasticsearch-5.2.2]# vim /etc/security/limits.d/90-nproc.conf
修改如下内容：
* soft nproc 1024
#修改为
* soft nproc 2048

// 使用 root 用户，在文件末尾添加：
[root@hadoop102 elasticsearch-5.2.2]# vim /etc/sysctl.conf 
添加下面配置：
vm.max_map_count=655360

// 执行命令以下命令，使配置生效
[root@hadoop102 elasticsearch-5.2.2]# sysctl -p

在完成 ElasticSearch 的配置以及 Linux 的配置后，启动 ElasticSearch

// 启动 ElasticSearch 服务
[atguigu@hadoop102 elasticsearch-5.2.2]$ ./bin/elasticsearch -d     # -d 表示后台启动

// 访问 ElasticSearch 服务
[atguigu@hadoop102 elasticsearch-5.2.2]$ curl http://hadoop102:9200/
{
  "name" : "node-102",
  "cluster_name" : "my-application",
  "cluster_uuid" : "yb29ijbJQ2mBzCHTOjyUGw",
  "version" : {
    "number" : "5.2.2",
    "build_hash" : "f9d9b74",
    "build_date" : "2017-02-24T17:26:45.835Z",
    "build_snapshot" : false,
    "lucene_version" : "6.4.1"
  },
  "tagline" : "You Know, for Search"
}

// 停止 ElasticSearch 服务
[atguigu@hadoop102 elasticsearch-5.2.2]$ jps
8514 Elasticsearch
8908 Jps
[atguigu@hadoop102 elasticsearch-5.2.2]$ kill -9 8514

Elasticsearch head 插件安装（图形化界面）
  方式一：参考链接：https://www.cnblogs.com/chenmingjun/p/10817378.html#_label1_3
  方式二：安装 Chrome 浏览器插件：Elasticsearch head

Elasticsearch 的安装小结：

1、配置 Linux 的参数，配置完成之后，执行 sudo sysctl -p，使配置生效
2、配置 yml 的时候，value 之前要有个空格
3、启动：bin/elasticsearch -d
4、访问：安装 elasticsearch-head 插件，或者安装 Chrome 插件
5、关闭：kill -9 xxx

2.4 Azkaban（单节点）环境配置

2.4.1 安装 Git

// 安装 git
[atguigu@hadoop102 software]$ sudo yum install git

// 通过 git 下载 Azkaban 源代码
[atguigu@hadoop102 software]$ git clone https://github.com/azkaban/azkaban.git

// 进入 azkaban 目录
[atguigu@hadoop102 software]$ cd azkaban/

// 切换到 3.36.0 版本
[atguigu@hadoop102 azkaban]$ git checkout -b 3.36.0

2.4.2 编译 Azkaban

详细请参照：https://github.com/azkaban/azkaban

// 安装编译环境
[atguigu@hadoop102 azkaban]$ sudo yum install gcc
[atguigu@hadoop102 azkaban]$ sudo yum install -y gcc-c++*

// 执行编译命令
[atguigu@hadoop102 azkaban]$ ./gradlew clean build

// 最终我们在 azkaban/azkaban-solo-server/build/distributions 目录下我们得到 azkaban-solo-server-3.36.0.tar.gz 

2.4.3 部署 Azkaban Solo

// 将编译好的 azkaban 中的 azkaban-solo-server-3.36.0.tar.gz 拷贝到指定目录
[atguigu@hadoop102 azkaban]$ cp ./azkaban-solo-server/build/distributions/azkaban-solo-server-3.36.0.tar.gz /opt/software

// 解压 azkaban-solo-server-3.36.0.tar.gz 到指定目录
[atguigu@hadoop102 software]$ tar -zxf azkaban-solo-server-3.36.0.tar.gz -C /opt/module/

// 进入到 /opt/module/ 目录，重命名 azkaban-solo-server-3.36.0 为 azkaban
[atguigu@hadoop102 module]$ mv azkaban-solo-server-3.36.0/ azkaban

// 启动 Azkaban Solo 单节点服务
[atguigu@hadoop102 azkaban]$ bin/azkaban-solo-start.sh

// 访问 Azkaban 服务，通过浏览器打开 http://ip:8081，通过用户名：azkaban，密码：azkaban 登录。

// 关闭 Azkaban 服务
[atguigu@hadoop102 azkaban]$ bin/azkaban-solo-shutdown.sh

Azkaban Solo 的安装小结：

1、需要将 azkaban 源代码进行编译，编译之前需要注意版本的选择 git checkout -b version
2、获取到 azkaban-solo-server.tar.gz
3、启动：bin/azkaban-solo-start.sh
4、访问：通过 http://IP:8081 默认的用户名和密码是：azkaban
5、停止：bin/azkaban-solo-shutdown.sh

2.5 Spark（单节点）环境配置

注意：本次安装在一台 Linux 机器上，安装的模式是单节点 Standalone 模式，所以 Master 和 Worker 在同一台机器上。

// 通过 wget 下载 spark 安装包
[atguigu@hadoop102 software]$ wget https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz 

// 将 spark 解压到安装目录（注意：解压 .tgz 文件需要 root 权限）
[atguigu@hadoop102 software]$ sudo tar –zxf spark-2.1.1-bin-hadoop2.7.tgz –C /opt/module/

// 进入 spark 安装目录
[atguigu@hadoop102 module]$ cd spark-2.1.1-bin-hadoop2.7/

// 复制 slave 配置文件
[atguigu@hadoop102 spark-2.1.1-bin-hadoop2.7]$ cp ./conf/slaves.template ./conf/slaves    

// 修改 slave 配置文件
[atguigu@hadoop102 spark-2.1.1-bin-hadoop2.7]$ vim ./conf/slaves
hadoop102  #在文件最后将本机主机名进行添加（注意：是单节点安装）

// 复制 spark-env 配置文件
[atguigu@hadoop102 spark-2.1.1-bin-hadoop2.7]$ cp ./conf/spark-env.sh.template ./conf/spark-env.sh 
SPARK_MASTER_HOST=hadoop102         #添加 spark master 的主机名
SPARK_MASTER_PORT=7077              #添加 spark master 的端口号

安装完成之后，启动 Spark

// 启动 Spark 集群
[atguigu@hadoop102 spark-2.1.1-bin-hadoop2.7] sbin/start-all.sh

// 访问 Spark 集群，浏览器访问 http://hadoop102:8080

// 关闭 Spark 集群
[atguigu@hadoop102 spark-2.1.1-bin-hadoop2.7] sbin/stop-all.sh

Spark 的安装小结：

1、需要配置 slaves 文件
2、需要配置 spark-env.sh 文件
3、启动：sbin/start-all.sh
4、访问：http://IP:8080 
5、停止：sbin/stop-all.sh

2.6 Zookeeper（单节点）环境配置

// 通过 wget 下载 Zookeeper 安装包
[atguigu@hadoop102 software]$ wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 

// 将 Zookeeper 解压到安装目录
[atguigu@hadoop102 software]$ tar –zxf zookeeper-3.4.10.tar.gz –C /opt/module/

// 进入 Zookeeper 安装目录
[atguigu@hadoop102 module]$ cd zookeeper-3.4.10/

// 创建 data 数据目录
[atguigu@hadoop102 zookeeper-3.4.10]$ mkdir data/

// 复制 Zookeeper 配置文件
[atguigu@hadoop102 zookeeper-3.4.10]$ cp ./conf/zoo_sample.cfg ./conf/zoo.cfg   

// 修改 Zookeeper 配置文件
[atguigu@hadoop102 zookeeper-3.4.10]$ vim conf/zoo.cfg
dataDir=/opt/module/zookeeper-3.4.10/data     #将数据目录地址修改为创建的目录

// 启动 Zookeeper 服务
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start

// 查看 Zookeeper 服务状态
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: standalone

// 关闭 Zookeeper 服务
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh stop

Zookeeper 的安装小结：

1、修改 zoo.cfg 中的数据路径
2、启动：bin/zkServer.sh start
3、检查：bin/zkServer.sh status
4、停止：bin/zkServer.sh stop

2.7 Flume-ng（单节点）环境配置

// 通过 wget 下载 Flume 安装包
[atguigu@hadoop102 software]$ wget http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz

// 将 Flume 解压到安装目录
[atguigu@hadoop102 software]$ tar –zxf apache-flume-1.8.0-bin.tar.gz –C /opt/module/

// 将 flume/conf 下的 flume-env.sh.template 文件修改为 flume-env.sh，并配置 flume-env.sh 文件，如下：
[atguigu@hadoop102 conf]$ mv flume-env.sh.template flume-env.sh
[atguigu@hadoop102 conf]$ vim flume-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

2.8 Kafka（单节点）环境配置

// 通过 wget 下载 Kafka 安装包
[atguigu@hadoop102 software]$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz

// 将 Kafka 解压到安装目录
[atguigu@hadoop102 software]$ tar –zxf kafka_2.12-0.10.2.1.tgz –C /opt/module/

// 修改解压后的文件名称
[atguigu@hadoop102 module]$ mv kafka_2.11-0.11.0.2/ kafka 

// 修改 Kafka 配置文件
[atguigu@hadoop102 kafka]$ vim config/server.properties
host.name=hadoop102     #修改主机名
port=9092               #修改服务端口号
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181     #修改 Zookeeper 服务器地址

// 启动 Kafka 服务 !!! 启动之前需要启动 Zookeeper 服务 !!!
[atguigu@hadoop102 kafka]$ bin/kafka-server-start.sh -daemon ./config/server.properties &
// 关闭 Kafka 服务
[atguigu@hadoop102 kafka]$ bin/kafka-server-stop.sh
// 创建 topic
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --create --zookeeper hadoop102:2181 --replication-factor 1 --partitions 1 --topic recommender
// kafka-console-producer
[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic recommender
// kafka-console-consumer
[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic recommender

2.9 Apache 环境配置

// 安装 httpd
[bigdata@linux ~]$ sudo yum install httpd

// 启动 httpd
[bigdata@linux ~]$ sudo service httpd start     或者    /etc/init.d/httpd start

// 关闭 httpd
[bigdata@linux ~]$ sudo service httpd stop      或者    /etc/init.d/httpd stop

// 访问 Apache 服务器，通过浏览器访问：http://ip:80

// 默认的安装目录是：/var/www ，我们的页面放在目录 /var/www/html 中
[atguigu@hadoop102 www]$ ll
总用量 16
drwxr-xr-x. 2 root root 4096 6月  19 2018 cgi-bin
drwxr-xr-x. 3 root root 4096 3月   4 10:12 error
drwxr-xr-x. 2 root root 4096 6月  19 2018 html
drwxr-xr-x. 3 root root 4096 3月   4 10:12 icons

2.10 Tomcat 环境配置

// 通过 wget 下载 tomcat 服务器安装包
[atguigu@hadoop102 software]$ wget http://mirror.bit.edu.cn/apache/tomcat/tomcat-8/v8.5.23/bin/apache-tomcat-8.5.23.tar.gz

// 将 tomcat 安装包解压到安装目录下
[atguigu@hadoop102 software]$ tar -xf apache-tomcat-8.5.23.tar.gz -C /opt/module/

// 启动 tomcat 服务
[atguigu@hadoop102 apache-tomcat-8.5.23]$ bin/startup.sh

// 关闭 tomcat 服务
[atguigu@hadoop102 apache-tomcat-8.5.23]$ bin/shutdown.sh

// 访问 tomcat 服务，浏览器打开：http://ip:8080  

Tomcat 的安装小结：

1、直接解压即可
2、启动：bin/startup.sh
3、访问：浏览器访问：http://IP:8080
4、停止：bin/shutdown.sh
5、日志：tail -f logs/catalina.out

2.11 开发环境配置

2.11.1 安装IDEA（略）

参考链接：https://www.cnblogs.com/chenmingjun/p/10290183.html

2.11.2 Postman 安装

主要用于 REST API 的测试。下载 windows 安装版本，双击默认安装。

2.11.3 安装 nodejs

主要用于前端的开发支持。
在 https://nodejs.org/en/download/ 中下载对应版本的 NodeJS，并安装：
1、点击 Next

2、选择 同意

3、选择安装目录

4、点击 Next

5、点击 Install

6、点击 Finish

验证安装结果：

2.11.4 安装AngularJS CLI

在命令行执行：npm install -g @angular/cli

安装完成

验证安装：

安装完成之后，请重新启动操作系统。