版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/blog635/article/details/83448023
在这里说的都是踩过的一些坑，和一些操作步骤，如果需要可以认真的去阅读一下。本文不代表任何立场，仅仅是简单的记录下自己遇到的坑，给自己的经历做一个点点滴滴的记录。如有任何侵权或者其他问题，请立刻联系我进行雪藏，甚至删除，谢谢大家的合作。
邮箱：[email protected]
需要准备的材料，注意事项
- 官方提供的iso镜像文件，内含所有数据，包括项目数据等。
- 根据内含数据和项目，选择合适的软件，推荐使用官方说明文档内规定的软件，也可以自选，避免系统的不兼容性（比如在虚拟机方面，windows10 对VirtualBox 4.X直接不兼容，需要安装VirtualBox 5.X版本），还请注意下软件的兼容性问题。
- 网络的问题，推荐使用路由器做局域网，而且这个路由器不要进行大批量下载任务（如迅雷下载、百度网盘等下载工具），这是为了避免网络堵塞可能导致的连接超时，设置路由器局域网内ip可以互相访问（路由器默认是可以访问的），建议在路由器配置好后进行ping操作，保证网络一定是通畅的，毕竟磨刀不误砍柴工。
- 笔记本或者单台PC可能会因为性能，造成程序运行缓慢，甚至连接超时或假死。建议使用多台PC进行任务处理，在内网（局域网）对各台PC进行连接，一定要了解各台服务器服务通讯方式、协议、端口号，准确判断服务连接错误的原因，准确定位。
- Hadoop环境配置，严格按照操作手册进行，不能遗漏任何步骤，尤其是第一遍配置，按部就班的重复。再熟悉了流程之后，再去了解每一步做了什么，什么用。
- 微信小程序……未完待续
各项的实际操作步骤
在写这篇文章的时候，基本工作都已经完成，就不再此提供每一步骤的操作截图。还请各位认真去看文章，慢慢去了解每一个步骤。有不懂的我还是推荐搭建去百度搜索自己想要的答案，高效的利用搜索引擎，也是提高工作效率的一种方式。
一、大数据环境搭建与操作
开发环境
- 开发语言：Java和JavaEE框架。
- HBase数据库镜像和HbaseExplorer工具。
- MongoDB数据库
- Eclipse开发工具Robo 3T工具
- MySQL数据库
软件版本对应
软件会提供，在无法运行时可使用其他版本，仅是在自行训练时，正式环境下都是预先配置好的，无需自行配置安装。
| 序号 | 软件名称 | 版本 | 版本对应 | 系统版本 | 下载地址 |
|---|---|---|---|---|---|
| 1 | JDK | 1.7 & 1.8 | 无要求 | Windows7以上 | 下载 |
| 2 | Eclipse | J2EE & Committers | 尽量不要使用太高版本 | Windows7以上 | 下载 |
| 3 | Tomcat | 7.0版本及以上 | 无要求 | Windows7以上 | 下载 |
| 4 | Mysql Server | 5.5及以上版本 | 无要求 | Windows7以上 | 下载 |
| 5 | Navicat | 无要求 | 无要求 | Windows7以上 | 暂不提供 |
| 6 | MongoDB | 3.4 | 无要求 | Windows7以上 | 下载 |
| 7 | Hbase镜像 | 自带 | 自带 | VirtualBox虚拟机 | 无地址 |
环境搭建 - 操作步骤
-
检查jdk环境变量（不再演示jdk环境变量配置），win+R运行cmd，在命令行黑窗中输入java、javac、java -version三个命令。
1.1输入java命令，显示如图信息即为正常
1.2输入javac命令，显示如图信息即为正常
1.3输入javac -version命令，显示如图信息即为正常
-
配置Hadoop环境变量
2.1准备所需要的程序，框出的部分就是需要配置环境变量的内容
- 将bin目录的内容Copy到hadoop的bin目录下。
- 在系统环境变量中添加HADOOP_HOME变量，值为Hadoop根目录。
- 在系统环境变量Path中添加，%HADOOP_HOME%\bin\winutils.exe
- Copy后的bin目录
- Eclipse配置，因为需要使用到Hadoop，所以需要先配置一下。因为Eclipse是解压程序，直接解压就可以使用。
3.1解压Eclipse，查看目录结构
3.2将程序提供的Hadoop的插件，Copy到plugins目录下，重启Eclipse即可，查看插件是否安装成功。
3.3导入项目，不在赘述，应该会的（网上教程也是一大堆），识项目大小，打开速度可能差别较大。 - 导入项目可能会出现的错误。
4.1jdk环境问题，配置好jdk的环境即可（项目上红色感叹号）。右键项目—>Build Path —> Configure Build Path
4.2静态文件报错，可直接忽略（项目有红叉，往下找看到是静态文件 html、js、json、css等前端内容 报错，直接忽略）。
4.3当Console（控制台）打印各种连接失败，超时，卡在一个地方不动的时候。根据错误定位：，；Hadoop各项服务是否正确启动；。
- 网络错误，IP是否联通，hosts文件是否设置成功并生效。检查防火墙是否开放需要的端口，或者直接关闭你的防火墙。
- 检查Mysql数据库文件是否导入，连接是否正确，主要检查用户名和密码。
- Hadoop各项服务是否正确启动，使用命令jps查看启动情况。
- MongoDB启动是否正确，包括ip，端口号是否正确。
- 以上服务基本都是通过网络进行连接，务必检查好ip和端口号的可用状态，本地服务一般不会出现问题，需要特别注意远程服务的连接状态。
4.4示范一下当MongoDB为七点会出现什么错误。
tomcat启动超时。
- 错误信息。
2018-10-29 16:32:08,634 INFO [cluster-ClusterId{value='5bd6c587710da713d41e0438', description='null'}-127.0.0.1:27017] driver.cluster (SLF4JLogger.java:info(76)) - Exception in monitor thread while connecting to server 127.0.0.1:27017
com.mongodb.MongoSocketOpenException: Exception opening socket
at com.mongodb.connection.SocketStream.open(SocketStream.java:63)
at com.mongodb.connection.InternalStreamConnection.open(InternalStreamConnection.java:114)
at com.mongodb.connection.DefaultServerMonitor$ServerMonitorRunnable.run(DefaultServerMonitor.java:128)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.ConnectException: Connection refused: connect
at java.net.DualStackPlainSocketImpl.waitForConnect(Native Method)
at java.net.DualStackPlainSocketImpl.socketConnect(DualStackPlainSocketImpl.java:85)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)
at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:172)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at com.mongodb.connection.SocketStreamHelper.initialize(SocketStreamHelper.java:50)
at com.mongodb.connection.SocketStream.open(SocketStream.java:58)
... 3 more
- 错误信息，未完待续，遇到错误去看错误信息的Caused by，学会百度。
- 在大数据方面，eclipse里面，你需要做的事情
5.1完善创建Hbase数据表的Java代码，使用Hbase提供的Java接口对数据库进行操作可以使用HTableDescriptor对象创建数据表
传送门 —> HBase客户端API-表操作