425文档

IP地址

1. Hadoop集群:
   192.168.1.10 s0
   192.168.1.20 s1
   192.168.1.30 s2
   192.168.1.40 s3
   192.168.1.50 s4

2. sqlserver服务器:
   192.168.1.100
   用户名:root
   密码:123
   数据库:L2_L3_old

配置

1. 连接hadoop集群配置

1. 使用电脑连接hadoop集群跑程序前,首先修改本机电脑的hosts文件
   参考:https://blog.csdn.net/qq_41684261/article/details/82846955
   在文件尾部添加服务器ip地址和主机名映射如下:

192.168.1.10 s0
192.168.1.20 s1
192.168.1.30 s2
192.168.1.40 s3
192.168.1.50 s4

2. 去官网下载hadoop压缩包, 解压. 放在D:\software\hadoop-2.6.0 (这个目录可以随意自建)
   配置环境变量:
   HADOOP_HOME=D:\software\hadoop-2.6.0
   HADOOP_BIN_PATH=%HADOOP_HOME%\bin
   HADOOP_PREFIX=D:\software\hadoop-2.6.0
   在Path环境变量后追加 ;%HADOOP_HOME%\bin
   (上一行%前面的的;不要忘记!!!)
   下载winutils.exe 文件, 放在D:\software\hadoop-2.6.0\bin目录下,不然运行程序时会报一个错误
   可直接下载这个包:https://github.com/sdravida/hadoop2.6_Win_x64
   (不需要添加winutils.exe文件)
   然后配置环境变量即可

---

2. 连接sqlserver服务器配置

这里需要导入sqlserver的jdbc驱动包sqljdbc4-4.2.jar
这里以java maven工程为例,首先在maven的pom.xml文件中添加

<!-- https://mvnrepository.com/artifact/com.microsoft.sqlserver/sqljdbc4 -->
<dependency>
    <groupId>com.microsoft.sqlserver</groupId>
    <artifactId>sqljdbc4</artifactId>
    <version>4.2</version>
</dependency>

在网址:https://www.microsoft.com/en-us/download/details.aspx?id=54671
下载驱动

并且解压,将解压后文件夹中的jar包名字重命名成sqljdbc4-4.2.jar, 然后放到本地的maven仓库中
我这里的地址是这个:C:\Users\Administrator.m2\repository\com\microsoft\sqlserver\sqljdbc4\4.2
然后重新导入maven依赖, 如下图:

---

---

以后大家存在的问题,都会统一写在这个文档里!

---

---