本文是我学习Hadoop搭建过程中的各种笔记,内容来自于各种公开的教程,起点非常低,从Linux基础开始,直至在PC上搭建Hadoop成功,是真正的从零开始。
感谢过程中帮助我的各位认识的和不认识的老师。
42、Maven的安装:
maven:本地仓库
1.在Windows中安装maven (写代码用maven管理)
apache-maven-3.3.9-bin安装包位置在:D盘的VM中
① 解压到当前目录 (删除未解压的安装包)
② 配置环境变量
③ 配置maven本地仓库所在位置
④ 配置setting.xml文件(指定本地仓库位置0)
⑤ 和Java的编辑工具整合(eclipse, idea, myeclipse等)
43、Java取读hdfs文件:
装好maven后,就可以用Java操作文件系统
①找包的路径:http://mvnrepository.com/
②配置,获取文件对象
44、Java操作hdfs文件系统:
下载、上传文件
45、Rpc协议介绍:
Hadoop核心协议RPC
Hadoop是一个庞大的框架,里面的组件相互通信,依靠RPC
RPC概念:
远程过程调用(RPC)是一个协议,程序可以使用这个协议请求网络中另一台计算机上某程序的服务,而不需要知道网络细节。
集群中的hadoop01上的DataNode和hadoop02上的DataNode、namenode之间的通信靠的就是RPC
必备知识:
网络七层模型
网络四层模型
Remote Procedure Call (翻译:远程过程调用):
、
RPC模式:
[RPC模式是C/S模式,一端是客户端,另一端是服务器,中间有一些计算在服务端]
RPC设计目的、作用、特点:
不同语言程序之间的通信:用C写的,用Java也可以调用
垂直应用服务化拆分:用方法拆成多个,用RPC串联起来
封装网络交互:封装后的很容易使用
所以,RPC使用起来比较便捷
Hadoop主要协议:
[namenode、datanode和client之间都有自己的通信协议;clientprotocpl就是RPC;比如client要去写数据,就要通过clientdatanodeprotocol]
yarn中的通信协议:
[yarn中的每个组件都有自己的通信协议]
yarn中的协议:
HadoopV2.0中的RPC: