Hadoop搭建笔记(24)

本文是我学习Hadoop搭建过程中的各种笔记,内容来自于各种公开的教程,起点非常低,从Linux基础开始,直至在PC上搭建Hadoop成功,是真正的从零开始。

感谢过程中帮助我的各位认识的和不认识的老师。

42、Maven的安装:

maven:本地仓库

1.在Windows中安装maven (写代码用maven管理)

apache-maven-3.3.9-bin安装包位置在:D盘的VM中

① 解压到当前目录 (删除未解压的安装包)

② 配置环境变量

③ 配置maven本地仓库所在位置

④ 配置setting.xml文件(指定本地仓库位置0)

⑤ Java的编辑工具整合(eclipse, idea, myeclipse等)

43、Java取读hdfs文件:

装好maven后,就可以用Java操作文件系统

①找包的路径:http://mvnrepository.com/

②配置,获取文件对象

44、Java操作hdfs文件系统:

下载、上传文件

45、Rpc协议介绍:

Hadoop核心协议RPC

Hadoop是一个庞大的框架,里面的组件相互通信,依靠RPC

RPC概念:

远程过程调用(RPC)是一个协议,程序可以使用这个协议请求网络中另一台计算机上某程序的服务,而不需要知道网络细节。

集群中的hadoop01上的DataNode和hadoop02上的DataNode、namenode之间的通信靠的就是RPC

必备知识:

网络七层模型

网络四层模型

Remote Procedure Call  翻译远程过程调用):

RPC模式:


[RPC模式是C/S模式,一端是客户端,另一端是服务器,中间有一些计算在服务端]

RPC设计目的、作用、特点:

不同语言程序之间的通信:用C写的,用Java也可以调用

垂直应用服务化拆分:用方法拆成多个,用RPC串联起来

封装网络交互:封装后的很容易使用

所以,RPC使用起来比较便捷

Hadoop主要协议:

[namenode、datanode和client之间都有自己的通信协议;clientprotocpl就是RPC;比如client要去写数据,就要通过clientdatanodeprotocol]

yarn中的通信协议:

[yarn中的每个组件都有自己的通信协议]

yarn中的协议:

HadoopV2.0中的RPC:


猜你喜欢

转载自blog.csdn.net/zxqjinhu/article/details/80502191