尚硅谷大数据技术Hadoop教程-笔记07【Hadoop-源码解析】

视频地址:尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优)

  1. 尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】
  2. 尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】
  3. 尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
  4. 尚硅谷大数据技术Hadoop教程-笔记04【Hadoop-MapReduce】
  5. 尚硅谷大数据技术Hadoop教程-笔记05【Hadoop-Yarn】
  6. 尚硅谷大数据技术Hadoop教程-笔记06【Hadoop-生产调优手册】
  7. 尚硅谷大数据技术Hadoop教程-笔记07【Hadoop-源码解析】

目录

07_尚硅谷大数据技术之Hadoop(源码解析)V3.3

P171【171_尚硅谷_Hadoop_源码解析_RPC通信原理解析】13:44

P172【172_尚硅谷_Hadoop_源码解析_NameNode启动源码解析】21:37

P173【173_尚硅谷_Hadoop_源码解析_DataNode启动源码解析】22:10

P174【174_尚硅谷_Hadoop_源码解析_HDFS上传源码_整体介绍】07:39

P175【175_尚硅谷_Hadoop_源码解析_HDFS上传源码_create】10:13

P176【176_尚硅谷_Hadoop_源码解析_HDFS上传源码_write】23:02

P177【177_尚硅谷_Hadoop_源码解析_Yarn源码解析】21:21

P178【178_尚硅谷_Hadoop_源码解析_Hadoop源码编译】21:01


07_尚硅谷大数据技术之Hadoop(源码解析)V3.3

P171【171_尚硅谷_Hadoop_源码解析_RPC通信原理解析】13:44

第0章 RPC通信原理解析

HDFS、YARN、MapReduce三者关系:

package com.atguigu.rpc;

public interface RPCProtocol {
    long versionID = 666;

    void mkdirs(String path);
}
package com.atguigu.rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

import java.io.IOException;

// 实现通信接口
public class NNServer implements RPCProtocol {
    public static void main(String[] args) throws IOException {
        //启动服务
        RPC.Server server = new RPC.Builder(new Configuration())
                .setBindAddress("localhost")
                .setPort(8888)
                .setProtocol(RPCProtocol.class)
                .setInstance(new NNServer())
                .build();
        server.start();
        System.out.println("服务器器开始工作!");
    }

    @Override
    public void mkdirs(String path) {
        System.out.println("服务器接收到了客户端请求:" + path);
    }
}
package com.atguigu.rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

import java.io.IOException;
import java.net.InetSocketAddress;

public class HDFSClient {
    public static void main(String[] args) throws IOException {
        // 获取客户端对象
        RPCProtocol client = RPC.getProxy(RPCProtocol.class, RPCProtocol.versionID, new InetSocketAddress("localhost", 8888),
                new Configuration());
        client.mkdirs("/input");//创建input文件夹
        System.out.println("客户端开始工作!");
    }
}

P172【172_尚硅谷_Hadoop_源码解析_NameNode启动源码解析】21:37

第1章 NameNode启动源码解析

P173【173_尚硅谷_Hadoop_源码解析_DataNode启动源码解析】22:10

第2章 DataNode启动源码解析

DataNode工作机制

DataNode启动源码解析

P174【174_尚硅谷_Hadoop_源码解析_HDFS上传源码_整体介绍】07:39

第3章 HDFS上传源码解析

 HDFS的写数据流程

HDFS上传源码解析

P175【175_尚硅谷_Hadoop_源码解析_HDFS上传源码_create】10:13

P176【176_尚硅谷_Hadoop_源码解析_HDFS上传源码_write】23:02

P177【177_尚硅谷_Hadoop_源码解析_Yarn源码解析】21:21

第4章 Yarn源码解析

Yarn工作机制

Yarn源码解析

P178【178_尚硅谷_Hadoop_源码解析_Hadoop源码编译】21:01

第5章 MapReduce源码解析

官网下载源码,Apache Hadoop

 

Windws环境编译源码比Linux环境编译源码麻烦,在Linux环境下编译源码速度较快!

猜你喜欢

转载自blog.csdn.net/weixin_44949135/article/details/129784258