大数据hadoop,mapReduce

hdfs
day2
配置详解(端口号都是多少)(所有配置都是第一默认配置的覆盖)
日志查看
namenode的格式化(删除data和logs)
配置历史服务器 (mapreduse的运行历史)
日志聚集功能配置(将日志信息长传到hdfs方便查看)yarn.site

hdfs数据存储目录 data下的(blockid如何生成,poolid如何生成,大文件多个快存储副顺序)

day03
crontab定时调度 service crontab start
集群时间同步 (找一个服务器做时间同步)ntp安装(时间 )rpm ,其他机器定时同步

源码编译: 官网提供的32位 编译出64位的
hdfs文件块大小:
hadf的优缺点,架构图
namenode
dataname
client
secondary namenody
hadoop的寻址时间如何计算
hadoop fs命令(上传文件上传文件夹)(文件内容的追加)
hdfs客户端编写(环境准备,编译后的源码)springboot项目配置hadoop环境变量,maven工程导包。对hdfs文件进行操作增删改查,文件文件夹。

namenode和secondarynamenode:面试开发重点
工作机制工作流程图 fimg和edit存放位置。oiv查看figmg文件

namenode故障恢复 :模仿kill掉namenode用secondarynode进行数据恢复
namenode的cloudler在哪存在

集群安全模式:

namenode的多目录配置

day05
datanode的机制
注册到namenode,心跳机制
datanode新加,黑名单,白名单

小文件归档 har 归档har解析(重点)

hdfs的回收站 core-site配置文件内 默认为0

mapRedue分布式计算
优缺点:
原理:
写mapreduce程序的map和reduce和driver(wordcount案例)
序列化反序列化

猜你喜欢

转载自blog.csdn.net/fanyongyao/article/details/88722579