1、hadoop是个什么东西？
: 回答时，精髓：清晰，明确，不含糊， – 但不求多深多全，不能有明确的错
2、hdfs的用途是什么？
<–描述开放式问题的套路：先勾勒出事物的轮廓、骨架、再逐层填充细节–>
储海量文件、为分布式数据处理做支撑
是一个分布式的文件系统
系统中有多重角色，核心角色是namenode 和datanode
namenode负责管理元数据
datanode负责存储文件块
hdfs的运行机制：写文件、读文件的流程
3、文件在hdfs中是通过什么机制来存放的
分布式存放的
文件不是存在一台机器上，而是存在很多的datanode服务器上
一个文件也会被切成多块，分布在多台datanode上
文件的分块存放位置信息，记录在namenode的元数据中
每一个文件的文件块都可以存储多个副本，副本的数量由上传该文件的客户端决定
每一个文件的切块大小也是由客户端决定
读、写数据流程
4、hdfs的客户端api中上传、下载文件，打开文件的输入输出流的方法？
fs.copyFromLocalFile(src,dest)
fs.copyToLocalFile(src,dest)
int = fs.open()
out = fs.create();
5、hdfs的读写数据流程能描述吗？
写文件流程：
客户端向NN请求上传文件
NN告知是否可以上传
客户端向NN请求上传第一个block
NN告知n台DN机器主机名端口号
客户端挑选最近的一台DN，发出请求
目标DN向后续的n个DN发请求，建立pipeline，并在完成后应答客户端
客户端向目标DN传送文件块的字节数据
目标DN接收字节流，并往后续dn进行发送，后续dn接收并往后续发送
该block的数据发送完成后，客户端继续向NN请求上传第二个block，然后重复上述过程
读文件流程：
客户端向NN请求读文件
NN返回该文件的元数据给客户端
客户端找到第一个block的位置信息（dn）
然后挑选最近的一台dn请求读取一个block块
然后dn发送该block块的字节流给客户端，客户端收取
第一个block收取完成后，挑选第二个block的存储dn中最近的一台，重复上述过程
6、hdfs中动态扩容增加10台datanode的步骤有哪些？
准备10台服务器，安装系统、配置环境、安装jdk
安装hadoop软件包
从原集群中同步hadoop配置文件到这新的10台机器
在这10台机器上，用 hadoop-daemon.sh start datanode 分别启动datanode进程
此时，新的10台机器已加入原集群了
后续：为了方便以后用 start-dfs.sh 自动启动集群时，也把这新家的10台自动启动，则可以修改一下slaves文件，加入这10台
6、namenode是怎么管理元数据的？
首先，namenode会将元数据存储在内存中，同时，也会将元数据序列化在磁盘文件fsimage中
然后，这其中涉及的一个核心问题是：内存中元数据如何与磁盘中fsimage序列化文件保持尽可能一致
namenode会将最新的元数据变动以操作日志的形式写在磁盘日志文件edits中
再然后，secondary namenode会定期将新生成的edits文件下载到本地，跟前一个版本的fsimage进行合并生成新的fsimage，并上传到nameonde替换上一个版本的fsimage
7、写一个mapredcue程序，需要写一些什么类？
自定义mapper
自定义reducer
jobsubmitter 提交job的客户端程序
根据需要：还可以有combiner、partitioner、GroupingComparator、自定义Inputformat、自定义outputformat、自定义bean实现writableComparable接口
8、能否不看模板代码，写出一个wordcount
map(){
String line =value.toString();
String[] words = line.split(" ");
for(String word:words){
context.write(new Text(word),new IntWritable(1))
}
}
reduce(Text key,Iterable<IntWritable> values,Context context){
int count = 0;
for(IntWritable value:values){
count += value.get();
}
context.write(key,new IntWritable(count));
}
main(){
Configuration conf = new Configuration();
Job job = Job.getInstance(conf);
....
boolean res = job.waitForCompletion(true);
System.exit(res?0:1);
}
9、能否不看模板代码，写一个求分组topn的mapreduce程序
基本实现：
map(){
context.write("分组条件",数据)
}
reduce(){
// 将这一组数据通过迭代器拿出来，放到一个list中或者treemap中
// 对数据排序 Collections.sort(list,new Comparator());
// 然后输出前N条
}
高级实现：
利用GroupingComparator
map(){
context.write(数据bean,nullWritable)
}
保证分区正确：自定一个partitioner
getPartition(){
// 根据数据bean中的分组条件字段进行分区
}
保证reduce端分组正确；自定义一个GroupingComparator
// 数据bean中uid相同则看成一组
reduce(){
//按顺序输出前n个
}
10、能否不看模板代码，写一个数据去重的mr程序
11、能否描述mr程序的运行流程、mr程序提交到yarn的流程？
12、hive是个什么东西？它大体是怎么工作的
hive是一个基于hadoop的数据仓库工具
hive中可以建表，建库，
表、库的定义数据存放在hive的元数据库（mysql）中
hive中的表数据存放在hdfs中
hive对用户提交的查询sql，会翻译成mapreduce程序在yarn上运行
13、hive中的元数据是指什么、存在哪？hive中的表数据又是存放在哪？
14、不看模板，能在hive中建库、建表、建分区表、导入数据
create database db_xx;
create table t_yy(id int,name string,birthday date,age int,price double)
row format delimited fields terminated by '\001';
create table t_zz(id int,name string,birthday date,age int,price double)
partitioned by (dt string)
row format delimited fields terminated by '\001';
load data [local] inpath '/path/data' into table t_zz partition(dt='2017-08-08');
15、不看模板，能在hive中做简单查询、条件查询、join查询、group by查询
16、不看模板，能在hive中应用cast函数、substr函数、from_unixtime函数
17、能通过看百度，在hive中使用to_date(“2017-08-30 17:30:20”,“yyyy-MM-dd HH:mm:ss”)函数
18、不看模板，能在hive中应用row_number() over()函数来求分组topn
select ...
from
(
select x,y,row_number() over(partition by sex order by age desc) as rank from t_yy
) tmp
where tmp.rank < 4;
19、不看模板，能在hive中应用json_tuple()解析json数据
select json_tuple(json,‘movie’,‘rate’,‘timeStamp’,‘uid’) as(movie,rate,ts,uid) from t_json;
20、知道textfile和sequencefile的区别吗？
textfile中存放的是文本数据（文本就是一些字符，有行的概念）
sequencefile是hadoop中开发的一种文件格式，里面存放的是大量key-value的对象序列化数据，文件头部会存key-value的类型权限定名