早課

5.22早課

1.shell腳本执行,假如是使用当前目录去执行的,你们觉得命令行是什么?
./ 或? xxx.sh

2.A left jion B,哪个表数据为主?
A

3.分组函数,语法和过滤的SQL是什么?注意点是什么?
group by A having 过滤条件,A必须要在查询的字段里

4.怎样理解字表?
查询形成的临时表,任何查询的结果都可以认为是字表

5.A表能和自己本身jion关联吗?
能,即内联

6.把表数据膨胀,我们用哪个SQL?
union  (后面学spark会讲)

7.linux哪些命令用到r参数?
rm -r
cp -rm

//一张有100条记录的表,先增加1列,就存3,4,5号日期,那么就是300行数据,想构建这样的数据,一般需要union,不会重复,膨胀的目的就是为了构建不重复的记录
//union是取两结果集的交集

8.hdfs的命令执行时,碰到权限无法操作,该怎么办?
修改权限
或 su user -

9.临时获取root权限,命令是什么?修改什么文件?怎么修改?
sudo
vim /etc/sudoers
具体修改内容看笔记

10.切换用户的命令?
su -

11.sudo su可以一起使用吗?
可以,怎么用??

12.假如一个用户是存在的,但是无法登录或者su无法切换过去,怎么办?
vim / etc/passwd 修改nologin

13.查看端口号的命令?
netstat -nlp|grep xxx 查看使用端口号

14.linux中输入命令,提示not found ,该怎么办?
 1.检查环境变量,看path路径下是否有
 2.看权限
 3.看有没有安装,如果安装了看命令所在目录,该用户对这个目录有没有读权限

5.23早課

1.vi怎样覆盖文件内容?从记事本复制过去呢?哪些命令?

2.tar压缩和解压参数
tar -zxvf 解压   -xzvf
tar -cvf 压缩

3.假如vi在命令模式粘贴一段,你们有没有发现第一行会有丢失?那么我们在粘贴前,应该让命令进入什么模式?
编辑模式

4.tar解压后我们要习惯的一件事是什么?
ll查看文件夹用户属主,不对就要给权限:chown -R root:root xxx

5.怎样配置linux机器的yum源? (yum配置J哥博客有)
??/etc/yum.repo.d/

6.top命令我们可以了解到哪些信息?
cpu内存使用,进程,假如系统卡卡的,可以考虑杀死进程??:kill -9---百度

7.一个文件130M,请问多少块?
130-128=2,2块

8.hdfs里面有权限这块吗?使用和linux一样吗?
有,一样-------百度
hdfs dfs -ll -chmod -chown

9.which xxx命令那么是去哪个环境变量找的?
在path找的

10.谈谈对hdfs读写流程的理解

11.hadoop官网的配置文件在哪?
hadoop.apache.org——>选版本——>configration

12.flume的三个角色是什么?公共一个进程吗?
source channle sink ,公用

13.kafka的三个角色是什么?共用一个进程吗?
producer ,consumer,topic

14.shell脚本内容第一行定义是什么?
#! /bin/bash

15.shell脚本里定义变量=前后有空格吗?
没有!!key=value

16.if语法的注意点是什么?
[]前后要有空格,即 if[ 前后空格 ]

17.怎样加调试模式?
sh -x shellname
或    首行加 -x


4.24早課
1.MapReduce谈谈自己的理解?
hadoop 1.x :作业资源调度
hadoop 2.x :只包含作业,资源调度被拆分到yarn里
hadoop 3.x :

2.Map是什么?
映射函数

3.Reduce是什么?
规约函数

4.shuffle谈谈对此的理解?
洗牌,整合maptask的东西,然后重新分配
把多个map产生的 映射进行整合,减少map的结果数量,即提前预约

5.wordcount那幅图,有什么印象?

6.输入分片一般和什么有关?多少个分片就可以有多少个maptask,对不对?
hdfs上的block,一个分片对应一个maptask,不做优化的话,对!

7.maprduce架构设计中应用程序AM和task都运行在哪个抽象概念中?
container

8.假如hdfs的文件都是小文件,那么就会有多个maptask,我们生产一般设计时,是需要合并的或者设计我们文件存储时尽量保持一个文件在一个块大小(了解题)
一旦合并了小文件,我们task数量就少了,减少任务的数量,保证以最小的任务执行循环次数结束任务
(搜索:hdfs如何合并小文件)

9.nm节点的内存和容器的内存参数哪几个?
5

10.容器使用物理core还是虚拟core?
虚拟(为什么??)

1总结:
mapreduce架构设计?wordcount博客?容器的概念,内存和vcore的参数设置?

5.29 早课

1.MySQL需要重新部署,删除哪两个文件和执行命令?
arch/* data/*

2.MySQL的创建一个DB,创建一个用户对这个DB有所有权限,密码123456,只允许198.168.137.110机器能访问数据库,请问sql怎么写
create database db;
grant all privileges on db.* to user@'ip' identified by '123456';

3.MySQL关于权限操作,我们最后一步命令是什么?
flush privileges

4.对一个用户假如允许任意电脑能够访问,你们觉得用什么表示,该怎么修改当前用户??
修改用户的% ?????

5.查看表字段有哪些?哪些命令可以实现?

6.排序语法是什么?默认是?
order by ,默认升序(asc)

7.分组语法是什么?假如加过滤的语法呢?注意点是什么?
group by ,having ,注意group by的字段必须被查询

8.说说读字表的理解?
任何查询结果都可以看做是字表

9.union all和union的区别?
不去重和去重

10.模糊查询语法是什么?例第三位字母是j,该怎么查询?
select * from tablename where name like '_ _j*';或 like '_ _j%'

11.jion语法那几种?
left right inner

12.left jion语法,哪个字段表最全?
左表

猜你喜欢

转载自blog.csdn.net/totora_wq57/article/details/81302953