hadoop到底是什么？
hadoop平台(项目)是一个可靠地、可扩展的、可分布式计算的开源软件
hadoop平台是一个框架，允许使用简单的编程模型
在计算机集群中对大型数据集进行分布式处理
该平台被设计成可以从单个服务器扩展到数千台服务器，每个服务器都提供本地计算和存储
该平台也被设计成可检测和处理应用层的故障(即高可靠，高容错)，高可用服务是基于计算机集群的，并且其中每一台计算机都有可能失败
产生的背景？
Google面对的数据和计算难题：
- 大量的网页怎么存储
- 搜索算法
- Page-Rank计算问题
hadoop单机版的安装
- 解压安装包到指定目录
- 为hadoop配置环境变量
- 配置hadoop的安装目录下的/etc/hadoop/hadoop-env.sh(告诉hadoop我们的jdk安装目录)
- 测试
which hadoop hadoop version
系统级别命令 Command [-option][路径]
2.1查看当前Linux系统信息
| 命令 | 注释 |
|---|---|
| uname-a | 显示系统及版本的所有信息 |
| uname-r | 显示内核版本 |
| uname-m | 显示计算机是多少位系统 |
cat/proc/version (Linux查看当前操作系统版本信息)
cat/etc/issue 或 cat/etc/redhat-release(Linux查看当前操作系统发行版信息)
2.2查看系统小版本
cat/etc/redhat-release
2.3查看当前主机名
hostname
2.4查看第一个网卡
ifconfig eth0
2.5查看和设置系统时间
date
date -s “2015-5-8 19:48:00”
2.6查看进程
ps-fe|grep redis
2.7显示当前在运行的进程包括对GPU内存的使用量
top -s
2.8管道：|
cmd1|cmd2 将cmd1输出结果交给cmd2命令来执行
2.9grep过滤
#grep //输出包含指定字符串的行
-i //忽略大小写
-r //递归
-v //取反
--color //突出显示查找字符串
2.10重新启动Linux操作系统
reboot
Init6
2.11关闭Linux操作系统
shutdown-h now
init 0
2.12图形和命令行转换
vi/etc/inittab
init3 命令行模式
init5 图形化
2.13显示守护进程目录树
Pstree 或者 pstree -p (显示pid)
2.14显示所有正在运行的进程
ps -aux
2.15显示所有正在运行java进程/
jps
2.16结束正在运行的指定进程
kill-9 pid
2.17Linux不进去系统更改root密码
-
在grub选项菜单按e进入编辑模式
-
编辑kernel那行 输入" 1"(空格1)，然后按enter键
-
按b重启
-
进入后执行下列命令
root@#passwd root(配置root的密码)
Enter new unix password:输入新的密码
root@#init 6
磁盘操作
3.1显示系统的磁盘空间用量
| 命令 | 注释 |
|---|---|
| df-h | 显示磁盘分区信息 |
| mkfs.ext4/dev/sdb1 | 格式化硬盘分区 |
| fdisk -l | 查看磁盘分区 |
| fdisk/dev/sdb | 硬盘分区51显示磁盘分区 |
| du -h -s | 查目录使用大小 |
3.2挂载
| 命令 | 注释 |
|---|---|
| mount -t vfat/dev/sdb1/media/umnt | 挂载 |
| mount -o remount rw/ | 重新挂载，或者将根目录以读写方式重新加载 |
| umount/media/umnt | 卸载 |
3.3文件系统修复
fsck -y/dev/sda1 (修复的可以是分区可以是目录)
//linux文件件格式
ext4 ext3 ext2 vfat(fat32)
//windows文件格式
fat32 ntfs
用户和组的操作
4.1账户
超级账户 root uid=0
普通用户 uid>=500
系统用户 uid=1~499
/etc/passwd //保存账户的信息
/etc/shadow //保存账户密码信息
/root //root用户家目录
/home/xxx //普通用户xxx的家目录
4.2添加和删除用户useradd
#useradd //创建用户
-u 指定uid
-d 指定宿主目录
-s 指定使用shell
-e 指定用户过期时间
-g 指定基本组
-G 指定附加组
#useradd openlab
#gpasswd -a openlab gropenlab //将用户加入到组中
#gpasswd -d openlab gropenlab //将用户从组中删除
#echo"123456"|passwd–stdin feige //不通过交互信息，直接改用户密码
#userdel //删除用户 不删除用户文件
#userdel-r //连主目录一起删除
#id openlab //显示用户信息
vipw 查看用户
4.3创建用户组
groupadd manager
vigr 查看组
groups manager 查看用户在哪些组中
4.4创建用户时附加到组中
useradd -G manager tom
useradd -G manager tom2
4.5更换密码方式1
passwd tom
4.6更换密码方式2
echo “root”|passwd–stdin root
4.7删除指定的账号
userdel tom2
4.8锁定账户 tom2 禁止其登录