linux常用指令（持续更新……）

wc 统计指定文件中的字节数、字数、行数，

命令语法：wc [选项] 文件
该命令选项参数如下：
-c 统计字节数
-l 统计行数
-w 统计字数
-m 统计字符数
如：wc -lcw file1

scp 远程拷贝文件

scp [参数] [原路径] [目标路径]
参数：
-B 使用批处理模式（传输过程中不询问传输口令或短语）
-C 允许压缩。（将-C标志传递给ssh，从而打开压缩功能）
-q 不显示传输进度条。
-r 递归复制整个目录。
-v 详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接，验证和配置问题。
-P port 注意是大写的P, port是指定数据传输用到的端口号
从本地服务器复制到远程服务器：

从本地服务器复制到远程服务器

(1) 复制文件
scp local_file remote_username@remote_ip:remote_folder
scp /opt/soft/nginx-0.5.38.tar.gz [email protected]:/opt/soft/scptest
(2) 复制目录
scp -r local_folder remote_username@remote_ip:remote_folder
scp -r /opt/soft/mongodb [email protected]:/opt/soft/scptest

从远程服务器复制到本地服务器

(1) 复制文件
scp [email protected]:/opt/soft/nginx-0.5.38.tar.gz /opt/soft/
(2) 复制目录
scp -r [email protected]:/opt/soft/mongodb /opt/soft/

启动ssh

service sshd start
sudo service ssh start
sudo service ssh status
sudo /etc/init.d/ssh start/stop/restart #启动/关闭/重启
ssh hyt@slave1 #连接五山远程服务器

ssh localhost失败：22号端口被占用

sudo apt-get remove --purge openssh-server
sudo apt-get install openssh-server
sudo service ssh restart
sudo service ssh status

启动hadoop

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

start-dfs.sh #启动
jps #判断启动是否成功，4个
stop-dfs.sh #关闭

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver

公钥

sudo vim /etc/hosts #增加ip映射
scp ~/.ssh/id_rsa.pub hadoop@Slave1:~ #发送公钥，集群的用户名要一致

针对Slave1

chmod 700 ~/.ssh（修改.ssh权限）
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
sudo vi /etc/ssh/sshd_config #修改配置
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

启动tomcat

./apache-tomcat-9.0.6/bin/startup.sh
sudo ./tomcat/bin/shutdown.sh

启动solr

sudo ~/solr-4.10.4/bin/solr start
sudo ~/solr-4.10.4/bin/solr stop -all

nutch爬取&solr索引

cd ~/nutch
bin/nutch crawl urls -dir localweb -depth 10 -topN 10000 -threads 40
sudo bin/nutch solrindex http://127.0.0.1:8983/solr/crawl/crawldb crawl/linkdb crawl/segments/*

查看爬取结果

bin/nutch readdb localweb/crawldb/ -stats #查看url地址总数和它的状态及评分
bin/nutch readdb crawls/crawldb/ -dump crawldb(导出的地址) #导出每个url地址的详细内容
bin/nutch readlinkdb crawls/linkdb/ -url http://nutch.apache.org #3> 查看链接情况
bin/nutch readlinkdb crawls /linkdb/ -dump linkdb(导出的地址) #导出linkdb数据库文件
bin/nutch readseg -list -dir crawls/segments/ #查看每一个segments的名称，产生的页面数，抓取的开始时间和结束时间，抓取数和解析数。
bin/nutch readseg -dump crawls/segments/ 20140523113557 segdb #导出segments,其中url/segments/ 20140523113557为一个segments文件夹，segdb为存放转换后的内容的文件夹.
bin/nutch readseg -dump crawls/segments/20140523113557/ segdb -nofetch -nogenerate -noparse -noparsedata -nocontent #获得页面内容

打开网页

sudo DISPLAY=:0 firefox
w3m google.com
wget http://www.mpich.org/static/downloads/3.2.1/mpich-3.2.1.tar.gz #下载

MPICH编译和运行

sudo chmod 777 Psort.cc
mpicc -o cpi cpi.c #编译
mpicxx -o Psort Psort.cc
mpiexec ./cpi #运行
sudo chmod 777 testdata256
mpirun -np 5 ./helloworld#多进程
mpiexec -n 2 -f servers ./Psort 256 testdata256 #集群 要定位到testdata目录下

更新+安装与卸载

sudo apt-get update #更新
sudo apt-get install openssh-server #安装
sudo apt-get remove openssh-server openssh-client#卸载
yum -y install gcc #CentOS
yum install gcc-c++ -y
yum install gcc-gfortran

若更新失败

sudo chmod -R a+rX,u+w /var/cache/app-info/xapian/default
ls -ld /var/cache/app-info/xapian
ls -ld /var/cache/app-info/xapian/default
sudo apt-get update

修改权限

ls -l 文件 #查看权限
chmod 777 /etc/passwd #修改文件和文件夹读写执行属性
sudo chown -R hadoop:hadoop crawl #修改文件和文件夹的用户和用户组属性(-R ，可递归遍历子目录)
su -l hadoop #切换用户

目录

cd /usr/local/hadoop #进入目录
ls -aF /usr/java #查看目录下所有文件

增加用户

adduser hyt
passwd hyt
sudo vim /etc/sudoers
hyt ALL=(ALL) ALL
su hyt #切换用户

解压文件

unzip sonar-ant-task-2.1.jar.zip -d nutch/bin
sudo tar -zxvf jdk-10_linux-x64_bin.tar.gz -C /usr/java
mv nameA nameB #重命名
1、.tar 用 tar –xvf 解压
2、.gz 用 gzip -d或者gunzip 解压
3、.tar.gz和.tgz 用 tar –xzf 解压
4、.bz2 用 bzip2 -d或者用bunzip2 解压
5、.tar.bz2用tar –xjf 解压
6、.Z 用 uncompress 解压
7、.tar.Z 用tar –xZf 解压
8、.rar 用 unrar e解压
9、.zip 用 unzip 解压

压缩文件

tar 压缩

tar -zcvf <打包后生成的文件名全路径><要打包的目录>
例子：tar -zcvf /home/xahot.tar.gz /xahot
把/xahot文件夹打包后生成一个/home/xahot.tar.gz的文件。

zip 压缩

zip [参数] [打包后的文件名] [打包的目录路径]
压缩当前的文件夹 zip -r ./xahot.zip ./* -r表示递归

zip命令参数列表：

-a 将文件转成ASCII模式
-F 尝试修复损坏的压缩文件
-h 显示帮助界面
-m 将文件压缩之后，删除源文件

-n 特定字符串 不压缩具有特定字尾字符串的文件
-o 将压缩文件内的所有文件的最新变动时间设为压缩时候的时间
-q 安静模式，在压缩的时候不显示指令的执行过程
-r 将指定的目录下的所有子目录以及文件一起处理
-S 包含系统文件和隐含文件（S是大写）
-t 日期 把压缩文件的最后修改日期设为指定的日期，日期格式为mmddyyyy

设置环境变量

面向所有账户的环境变量

sudo vim /etc/profile
# 打开在末尾添加 export PATH="/home/hyt/anaconda3/bin:$PATH"
source /etc/profile

面向个人账户的环境变量

vim ~/.bashrc
# 打开在末尾添加 export PATH="/home/hyt/anaconda3/bin:$PATH"
source ~/.bashrc

注意：

• /ect/profile对所有账户有效，优先级高于个人账户的.bashrc，跟c++的项目环境大于全局环境不一样
• 新增的路径放在:$PATH前面，记得加上双引号

清除缓存

sync; echo 1 > /proc/sys/vm/drop_caches #仅清除页面缓存（PageCache）

sync; echo 2 > /proc/sys/vm/drop_caches #清除目录项和inode

sync; echo 3 > /proc/sys/vm/drop_caches #清除页面缓存，目录项和inode

修改hosts

sudo vim /etc/hosts
sudo /etc/init.d/networking restart