Linux下文本处理工具很丰富很强大,去重复行可用以下方法:
1
2
3
4
|
cat log
www.haiyun.me 192.168.1.1
www.haiyun.me 192.168.1.1
www.haiyun.me 192.168.1.2
|
1
2
3
4
5
|
uniq log
sort -u log
uniq log
www.haiyun.me 192.168.1.1
www.haiyun.me 192.168.1.2
|
使用awk按列删除重复行,也可按多列或整行操作。
1
2
|
awk '!i[$1]++' log
www.haiyun.me 192.168.1.1
|
使用sed删除重复行:
1
2
3
|
sed '$!N; /^\(.*\)\n\1$/!P; D' log
www.haiyun.me 192.168.1.1
www.haiyun.me 192.168.1.2
|