使用shell统计多行文本中非重复行数

参见http://blog.csdn.net/b_h_l/article/details/20694919

sort命令可以对文本的内容进行排序

uniq命令可以对文本内容连续的内容进行去重,非连续的重复内容无法去重

sort 文件 | uniq 可以达到去除所有重复数据的目的(因为先排序了,这样相同的内容一定在连续的一片,再uniq)



sort 文件 |uniq  等价于   sort -u 文件



所以最终的命令可以是:

sort -u 文本 | wc -l

猜你喜欢

转载自blog.csdn.net/silviakafka/article/details/50388457