转载地址:https://blog.csdn.net/laoding1993/article/details/50722029
一、背景
昨天写了一个expect脚本用来做 板卡的自动化测试，获取framer设备的link up/down信息 定向到log文件里面。为了方便分析和处理，使用shell 脚本处理这个log文本。
主要思路是将log中的特定行输出至新的new_log文件，对new_log文件中的词语进行拆分、比较，对设备link up/down 的状态信息进行统计。
初步写了一个shell脚本后，发现对设备的统计信息明显不对。为了测试程序，伪造了一个log文本，就是自己复制粘贴的数据；处理之后，发现统计信息没什么问题。。继续对源文件进行处理，还是有问题。百思不得其解。。。。
二：发现问题
经过伪造的log与new_log的对比分析发现，new_log文本里每行的末尾多了一个^M;利用shell鞋的分词程序发现，这个^M竟然与末尾单词是一个整体，怪不得统计信息有问题；单纯比较字符串的话，肯定是有问题的；
vim打开 new_log 的显示如下：
CPU Normal^M
Framer Host Link Up^M
CPU Normal^M
Framer Host Link Down^M
1
2
3
4
分词log如下：
CPU
Normal^M
Framer
Host
Link
Up^M
三、解决问题
发现这个问题之后，就得想办法去除^M 以及找到^M出现的原因；
经过百度，发现：
1. 在windows下的文本文件的每一行结尾，都有一个回车('\n')和换行('\r')
2. 在linux下的文本文件的每一行结尾，只有一个回车('\n');
3. 在Mac下的文本文件的每一行结尾，只有一个换行('\r');
1
2
3
而在linux下打开windows编辑过的文件，就会在行末尾显示^M;
这个^M的在vim下的输入是：
ctrl+v <----> ^
ctrl+m <----> M
1
2
四：解决方法
1：首先想到的字符串的替换
利用VIM的命令行输入：
%s/^M$//g
1
解释：% 指匹配整个文件，s 是置换的意思，^M 注意要用 Ctrl + V Ctrl + M 来输入，M 后面的 $ 代表匹配行尾的内容，最后的 g 则表示每行中匹配到的内容都要置换；
2：dos2unix工具
dos2unix Filename
1
3：批量转换
find ./ -type f -print0 | xargs -0 dos2unix
1
或者
find ./ -type f print0 | xargs -0 sed -i 's/^M$//'
1
即可。