你可能会用到的awk命令！了解一下，不用再来来回回更改你的代码...

一、awk 到底是什么？

AWK是一个优良的文本处理工具。简单来说，awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。下面给大家介绍几个我这几天搞数据用到的awk命令。

二、按任意行比较，去重

当我们导出的数据可能会有很多重复的内容，而我们只在乎这个是否出现过，并不想看他所有数据的时候，可以使用这个命令：
cat file.txt |awk -F , '!a[$1]++{print}' > newfile.text

解释：
-F , :按,号分割
[$1] :第一列去重,注意：文件中列数是从1开始的，不是从0开始的

三、文件中相同行去重

sort file.txt | uniq > newfile.txt

解释：如果这个文件中有多行数据是完全相同的，使用该命令进行去重

四、去除文件中的空行

awk '{if(!NF){next}}1' file.txt > newfile.txt

解释：实现对文件里面的空行进行跳过操作，并输出结果。

五、剔除文件中以#开头

awk '{if(/^#/){next}}1' file.txt > newfile.txt

解释：实现对文件里面的以#开头，进行跳过操作，并输出结果。

注： 如果有学习到新的awk命令，会持续更新～

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！