流式处理两个文件,求其差集(comm)

xiaoxiao2025-08-18  33

背景:有两个数据文件(1.txt和2.txt),1.txt中存储一批垃圾域名,2.txt文件中存有企业上报的域名,现在需要从企业上报域名库中剥离掉垃圾域名。

刚开始使用grep处理,如下:

grep -vf ./1.txt ./2.txt > ./result.txt

但是命令执行一会,服务器32G内存全部吃光,一会提示killed

后来想着grep这个命令的内部原理应该是将两个文件的内容先全部加载到内存,然后处理,所以此种方式不可用,

在网上搜索之后发现comm比较好用(实现原理应该是流处理,即加载一部分处理一部分,然后释放,再继续处理下一部分)

实现步骤:

第一步:将两个文件排序、去重:

sort 1.txt | uniq 1uniq.txt

sort 2.txt | uniq 2uniq.txt

comm -13 1uniq.txt  2uniq.txt > result.txt

 

 

转载请注明原文地址: https://www.6miu.com/read-5035007.html

最新回复(0)