如何将集群文件转换格式-shell指令将GBK文件转成UTF-8的格式

xiaoxiao2021-02-28  3

DATE1=$1; DATE2=$2; hadoop fs -get /user/tianchao/BUS/2017data/$DATE1.csv ./SZT/ #从别人的集群目录下载文件到自己的本地文件夹 iconv -f gbk -t utf-8 -c ./SZT/$DATE1.csv -o ./SZT/$DATE2 #转换格式 hadoop fs -copyFromLocal ./SZT/$DATE2/ ./SZT/ #上传到集群 rm -r ./SZT/$DATE2; rm -r ./SZT/$DATE1.csv; #删除本地文件#for i in {01..31};do sh ./sh/tran_format.sh 200_201707$i 201707$i;done #循环操作

本段代码主要实现从集群下载文件,然后在shell本地转换格式。 将本段代码保存为tran_format.sh文件,在shell命令行输入最后一行代码即可实现批量转换文件格式,并批量删除转换前不需要的文件

转载请注明原文地址: https://www.6miu.com/read-1750262.html

最新回复(0)