DATE1=$1;
DATE2=$2;
hadoop fs -get /user/tianchao/BUS/2017data/$DATE1.csv ./SZT/ #从别人的集群目录下载文件到自己的本地文件夹
iconv -f gbk -t utf-8 -c ./SZT/$DATE1.csv -o ./SZT/$DATE2 #转换格式
hadoop fs -copyFromLocal ./SZT/$DATE2/ ./SZT/ #上传到集群
rm -r ./SZT/$DATE2;
rm -r ./SZT/$DATE1.csv; #删除本地文件#for i in {01..31};do sh ./sh/tran_format.sh 200_201707$i 201707$i;done #循环操作
本段代码主要实现从集群下载文件，然后在shell本地转换格式。
将本段代码保存为tran_format.sh文件，在shell命令行输入最后一行代码即可实现批量转换文件格式，并批量删除转换前不需要的文件
