Hadoop-No.14之文件传输的特点

xiaoxiao2021-02-28  110

文件传输特点

这是一种all-or-nothing批处理方法,所以如果文件传输过程中出现错误,则不会写入或读取任何数据.这种方法与Flume,Kafka之类的采集方法不同,后者提供一定程度的错误处理功能.并且有传输保障文件传输默认为单线程,不能并行文件传输文件传输将文件从传统的文件系统导入HDFS不支持数据转换,数据按原样导入HDFS.数据导入HDFS后才能进行处理,这一点与传输过程中的数据转换截然相反,类似Flume的系统支持传输过程中的数据转换.这种加载是逐字节进行的,所以能传输任何类型51的文件(文本.二进制文件与图片等等)
转载请注明原文地址: https://www.6miu.com/read-70236.html

最新回复(0)