源码实战之HDFS

1，archive 使用方法：hadoop archive - archiveNamename <src>* <dest> 说明：创建一个hadoop档案文件(归档小文件) 例子： hadoop archive -archiveName taobao.har -p /input/1/ /input/ 2， distcp 使用方法：hadoop distcp <src1> <src2> 说明:在相同的文件系统中并行的复制文件 例子： hadoop distcp /user/zhang01/README.txt /input/ 3，fs 使用方法： hadoop fs [命令] 说明：运行文件命令 4，jar 使用方法： hadoop jar <jar> [mainclass] args 说明：运行hadoop的jar文件 hdfs文件18个基本命令 1，-cat 使用方法： hadoop fs -cat uri 说明：将路径指定的文件输出到屏幕 例子： hadoop fs -cat /input/aaa.txt 2，-copyFromLocal 使用方法：hadoop fs -copyFromLocal <localsrc>uri  <dest> 说明：将本地文件复制到hdfs 例子: hadoop fs -copyFromLocal /home/zhang01/apache-hive-0.13.1-bin/README.txt /input/1/ 3,-copyToLocal 使用方法：hadoop fs -copyToLocal src dest 说明：将hdfs文件复制到本地 例子： hadoop fs -copyToLocal /input/1/README.txt /home/zhang01 4，-cp 使用方法：hadoop fs -cp uri 说明：将源文件从源路径复制到目标路径，可以有多个源路径但只能左右一个目标路径。 例子： hadoop fs -cp /input/aaa.txt /input/bbb.txt /input/2 5，-du 使用方法：hadoop fs -du uri 说明：显示目录中所有文件大小或者指定文件大小。 例子： hadoop fs -du /input 6，-dus 使用方法：hadoop fs -dus uri 说明：显示目录中所有文件总共大小或者指定文件大小。 例子： hadoop fs -dus /input 7，-expunge 使用方法：hadoop fs - expunge 说明：清空回收站。 例子： hadoop fs -expunge 8，-get 使用方法：hadoop fs - get src dest 说明：复制hdfs上文件到本地。 例子： hadoop fs -get /input/aaa.txt /home/zhang01/ 9，-ls 显示文件 10，-lsr 递归显示，也就是文件夹下的也显示 11，-mkdir 创建目录 12，-mv 移动文件 13，-put 上传文件到hdfs 14，-rm 删除文件 15，-rmr 递归删除文件 16，setrep 改变文件副本数 hadoop fs -setrep 1 /input/aaa.txt 17，-test 使用ezd对文件进行检查。 e：是否存在，存在返回0. z：检查文件是否0字节 HDFS文件访问权限 只读权限-r 写入权限-w 读写权限-rw 执行权限-x namenode对hdfs的目录和文件的源数据进行管理， datanode则是对文件进行存储和处理的具体工作节点。