pip install pyhdfs
pyhdfs的安装过程很吐血
1 2 3 4 5 6 7 svn checkout http: //libpyhdfs.googlecode.com/svn/trunk/ libpyhdfs cd libpyhdfs cp /usr/lib/hadoop- 0.20 /hadoop-core- 0.20 . 2 -cdh3u0.jar lib/hadoop- 0.20 . 1 -core.jar cp /usr/lib/hadoop- 0.20 /lib/commons-logging- 1.0 . 4 .jar lib/ cp /usr/lib/libhdfs.so. 0 lib/ ln –s lib/libhdfs.so. 0 lib/libhdfs.so python setup.py install --prefix= "/usr/local"还有就是把 selinux也给关了 不然会出现莫名的问题
如果出现
/usr/lib/jvm/java-6-sun/include/jni.h:27:20: error: jni_md.h: No such file or directory
搜下find / -name jni.h
然后修改#include "jni_md.h" 为 #include "linux/jni_md.h"
这个是用pydoop的库
1 2 3 4 import pydoop.hdfs as hdfs with hdfs.open( '/user/myuser/filename' ) as f: for line in f: print(line)pyhdfs是对libhdfs的python封装库. 它提供了一些常用方法来处理HDFS上的文件和目录, 比如读写文件, 枚举目录文件, 显示HDFS可用空间, 显示文件的复制块数等。
libhdfs 是HDFS的底层C函数库, 由hadoop官方提供, pyhdfs使用swig技术, 对libhdfs提供的绝大多数函数进行了封装, 目的是提供更简单的调用方式.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 如何连接hadoop集群？ fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) fs.disconnect() 如何获取当前工作目录? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs.getWorkingDirectory() fs.disconnect() 如何更改当前工作目录？ fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs.setWorkingDirectory( "/user/ns-lsp/logs" ) fs.disconnect() 如果目录不存在setWorkingDirectory()返回- 1 ,如果执行成功，返回 0 如果目录不存在setWorkingDirectory()返回- 1 ,如果执行成功，返回 0 如何判断某个文件/目录是否存在？ fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs.pathExists( "/user/ns-lsp/logs" ) fs.disconnect() 文件/目录存在，返回 0 ，如果不存在，返回- 1 如何创建一个目录? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs.createDirectory( "/user/ns-lsp/logs/cjj" ) fs.disconnect() 如果目录已经存在，则返回- 1 ，如果目录创建成功，返回 0 如何获得当前默认块大小？ fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs.getDefaultBlockSize() fs.disconnect() 如何获得当期目录下的文件/目录？ fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs.listDirectory( "/user/ns-lsp/logs" ) fs.disconnect() 如何移动一个文件/目录? 同一HDFS内移动文件： fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs.move( "/user/ns-lsp/logs/cjj" , "/user/ns-lsp/logs/cjj_new" ) fs.disconnect() 不同HDFS之间移动文件： target_fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs.move( "/user/ns-lsp/logs/cjj" , "/user/ns-lsp/logs/cjj_new" ,target_fs) fs.disconnect() 如何删除一个文件/目录? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs. delete ( "/user/ns-lsp/logs/cjj_new" ) fs.disconnect() 如何重命名一个文件/目录? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs.rename( "/user/ns-lsp/logs/cjj" , "/user/ns-lsp/logs/cjj1" ) fs.disconnect() 如何修改一个文件/目录的权限? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs.chmod( "/user/ns-lsp/logs/cjj" , 7 ) fs.disconnect() 如何文件块所在的服务器名? 有时我们需要查找某些文件块所在的服务器名是什么，可以如下使用: fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs.getHosts( "/user/ns-lsp/logs/cjj/a" , 0 , 1 ) fs.disconnect() 返回包含服务器名的列表. $ python gethosts.py [ 'xxxx' ] 如何获取一个文件/目录的信息? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) pathinfo = fs.getPathInfo( "/user/ns-lsp/logs/cjj" ) fs.disconnect() getPathInfo()返回一个hdfsFileInfo类。 如何指定文件的备份数? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) print fs.setReplication( "/user/ns-lsp/logs/cjj/a" , 3 ) fs.disconnect() 如何打开一个文件，并读取数据? 要操作文件，需要创建一个HadoopFile对象，并利用read()方法读取数据. fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 ) fh = hadoop.HadoopFile(fs, '/user/ns-lsp/logs/cjj/a' ) print fh.read() fh.close() fs.disconnect()
