Java操作hdfs文件实例

1.创建HDFS目录 通过"FileSystem.mkdirs（Path f）"可在HDFS上创建文件夹，其中f为文件夹的完整路径。具体实现如下：

package iflytek; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class CreatDir { public static void main(String[] args) throws IOException, URISyntaxException { Configuration conf=new Configuration(); FileSystem hdfs=FileSystem.get(new URI("hdfs://192.168.61.151:8020"), conf); Path path=new Path("/testdir"); hdfs.mkdirs(path); } }

2.重命名HDFS文件 通过"FileSystem.rename（Path src，Path dst）"可为指定的HDFS文件重命名，其中src和dst均为文件的完整路径。具体实现如下：

package iflytek; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class Rename { public static void main(String[] args) throws IOException, URISyntaxException { Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(new URI("hdfs://192.168.61.151:8020"), conf); Path oldPath = new Path("/testdir"); Path newPath = new Path("/testdirnew"); //这里也可以是文件名 boolean isRename = hdfs.rename(oldPath, newPath); String result = isRename ? "成功" : "失败"; System.out.println("文件重命名结果为：" + result); } }

3.创建文件

通过"FileSystem.create（Path f）"可在HDFS上创建文件，其中f为文件的完整路径。

package iflytek; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class CreateFile { public static void main(String[] args) throws IOException, URISyntaxException { Configuration conf=new Configuration(); FileSystem hdfs=FileSystem.get(new URI("hdfs://192.168.61.151:8020"), conf); byte[] buff="hellow hadoop world".getBytes(); //字符型数组 Path dfs=new Path("/test/test"); //创建Path（URI） FSDataOutputStream outputStream = hdfs.create(dfs); //hadoop的读（FSDataInputStream） System.out.println("创建问价夹"); outputStream.write(buff, 0, buff.length); //FSDataOutputStream的写，write有很多种重载的方法 System.out.println("创建文件结束"); } }

4.删除HDFS上的文件 通过"FileSystem.delete（Path f，Boolean recursive）"可删除指定的HDFS文件，其中f为需要删除文件的完整路径，recuresive用来确定是否进行递归删除。具体实现如下：

package iflytek; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class DeleteFile { public static void main(String[] args) throws IOException, URISyntaxException { Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(new URI("hdfs://192.168.61.151:8020"), conf); Path path = new Path("/test/test.txt"); boolean isDelete = hdfs.delete(path, false); // 这里的false表示不递归删除，如果删文件夹可以设置为true。 String result = isDelete ? "成功" : "失败"; System.out.println("文件删除结果：" + result); } } 5.查看某个HDFS文件是否存在

通过"FileSystem.exists（Path f）"可查看指定HDFS文件是否存在，其中f为文件的完整路径。具体实现如下：

package iflytek; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class CheckFile { public static void main(String[] args) throws IOException, URISyntaxException { Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(new URI("hdfs://192.168.61.151:8020"), conf); Path path = new Path("/test"); boolean isExists = hdfs.exists(path); String result = isExists ? "存在" : "不存在"; System.out.println("文件" + result); } }

6.查看HDFS文件的最后修改时间 通过"FileSystem.getModificationTime()"可查看指定HDFS文件的修改时间。具体实现如下：

package iflytek; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import java.util.Date; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class GetLastTime { public static void main(String[] args) throws IOException, URISyntaxException { Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(new URI("hdfs://192.168.61.151:8020"), conf); Path path = new Path("/test/test"); FileStatus status = hdfs.getFileStatus(path); // FileStatus文件系统元数据信息 long lastTime = status.getModificationTime(); // 获取最后修改时间 Date date = new Date(lastTime); System.out.println("最后的修改时间：" + new Date(lastTime)); // 时间格式化 } }

7.查找某个文件在HDFS集群的位置 通过"FileSystem.getFileBlockLocation（FileStatus file，long start，long len）"可查找指定文件在HDFS集群上的位置，其中file为文件的完整路径，start和len来标识查找文件的路径。具体实现如下：

package iflytek; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class FileLoc { public static void main(String[] args) throws IOException, URISyntaxException { Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(new URI("hdfs://192.168.61.151:8020"), conf); Path path = new Path("/test/test"); FileStatus filestatus = hdfs.getFileStatus(path); BlockLocation[] blocklocation = hdfs.getFileBlockLocations(filestatus, 0, filestatus.getLen()); for (int i = 0; i < blocklocation.length; i++) { String[] hosts = blocklocation[i].getHosts(); System.out.println("block_" + i + "_location:" + hosts[0]); } } } 8.获取HDFS集群上所有节点名称信息

通过"DatanodeInfo.getHostName（）"可获取HDFS集群上的所有节点名称。具体实现如下：

package iflytek; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.hdfs.DistributedFileSystem; import org.apache.hadoop.hdfs.protocol.DatanodeInfo; public class GetList { public static void main(String[] args) throws IOException, URISyntaxException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://192.168.61.151:8020"), conf); DistributedFileSystem hdfs = (DistributedFileSystem) fs; DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats(); for (int i = 0; i < dataNodeStats.length; i++) { System.out.println("DataNode_" + i + "_Name:" + dataNodeStats[i].getHostName()); } } }