HDFS的Java API的访问方式实例代码
本文研究的主要是HDFS的JavaAPI的访问方式,具体代码如下所示,有详细注释。
最近的节奏有点儿快,等有空的时候把这个封装一下
实现代码
要导入的包:
importjava.io.IOException; importjava.net.URI; importjava.net.URISyntaxException; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.BlockLocation; importorg.apache.hadoop.fs.FileStatus; importorg.apache.hadoop.fs.FileSystem; importorg.apache.hadoop.fs.FileUtil; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.hdfs.DistributedFileSystem; importorg.apache.hadoop.hdfs.protocol.DatanodeInfo;
实体方法:
/** *获取HDFS文件系统 *@return *@throwsIOException *@throwsURISyntaxException */ publicstaticFileSystemgetFileSystem()throwsIOException,URISyntaxException{ //readconfigfile Configurationconf=newConfiguration(); //返回默认文件系统 //如果在Hadoop集群下运行,使用此种方法可以直接获取默认文件系统 //FileSystemfs=FileSystem.get(conf); //指定的文件系统地址 URIuri=newURI("hdfs://hy:9000"); //返回指定的文件系统 //如果在本地测试,需要使用此种方法获取文件系统 FileSystemfs=FileSystem.get(uri,conf); returnfs; } /** *创建文件目录 *@throwsException */ publicstaticvoidmkdir()throwsException{ //获取文件系统 FileSystemfs=getFileSystem(); //创建文件目录 fs.mkdirs(newPath("hdfs://hy:9000/hy/weibo")); //释放资源 fs.close(); } /** *删除文件或者文件目录 *@throwsException */ publicstaticvoidrmdir()throwsException{ //获取文件系统 FileSystemfs=getFileSystem(); //删除文件或者文件目录 fs.delete(newPath("hdfs://hy:9000/hy/weibo"),true); //释放资源 fs.close(); } /** *获取目录下所有文件 *@throwsException */ publicstaticvoidlistAllFile()throwsException{ //获取文件系统 FileSystemfs=getFileSystem(); //列出目录内容 FileStatus[]status=fs.listStatus(newPath("hdfs://hy:9000/hy/")); //获取目录下所有文件路径 Path[]listedPaths=FileUtil.stat2Paths(status); //循环读取每个文件 for(Pathpath:listedPaths){ System.out.println(path); } //释放资源 fs.close(); } /** *将文件上传至HDFS *@throwsException */ publicstaticvoidcopyToHDFS()throwsException{ //获取文件对象 FileSystemfs=getFileSystem(); //源文件路径是Linux下的路径PathsrcPath=newPath("/home/hadoop/temp.jar"); //如果需要在windows下测试,需要改为Windows下的路径,比如E://temp.jar PathsrcPath=newPath("E://temp.jar"); //目的路径 PathdstPath=newPath("hdfs://hy:9000/hy/weibo"); //实现文件上传 fs.copyFromLocalFile(srcPath,dstPath); //释放资源 fs.close(); } /** *从HDFS上下载文件 *@throwsException */ publicstaticvoidgetFile()throwsException{ //获得文件系统 FileSystemfs=getFileSystem(); //源文件路径 PathsrcPath=newPath("hdfs://hy:9000/hy/weibo/temp.jar"); //目的路径,默认是Linux下的 //如果在Windows下测试,需要改为Windows下的路径,如C://User/andy/Desktop/ PathdstPath=newPath("D://"); //下载HDFS上的文件 fs.copyToLocalFile(srcPath,dstPath); //释放资源 fs.close(); } /** *获取HDFS集群点的信息 *@throwsException */ publicstaticvoidgetHDFSNodes()throwsException{ //获取文件系统 FileSystemfs=getFileSystem(); //获取分布式文件系统 DistributedFileSystemhdfs=(DistributedFileSystem)fs; //获取所有节点 DatanodeInfo[]dataNodeStats=hdfs.getDataNodeStats(); //循环比遍历 for(inti=0;i总结
以上就是本文关于HDFS的JavaAPI的访问方式实例代码的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!