u 文件操作

Ø 上传本地文件到HDFS

Ø 读取文件

Ø 在hadoop fs中新建文件，并写入

Ø 重命名文件

Ø 删除Hadoop fs上的文件

u 目录操作

Ø 读取某个目录下的所有文件

Ø 在hadoop fs上创建目录

Ø 删除目录

u HDFS信息

Ø 查找某个文件在HDFS集群的位置

Ø 获取HDFS集群上所有节点名称信息

详细代码如下：

package org.ch.hadoop.hdfs;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.BlockLocation;

import org.apache.hadoop.fs.FSDataInputStream;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Hdfs;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.hdfs.DistributedFileSystem;

import org.apache.hadoop.hdfs.protocol.DatanodeInfo;

import org.apache.hadoop.io.IOUtils;

import org.ch.hadoop.hdfs.Util.HDFSUtils;

import org.junit.Test;

import org.mockito.internal.matchers.EndsWith;

public class HDFSFStest {

/*

 * 读取文件内容

 * **/

@Test

public void testRead() throws Exception{

//获取文件系统

FileSystem hdfs= HDFSUtils.getFileSystem();

//文件名称

Path path = new Path("/input/b.txt");

//打开文件输入流

FSDataInputStream inputStream = hdfs.open(path);

//读取文件内容到控制台显示 ----read()

IOUtils.copyBytes(inputStream, System.out,4096,false);

//关闭流 ------close()

IOUtils.closeStream(inputStream);

} 

 /*

  *查看目录 

  **/

@Test

public void testList() throws Exception{

FileSystem hdfs  = HDFSUtils.getFileSystem();

//目录

Path path = new Path("/input");

FileStatus[] fileStatus = hdfs.listStatus(path);

for(FileStatus fStatus : fileStatus){

Path p = fStatus.getPath();

String info = fStatus.isDirectory()? "目录" : "文件";

System.out.println(info + ":" + p);

}

} 

/*

 *创建目录

 **/

@Test

public void testDirectory() throws IOException{

FileSystem hdfs = HDFSUtils.getFileSystem();

Path path = new Path("/test/dir");

boolean isSucces = hdfs.mkdirs(path);//相当于 -mkdir -p

String info = isSucces ? "成功" : "失败";

System.out.println("创建目录[" + path + "]" + info);

}

/*

 * 上传文件 ----put copyFromLcal

 * */

@Test

public void testPut() throws IOException{

FileSystem hdfs = HDFSUtils.getFileSystem();

//上传原路经

Path srcpath= new Path("/home/ch-hduser/myfile/test1.data");

//HDFS 文件上传路径

Path dstpath = new Path("/test/dir");

//文件上传

hdfs.copyFromLocalFile(srcpath, dstpath);

}

/*

 * 创建HDFS文件并写入内容

 * */

@Test 

public void testCreate() throws IOException{

FileSystem hdfs = HDFSUtils.getFileSystem();

//HDFS 文件上传路径

Path path = new Path("/test/dir/touch.data");

FSDataOutputStream fsDataOutputStream = hdfs.create(path);

fsDataOutputStream.writeUTF("测试write");

IOUtils.closeStream(fsDataOutputStream);

}

//对HDFS上的文件进行重命名

@Test

public void testRename() throws IOException{

FileSystem hdfs = HDFSUtils.getFileSystem();

//HDFS文件上传路径

Path srcpath = new Path("/test/dir/test1.data");

Path destpath = new Path("/test/dir/rename.data");

boolean flag = hdfs.rename(srcpath, destpath);

System.out.println(flag);

}

//删除文件

@Test 

public void testDelete() throws IOException{

FileSystem hdFileSystem = HDFSUtils.getFileSystem();

//HDFS文件上传路径

Path path = new Path("/test/dir/rename.data");

boolean flag = hdFileSystem.deleteOnExit(path);

System.out.println(flag);

}

//删除目录

@Test 

public void testDeleteDir() throws IOException{

FileSystem hdFileSystem = HDFSUtils.getFileSystem();

//HDFS文件上传路径

Path path = new Path("/test/dir");

boolean flag = hdFileSystem.delete(path, true);

System.out.println(flag);

}

//查找某个文件在hadoop集群中的位置

@Test 

public void testLocation() throws IOException{

FileSystem hdFileSystem = HDFSUtils.getFileSystem();

//HDFS文件上传路径

Path path = new Path("/input/a.txt");

FileStatus fileStatus = hdFileSystem.getFileStatus(path);

BlockLocation[] blockLocations = hdFileSystem.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());

for(BlockLocation blockLocation : blockLocations)

{

String[] hoStrings = blockLocation.getHosts();

for(String hoString : hoStrings)

{

System.out.print(hoString);

}

System.out.println();

}

}

// 获取集群上所有节点信息

@Test 

public void testCluster() throws IOException{

FileSystem hdFileSystem = HDFSUtils.getFileSystem();

//转换成分布式文件系统

DistributedFileSystem distributedFileSystem = (DistributedFileSystem) hdFileSystem;

//获取节点状态信息

DatanodeInfo[] datanodeInfos = distributedFileSystem.getDataNodeStats();

//根据节点信息打印出主机名

for(DatanodeInfo datanodeInfo : datanodeInfos)

{

String hoString = datanodeInfo.getHostName();

System.out.println(hoString);

}

}

}