las operaciones de archivos HDFS basada en Java

En primer lugar, el contenido del experimento

1, una clase de programación "MyFSDataInputStream", que hereda "org.apache.hadoop.fs.FSDataInputStream", con los siguientes requisitos: un método de lectura de fila implementado en HDFS archivo "readLine ()" especifica, si el extremo de lectura de archivos los retornos de vacío, de lo contrario la línea de archivo de texto.

2, ver los manuales de ayuda de Java u otros materiales con "java.net.URL" y "org.apache.hadoop.fs.FsURLStreamHandler
completa de archivos HDFS salida de programación especifica el texto de fábrica" al terminal.

En segundo lugar, el código del experimento

package Second;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class MyFsDataInputStream extends FSDataInputStream{
	public MyFsDataInputStream(InputStream in) {
		super(in);
	}
	public static String readline(Configuration conf,String filename) throws IOException
	{
		Path filename1=new Path(filename);
		FileSystem fs=FileSystem.get(conf);
		FSDataInputStream in=fs.open(filename1);
		BufferedReader d=new BufferedReader(new InputStreamReader(in));
		String line=d.readLine();
		if (line!=null) {
			d.close();
			in.close();
			return line;
		}else
			return null;
	}
	public static void main(String[] args) throws IOException {
		Configuration conf=new Configuration();
		conf.set("fs.defaultFS", "hdfs://localhost:9000");
		conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
		FileSystem fs=FileSystem.get(conf);
		String filename="/user/hadoop/myLocalFile.txt";
		System.out.println("读取文件："+filename);
		String o=MyFsDataInputStream.readline(conf, filename);
		System.out.println(o+"\n"+"读取完成");
	}
}

package Second;
import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
public class FSUrl {
	static {
		URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
	}
	public static void cat(String filename) throws MalformedURLException, IOException
	{
		InputStream in=new URL("hdfs","localhost",9000,filename).openStream();
		IOUtils.copyBytes(in, System.out,4096,false);
		IOUtils.closeStream(in);
	}
	public static void main(String[] args) throws MalformedURLException, IOException {
		String filename="/user/hadoop/myLocalFile.txt";
		System.out.println("读取文件"+filename);
		FSUrl.cat(filename+"\n读取完成");
	}
}

En tercer lugar, los resultados de explotación

1, una clase de programación "MyFSDataInputStream", que hereda "org.apache.hadoop.fs.FSDataInputStream", con los siguientes requisitos: un método de lectura de fila implementado en HDFS archivo "readLine ()" especifica, si el extremo de lectura de archivos los retornos de vacío, de lo contrario la línea de archivo de texto.

(1), el lanzamiento de un navegador para ver NameNode, la información del nodo DataNode, y la información de archivo
Aquí Insertar imagen Descripción en cuenta que necesita para empezar a hadoop en el terminal

(2), el contenido de un navegador para ver el documento

(3), ejecute el código de resultados Eclipse