HFTP Guide

               

HFTP Guide

Introduction

HDFS是一个可以让你从远程HDFS集群读取数据的Hadoop文件系统的实现。数据读取通过HTTP,数据都在DataNode上。HFTP是一个只读的文件系统,如果你试图用它写或者修改文件系统的状态,将会抛出一个错误。

如果你用多个不同版本的HDFS集群,然后你需要在集群之间移动数据的话,HFTP是非常有用的。HFTP在不同HDFS版本之间都是兼容的。例如,你可以使用命令hadoopdistcp -i hftp://sourceFS:50070/src hdfs://destFS:50070/dest。注意,HFTP是只读的,因此,目的路径必须是一HDFS文件系统。(在这个例子中,distcp应该用新文件系统的配置运行)

一个扩展,HSFTP,默认使用HTTPS。这意味着数据在传输时将被加密。

Implementation

HFTP的实现类是org.apache.hadoop.hdfs.HftpFileSystem。同样的,HSFTP的实现是org.apache.hadoop.hdfs.HsftpFileSystem。

Configuration Options

dfs.hftp.https.port

the HTTPS port on the remote cluster. If not set, HFTP will fall back ondfs.https.port.

hdfs.service.host_ip:port

Specifies the service name (for the security subsystem) associated with the HFTP filesystem running at ip:port.


           

HFTP Guide

Introduction

HDFS是一个可以让你从远程HDFS集群读取数据的Hadoop文件系统的实现。数据读取通过HTTP,数据都在DataNode上。HFTP是一个只读的文件系统,如果你试图用它写或者修改文件系统的状态,将会抛出一个错误。

如果你用多个不同版本的HDFS集群,然后你需要在集群之间移动数据的话,HFTP是非常有用的。HFTP在不同HDFS版本之间都是兼容的。例如,你可以使用命令hadoopdistcp -i hftp://sourceFS:50070/src hdfs://destFS:50070/dest。注意,HFTP是只读的,因此,目的路径必须是一HDFS文件系统。(在这个例子中,distcp应该用新文件系统的配置运行)

一个扩展,HSFTP,默认使用HTTPS。这意味着数据在传输时将被加密。

Implementation

HFTP的实现类是org.apache.hadoop.hdfs.HftpFileSystem。同样的,HSFTP的实现是org.apache.hadoop.hdfs.HsftpFileSystem。

Configuration Options

dfs.hftp.https.port

the HTTPS port on the remote cluster. If not set, HFTP will fall back ondfs.https.port.

hdfs.service.host_ip:port

Specifies the service name (for the security subsystem) associated with the HFTP filesystem running at ip:port.


猜你喜欢

转载自blog.csdn.net/qq_44947869/article/details/89481711