经过python代码进行操做HDFS

1 经过在hadoop节点上自带命令操做HDFS

好比咱们用下面命令

查看/test目录
hdfs dfs -ls /test
查看目录或者文件的块信息
hdfs fsck / -files -blocks -locations -racks
hdfs fsck /test/start.txt -files -blocks -locations -racks
修改目录权限
hdfs dfs -chmod -R 777 /test

2 经过代码远程操做HDFS，目前用python进出实验

使用python3.6对hdfs库进行操做

安装依赖：

pip3 install --upgrade pip #更新pip,防止版本太低

pip3 install pyHdfs #安装pyHdfs

编码：

 

from pyhdfs import HdfsClientif __name__ == '__main__':    client = HdfsClient(hosts='hadoop2.com:50070')  # 50070是端口号    print(client.list_status('/'))  # 打印    print(client.list_status('/test'))  # 打印    print(client.copy_to_local('/test/start.txt','start2.txt')) # 从hadoop集群中下载文件    print(client.mkdirs('/test/python', permission=777)) #在hadoop集群中建立目录    print(client.copy_from_local('start2.txt', '/test/python/start2.txt')) #把本地文件上传hadoop集群    print(client.delete('/test/python/start2.txt')) #删除hadoop集群文件    print(client.delete('/test/python')) #删除hadoop集群目录