使用python在远程计算机上列出HDFS目录

Question

在谷歌上搜索了很长时间后，我没有找到一个pyspark接口来获取文件列表。似乎pyspark没有提供这样的接口。

我看到一个SO回答，说我需要使用hdfscli并将其导入到我的python脚本中。这也是唯一的办法吗？我不敢相信Spark没有hdfs文件列表的方法。

Answer 1

不清楚你所说的“远程”机器是什么意思。如果你指的是直接连接到集群（即集群的一部分）的机器，我的另一个答案成立；如果您指的是一台不属于集群的机器，那么正如@jedijs所建议的那样，答案是使用pywebhdfs（简单地通过pip install pywebhdfs安装）：

from pywebhdfs.webhdfs import PyWebHdfsClient
from pprint import pprint

hdfs = PyWebHdfsClient(host='192.10.10.73',port='50070', user_name='ctsats')  # your Namenode IP & username here
my_dir = 'user/ctsats'
pprint(hdfs.list_dir(my_dir))

结果是一个（相当长的）Python字典（未显示）--稍微试验一下，以获得一种感觉。您可以解析它以获得名称和类型（文件/目录），如下所示：

data = hdfs.list_dir(my_dir)
pprint([[x["pathSuffix"], x["type"]] for x in data["FileStatuses"]["FileStatus"]])
# [[u'.Trash', u'DIRECTORY'],
#  [u'.sparkStaging', u'DIRECTORY'],
#  [u'checkpoint', u'DIRECTORY'],
#  [u'datathon', u'DIRECTORY'],
#  [u'ms-spark', u'DIRECTORY'],
#  [u'projects', u'DIRECTORY'],
#  [u'recsys', u'DIRECTORY'],
#  [u'sparklyr', u'DIRECTORY'],
#  [u'test.data', u'FILE'],
#  [u'word2vec', u'DIRECTORY']]

为了进行比较，下面是同一目录的实际列表：

[ctsats@dev-hd-01 ~]$ hadoop fs -ls
Found 10 items
drwx------   - ctsats supergroup          0 2016-06-08 13:31 .Trash
drwxr-xr-x   - ctsats supergroup          0 2016-12-15 20:18 .sparkStaging
drwxr-xr-x   - ctsats supergroup          0 2016-06-23 13:23 checkpoint
drwxr-xr-x   - ctsats supergroup          0 2016-02-03 15:40 datathon
drwxr-xr-x   - ctsats supergroup          0 2016-04-25 10:56 ms-spark
drwxr-xr-x   - ctsats supergroup          0 2016-06-30 15:51 projects
drwxr-xr-x   - ctsats supergroup          0 2016-04-14 18:55 recsys
drwxr-xr-x   - ctsats supergroup          0 2016-11-07 12:46 sparklyr
-rw-r--r--   3 ctsats supergroup         90 2016-02-03 16:55 test.data
drwxr-xr-x   - ctsats supergroup          0 2016-12-15 20:18 word2vec

<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>