IOError：[错误号2]没有这样的文件或目录：'hdfs:///data/testdata.json'

Question

python编码新手，出现以下错误

我可以查看测试数据。此位置使用的json

hdfs dfs-ls/数据/测试数据。json'

回溯（最近一次调用last）：文件“testdata.json”，第6行，in with open（'hdfs:///data/testdata.json“）作为data\u文件：IOError：[错误号2]没有这样的文件或目录：”hdfs:///data/testdata.json'python process\u sensor\u文件。py公司

#!/bin/python
import json
from pprint import pprint

with open('hdfs:///data/testdata.json', "r") as data_file:
     source_data = json.load(data_file)
print(source_data)

print(json.dumps(source_data, indent=2))

for item in source_data['CityData']:
            Longitude = item['Longitude']
            TimeStamp = item['TimeStamp']
            print(Longitude, TimeStamp)

Answer 1

您需要一个用于python的HDFS驱动程序才能从HDFS读取，例如hdfs3

从文档中：

from hdfs3 import HDFileSystem
hdfs = HDFileSystem(host='localhost', port=8020)
with hdfs.open('/data/testdata.json') as f:
    data = f.read(1000000)