如何用python[复制]从网站读取txt文件

Question

我正在学习NLTk，我需要加载一个大文件，我不想把它保存在我的桌面上。我怎么能用网站上托管的python读取文件？

我在这里尝试了这段代码，但它不起作用，我假设openwith是它的rson，但我需要使用openwith，因为在这种情况下我需要将它保存为file-myfile。

import nltk

with open('http://www.sls.hawaii.edu/bley-vroman/brown.txt', 'r')as myfile:
    data=myfile.read().replace('\n', 'r')

data2 = data.replace("/", "")

for i, in line in enummerate(data2.split('\n')):
    if i>10:
        break
    print(str(i) + ':\t' + line)

这就是错误：

Traceback (most recent call last):
  File "tut1.py", line 3, in <module>
    with open('http://www.sls.hawaii.edu/bley-vroman/brown.txt', 'r')as myfile:
FileNotFoundError: [Errno 2] No such file or directory: 'http://www.sls.hawaii.edu/bley-vroman/brown.txt'

如何在脚本中使用该文件而不下载整个文件？

我更改了代码以处理请求

import nltk
import requests

myfile = requests.get('http://www.sls.hawaii.edu/bley-vroman/brown.txt')

data=myfile.read().replace('\n', 'r')

但是现在当我运行这个我得到这个错误：

Traceback (most recent call last):
  File "tut1.py", line 6, in <module>
    data=myfile.read().replace('\n', 'r')
AttributeError: 'Response' object has no attribute 'read'

Answer 1

有iter\u lines（）允许您逐行使用流媒体内容：

resp = requests.get('http://www.sls.hawaii.edu/bley-vroman/brown.txt', stream=True)
for i, l in enumerate(resp.iter_lines()):
    if i < 10:
        print(l)  # use l.decode() to get string
    else:
        break
resp.close()  # to not hang connection anymore

或者更简单：

for _, l in zip(range(10), resp.iter_lines()):
    print(l)  # use l.decode() to get string

或者最好的：

from itertools import islice

print(*islice(resp.iter_lines(), 10), sep="\n")

Answer 2

你可以访问它的内容。txt文件，没有如下错误：

import requests

myfile = requests.get('http://www.sls.hawaii.edu/bley-vroman/brown.txt')

data = myfile.text

Answer 3

如果您想处理文件的前N行（这里是10行），而不将整个响应读入内存，下面介绍了如何做到这一点：

import nltk
import requests

myfile = requests.get('http://www.sls.hawaii.edu/bley-vroman/brown.txt', stream=True).raw

for i in range(0, 10):
    line = myfile.readline()
    data = line.decode().replace('\\n', 'r')
    print(data, end="")

结果:

富尔顿县大陪审团星期五说，对亚特兰大最近的初选进行的调查“没有证据”表明有任何违规行为发生。陪审团在期末陈述中进一步表示，负责此次选举的市执行委员会“应该得到亚特兰大市对选举进行方式的赞扬和感谢”。

富尔顿高等法院法官杜伍德·派伊（Durwood Pye）指控9月至10月任期的陪审团调查有关在艰苦的初选中可能出现“违规行为”的报道，该初选由富尔顿赢得

我修复的三个问题是：

1. 请求。get（）不会返回类似文件的对象。添加。raw获取该值，并将stream=True添加到请求中以使其正确执行

当然，要处理10行而不是1行，您需要一个循环和一种只处理10行的方法。我也加了一句。我还添加了一个print（）调用，以便我们都能看到结果。

我假设代码中的replace（）并不是您真正想要的。我猜你的意思是replace（'\\n'，'\\r'），但因为我不确定（我不知道这能给你带来什么），所以我把它留给你处理。我确实对它进行了修复，这样它就不会通过在搜索词中添加第二个反斜杠来完全消除这一行（不知道它为什么这样做）。