从远程超链接读取信息（知道通过超链接它将是csv文件，但找不到一般方法）[已关闭]

Question

我正在使用Python 3.4。我曾尝试在网络上找到解决方案，但仍然没有。

我有一个链接到csv文件（数据集）。

有没有办法从这个链接中获取信息，而不在本地目录中复制它？（例如，我没有足够的磁盘空间）

我想继续处理内存中的数据。（例如，我计划找出有多少数据，必须做一些数据挖掘和过滤的事情，目前不重要它会是什么）

Answer 1

请尝试以下操作：

import requests
r = requests.get('http://127.0.0.1/some_path/small.csv')
print len(r.content.split('\n')) -1

结果： 10

小的。csv文件如下所示：

1lpcfgokakmgnkcojhhkbfbldkacnbeo,6B5108
pjkljhe2ncpnkpknbcohdijeoejaedia,678425
apdfllc5aahabafndbhieahigkjlhalf,651374
aohghmighlieiainnegkcijnfilokake,591116
coobgpohoikkiipiblmjeljniedjpjpf,587200
dmgjnkhnkblpmfjpdakehnaikgdjllic,540979
felcaaldnbdncclmgdcncolpebgiejap,480535
aapocclcgogkmnckokdopfmhonfmgoek,480441
pdehmppfilefbolgganhfihpbmjlgebh,273609
nafaimnnclfjfedmmabolbppcngeolgf,105979

编辑：（由MHawke建议）

import requests
line_cnt=0
r = requests.get('http://127.0.0.1/some_path/small.csv',stream=True)
for i in r.iter_lines():
    if i.strip():
        line_cnt +=1
print (line_cnt)

此版本不计算空行，对于大型文件应该更有效，因为它使用iter\u行

iter_lines（chunk_size=512，decode_unicode=无，分隔符=无）

一次迭代一行响应数据。当在请求上设置stream=True时，这避免了将内容立即读入内存以获得较大的响应。

（注：不可再入境）