如何在python程序中下载CSV链接

Question

网站为“https://www . NSE India . com/companies-listing/corporate-filings-announcements”。一个朋友给我发来了一些日期之间的下载数据的潜在链接，如"https://www.nseindia.com/api/corporate-announcements的csv文件？指数=股票

csv_url='https://www.nseindia.com/api/corporate-announcements?index=equities&from_date=14-01-2022&to_date=15-01-2022&csv=true%27'
df = pd.read_csv(csv_url)
print(df.head())

Answer 1

好吧，对于这个问题，首先您需要请求带有本文中提到的标题的NSE网站，然后一旦您点击主网站，您将在会话中获得一些cookie，使用它们可以击中所需的URL。要将该url数据转换为pandas兼容字符串，我遵循了这个答案。

确保在标头中包含自定义用户代理，否则它将失败。

import pandas as pd
import io
import requests

base_url = 'https://www.nseindia.com'
session = requests.Session()
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, '
                         'like Gecko) '
                         'Chrome/80.0.3987.149 Safari/537.36',
    'accept-language': 'en,gu;q=0.9,hi;q=0.8',
    'accept-encoding': 'gzip, deflate, br'}

r = session.get(url, headers=headers, timeout=5)
cookies = dict(r.cookies)
response = session.get('https://www.nseindia.com/api/corporate-announcements?index=equities&from_date=14-01-2022&to_date=20-01-2022&csv=true', timeout=5, headers=headers)

content = response.content
df=pd.read_csv(io.StringIO(content.decode('utf-8')))
print(df.head())

Answer 2

使用 wget.py
DATA_URL = “http://www.robots.ox.ac.uk/~ankush/data.tar.gz”

out_fname = 'abc.tar.gz'

wget。下载（DATA_URL，out=out_fname）