当前位置: 首页 > 知识库问答 >
问题:

使用代理的python请求

缑赤岩
2023-03-14

在我的脚本中,我试图用q代理服务器发出请求。我只是做:

import requests

response = requests.get('https://websiteiwhantget', proxies={"http": '176.36.111.9:56323', "https": '176.36.111.9:56323'})

我从中获得的代理ip地址https://free-proxy-list.net/但当我运行sript时,在我的get呼叫中,我的每个网站都有:

提出ProxyError(e,request=request)请求。例外情况。ProxyError:HTTPSConnectionPool(host='www.moma.com',port=443):url:/(由于ProxyError('无法连接到代理')、RemoteDisconnected('远程端关闭连接而无响应',)而超过了最大重试次数)

如果我删除代理指令在requests.get都做了。为什么与代理我的脚本不工作?自由代理列表中列出的代理是错误的还是我必须更改我的Python调用?我用python 3.6

非常感谢你,我

共有1个答案

祁权
2023-03-14

读这个:https://www.scrapehero.com/how-to-rotate-proxies-and-ip-addresses-using-python-3/

试试这个:

    import requests
    import random
    from lxml.html import fromstring

    url = 'https://free-proxy-list.net/anonymous-proxy.html'
    response = requests.get(url)
    parser = fromstring(response.text)
    proxies = []
    for i in parser.xpath('//tbody/tr')[:20]:
        if i.xpath('.//td[7][contains(text(),"yes")]'):
            proxy = ":".join([i.xpath('.//td[1]/text()')[0], i.xpath('.//td[2]/text()')[0]])

        try:
            t = requests.get("https://www.google.com/", proxies={"http": proxy, "https": proxy}, timeout=5)
            if t.status_code == requests.codes.ok:
                proxies.append(proxy)
        except:
            pass

    proxy = proxies[random.randint(0, len(proxies)-1)]

    response = requests.get('https://websiteiwhantget', proxies={"http": proxy, "https": proxy})
 类似资料:
  • 假设您想对某个网站执行https请求,但中间有一个代理。 上述代理不查看请求,只是在用户代理使用HTTP连接方法后将所有流量中继到实际的HTTPS服务器(如中所示http://www.web-cache.com/Writings/Internet-Drafts/draft-luotonen-web-proxy-tunneling-01.txt)。 现在我的问题是:在代理打开到目标Web服务器的SS

  • 问题内容: 我想在使用Python请求请求网页时发送的值。我不确定是否可以将其作为标头的一部分发送,如以下代码所示: 调试信息未显示请求期间发送的标头。 在标头中发送此信息是否可以接受?如果没有,我该如何发送? 问题答案: 的应指定为在报头中的字段。 这是HTTP标头字段的列表,您可能会对特定于请求的字段感兴趣,其中包括。 如果您使用的是v2.13及更高版本的请求 执行所需操作的最简单方法是创建字

  • 问题内容: 我尝试像这样在python中使用https代理: 是从文件读取的代理,格式为ip:port。我在浏览器中检查了这个https代理,它可以工作。但是在python中,此代码挂起了几秒钟,然后出现异常: 我尝试使用socks5代理,它适用于安装了PySocks的socks5代理。但是对于https我有这个例外,有人可以帮我吗 问题答案: 为指定代理列表时,密钥是协议,值是domain /

  • 问题内容: 简短,简单的介绍了出色的Python 请求模块。 我似乎在文档中找不到变量“代理”应包含的内容。当我发送带有标准“ IP:PORT”值的字典时,它拒绝要求2个值。所以,我猜(因为文档中似乎没有涵盖),第一个值是ip,第二个值是端口? 文档只提到了这一点: 代理–(可选)字典到代理URL的映射协议。 所以我尝试了这个……我该怎么办? 在将它们放入字典之前,我应该将它们转换为某种类型吗?

  • 我有一个电子应用程序,应该通过代理Proxy_A启动。我想对后端进行负载测试。根据我的基本理解,当我想要使用JMeter记录请求时,我应该配置一个脚本记录器,它自己创建一个代理Proxy_B。然后,我应该使用JMeter代理作为我的应用程序的代理,以便可以记录流量。现在我有点迷茫了。我怎样才能告诉 JMeter 接受我的Proxy_A的请求并将其转发给 JMeter 代理Proxy_B? 编辑感谢

  • 我正尝试使用selenium使用我找到的代码更改我的IP,但出现错误:selenium.Common.Exceptions.WebDriverException:消息:“ChromeDriver”可执行文件需要在PATH`From selenium import webdriver中 PROXY=“23.23.23.23:3128”#IP:端口或主机:端口

  • 本文向大家介绍nodejs使用socket5进行代理请求的实现,包括了nodejs使用socket5进行代理请求的实现的使用技巧和注意事项,需要的朋友参考一下 需要用到2个库, request socks5-http-client/lib/Agent/ 或 socks5-https-client/lib/Agent 因为一些已知原因,有时候,http.request请求无法拿到数据, 首先想到的是