使用Python的get请求失败

Question

我正在读《网络爬行的终极指南》一书。

用于运行第一个HTTP get-request的代码如下:

import requests 
url = "https://scrapethissite.com/pages/simple/" 
r = requests.get(url) 
print "We got a {} response code from {}".format(r.status_code, url)

我收到错误消息:

HTTPSConnectionPool(HOST='scraphethissite.com'，port=443):超过URL为/pages/simple/的最大重试次数（由SSLError(SSLError(1，'ssl:WRONG_VERSION_NUMBER]错误版本号(_SSL.c:1123)'))

我知道我的请求不正确。是否与网站使用通讯协议HTTPS（vs HTTP）的事实相联系？我不确定，但这似乎是问题的一部分。

我正在Pycharm上使用Python3.8。我的SSL版本是:

OpenSSL 1.1.1g 2020年4月21日

我是网络爬行的初学者。这就是为什么我选择运行另一个代码来运行HTTP get-request，它允许我选择适当的端口和协议（source:https://pythonprogramming.net/python-sockets/):

import socket
import ssl    

context = ssl.SSLContext(ssl.PROTOCOL_TLSv1)
context.verify_mode = ssl.CERT_REQUIRED
context.check_hostname = True
context.load_default_certs()

server = 'scrapethissite.com'
port = 443
server_ip = socket.gethostbyname(server)

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s = context.wrap_socket(s, server_hostname=server)

request = "GET / HTTP/1.1\nHost: "+server+"\n\n"

s.connect((server, port))
s.send(request.encode())
result = s.recv(4096)

while (len(result) > 0):
    print(result)
    result = s.recv(4096)

我得到了HTTP 200 OK状态响应，因此它工作良好。我在PyCharm终端中得到以下输出:

B'HTTP/1.1 200 OKrn日期:Tue，2021年1月12日14:59:35 GMTrn内容类型:text/html；charset=utf-8rntransfer-encoding:chunkedrnconnection:keep-alivernset-cookie:__cfduid=d205b0b8e8ce061174412767189bf10b41610463575；Expires=Thu，11-Feb-21 14:59:35 GMT；路径=/；domain=.scrapethissite.com；HTTPONLY；samesite=laxrncf-cache-status:dynamicrncf-request-id:0798b515a60000ea04f707d000000001rnexpect-ct:max-age=604800，report-uri=https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ctrnreport-to:endpoints:url:https://a.nel.couldflare.com/report?

null

唯一的问题是，我想刮这个网站:

https://scrapethissite.com/pages/simple/

而不是:

https://scrapethissite.com

当我替换

server = 'scrapethissite.com'

由:

server = 'scrapethissite.com/pages/simple/'

在前面的代码中，我得到了这个新的错误消息:

socket.gaierror: [Errno 11001] getaddrinfo failed

我的理解是，问题与代理有关。知道这个问题可能与端口，套接字，代理等有关，这是很有帮助的，但我不确定该如何修复这个代码，因为它在一个网站上运行良好，而在另一个网站上却没有。

任何帮助都非常感激。谢谢！

Answer 1

如果要使用套接字方法，则应将 更改为 ，并将 仅保留为域名

我知道我的请求不正确。

443是正确的HTTPS端口。该错误说明SSL版本不正确