告诉urllib2使用自定义DNS

Question

我想告诉urllib2.urlopen（或一个 自定义的opener
）使用127.0.0.1（或::1）解析地址。但是，我不会更改我的/etc/resolv.conf。

一种可能的解决方案是使用一种工具dnspython来查询地址并httplib构建自定义网址打开器。我更希望告诉urlopen您使用自定义名称服务器。有什么建议？

Answer 1

看起来名称解析最终是由处理的socket.create_connection。

-> urllib2.urlopen
-> httplib.HTTPConnection
-> socket.create_connection

尽管设置了“主机：”标头后，您仍可以解析主机并将IP地址向下传递到打开程序。

我建议您子类化httplib.HTTPConnection，并在将connect方法self.host传递给之前包装要修改的方法socket.create_connection。

然后，将其子类HTTPHandler（和HTTPSHandler）替换为http_open将您的方法HTTPConnection而不是httplib自己的方法传递给的方法do_open。

像这样：

import urllib2
import httplib
import socket

def MyResolver(host):
  if host == 'news.bbc.co.uk':
    return '66.102.9.104' # Google IP
  else:
    return host

class MyHTTPConnection(httplib.HTTPConnection):
  def connect(self):
    self.sock = socket.create_connection((MyResolver(self.host),self.port),self.timeout)
class MyHTTPSConnection(httplib.HTTPSConnection):
  def connect(self):
    sock = socket.create_connection((MyResolver(self.host), self.port), self.timeout)
    self.sock = ssl.wrap_socket(sock, self.key_file, self.cert_file)

class MyHTTPHandler(urllib2.HTTPHandler):
  def http_open(self,req):
    return self.do_open(MyHTTPConnection,req)

class MyHTTPSHandler(urllib2.HTTPSHandler):
  def https_open(self,req):
    return self.do_open(MyHTTPSConnection,req)

opener = urllib2.build_opener(MyHTTPHandler,MyHTTPSHandler)
urllib2.install_opener(opener)

f = urllib2.urlopen('http://news.bbc.co.uk')
data = f.read()
from lxml import etree
doc = etree.HTML(data)

>>> print doc.xpath('//title/text()')
['Google']

显然，如果您使用HTTPS，则存在证书问题，您需要填写MyResolver …