python 模拟浏览器的行为_Python：mechanize模拟浏览器行为
Python有许许多多有趣的模块，每当自己需要解决某个问题的时候，Python总能冒出来一两个让你惊喜的小玩意。比如说用于数值计算的Numpy(强大而方便的矩阵能力)，用于数据分析的Pandas(和R语言有非常多相似的功能，在读写各种文件以及数据处理上会让人有种把excel、R、机器学习融合起来使用的感觉)，用于爬虫内容提取的BeautifulSoup(点对点的精准数据获取，使用非常方便)，以及最近正在使用的用于模拟浏览器登录的Mechanize。
业务需求
既谈技术，先明需求，学习Mechanize的真实目的不方便描述，以下是学Mechanize带来的福利。
现有一论坛，由于某种特殊原因需要定时发帖。比如一些校园内网的BBS，如果想浏览帖子，必须先登录。也就是说现在需要一个工具，能够登录该论坛，然后在相应的文本输入框中输入汉字，最后提交。
其实原理就是模拟浏览器和Server交互的一个过程，主要在于协议的一些理解。经过一些调研，有两种方案可选：Java的HttpClient和Python的Mechanize。两者都可实现模拟浏览器进行交互的一些功能，实现难度都不大。
HttpClient的方便之处在于文档比较全，还可以直接看源码，官网(https://hc.apache.org/index.html)还有各种小例子，有些可以直接使用。目前最新版本是4.5。
Mechanize使用比较简单，它保留许多与出色的 Expect 脚本相同的东西，它的使用过程，比如.select_form()、.submit()、.follow_link()等方法确实比较还原真实的“查找并发送”操作。遗憾的是文档并不想网上说的那么详细，官方给了几个例子，但是没有像Java那样的API，好多方法需要自己来摸索和看网上的例子，在使用的时候想查看所有的方法介绍比较麻烦。但是这不能阻挡我使用它的决心。Mechanize很久没更新了，目前版本是0.2.5。官网：http://wwwsearch.sourceforge.net/mechanize/
Mechanize介绍
mechanize是对urllib2的部分功能的替换，能够更好的模拟浏览器行为，在Web访问控制方面做得更全面。它对protocol, cookie, redirection都做了比较好的支持，再结合beautifulsoup和re模块，可以非常有效的解析web页面。
常用函数
.CookieJar()：设置cookie
.Browser()：打开浏览器
.addheaders()：User-Agent，用来欺骗服务器的
.open()：打开网页，按照官网描述可以打开任意网页，不仅限于http
.select_form()：选择表单的，选择表单的ID的时候需要注意。
.form[]：填写信息
.submit()：提交
例子
从百度搜索
比较简单，先获取表单信息，然后填入相应信息，提交即可，最后查看返回信息。
import sys
import mechanize
#Browser
br = mechanize.Browser()
#options
br.set_handle_equiv(True)
#br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
#Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
br.set_debug_http(True)
br.set_debug_redirects(True)
br.set_debug_responses(True)
#欺骗行为
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
#上面的代码主要用于初始化设置，最好设置一下
# 打开百度
r = br.open('https://www.baidu.com/')
#获取百度的表单，从中找到输入汉字的位置
for f in br.forms():
print f
br.select_form(nr = 0)
#搜索关键字“火车”
br.form['wd'] = "火车"
br.submit()
# 查看搜索结果
brr=br.response().read()
#是html代码，能看到火车的搜索结果
print brr
登录某论坛，并发贴
先登录http://examplehome.com/login界面，启用cookie记录，记录cookie信息。
登录界面之后，cookie中已保存了登录信息，获取该cookie信息，再打开http://examplehome.com/ID=001，获取表单信息。
在相应位置填入信息，提交，最后查看结果。
import sys
import mechanize
#cookie
cj = mechanize.CookieJar()
#Browser
br = mechanize.Browser()
#options
br.set_handle_equiv(True)
#br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
#Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
#debugging?
br.set_debug_http(True)
br.set_debug_redirects(True)
br.set_debug_responses(True)
#User-Agent (this is cheating, ok?)
br.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.81 Safari/537.36')]
#启用cookie
br.set_cookiejar(cj)
br.open("http://examplehome.com/login")
#print br.title()
br.select_form(nr = 0)
#获取表单信息，我已知道信息，故注释掉
#for f in br.forms():
#print f
#account info
br.form['username'] = "name"
br.form['password'] = 'pawd'
br.submit()
#登录成功，查看登录成功的后的信息
#br_response = br.response().read()
#print br_response
#经过上面步骤，cookie里已经保存的登录信息，下面直接使用cookie即可免密码登录了
#Browser
br2 = mechanize.Browser()
#options
br2.set_handle_equiv(True)
#br.set_handle_gzip(True)
br2.set_handle_redirect(True)
br2.set_handle_referer(True)
br2.set_handle_robots(False)
#Follows refresh 0 but not hangs on refresh > 0
br2.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
#debugging?
br2.set_debug_http(True)
br2.set_debug_redirects(True)
br2.set_debug_responses(True)
#User-Agent (this is cheating, ok?)
br2.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.81 Safari/537.36')]
#设置 cookie
br2.set_cookiejar(cj)
#打开帖子的链接
r = br2.open("http://examplehome.com/ID=001")
br2.select_form(nr = 3)
#获取表单的信息
#for f in br2.forms():
# print f
#在发帖处，填写回复内容
br2.form['message'] = "我是使用程序自动发帖的~"
br2.submit()
#查看发帖后的结果
br2_response = br2.response().read()
print br2_response