保存网页源代码的固有方式

Question

我已经阅读了很多有关Web抓取的答案，这些答案涉及BeautifulSoup，Scrapy等执行Web抓取的问题。

有没有办法从网络浏览器中保存页面的源代码呢？

也就是说，Python中是否有一种方法可以将其指向网站，并使其仅使用标准Python模块将页面的源代码保存到文本文件中？

这是我去的地方：

import urllib

f = open('webpage.txt', 'w')
html = urllib.urlopen("http://www.somewebpage.com")

#somehow save the web page source

f.close()

我知道的不多-但是正在寻找代码来实际提取页面的源代码，以便可以编写它。我收集到urlopen只是建立了连接。

也许有等效的readlines（）用于读取网页的行？

Answer 1

您可以尝试urllib2：

import urllib2

page = urllib2.urlopen('http://stackoverflow.com')

page_content = page.read()

with open('page_content.html', 'w') as fid:
    fid.write(page_content)