如何通过使用Selenium使用javascript呈现的源代码获取html
我在一个网页上运行查询，然后得到结果URL。如果右键单击查看html源代码，则可以看到JS生成的html代码。如果我仅使用urllib，则python无法获取JS代码。所以我看到了一些使用硒的解决方案。这是我的代码：
from selenium import webdriver
url = 'http://www.archives.com/member/Default.aspx?_act=VitalSearchResult&lastName=Smith&state=UT&country=US&deathYear=2004&deathYearSpan=10&location=UT&activityID=9b79d578-b2a7-4665-9021-b104999cf031&RecordType=2'
driver = webdriver.PhantomJS(executable_path='C:\python27\scripts\phantomjs.exe')
driver.get(url)
print driver.page_source
>>> <html><head></head><body></body></html> Obviously It's not right!!
这是我在右键单击窗口中需要的源代码，（我需要信息部分）
</script></div><div class="searchColRight"><div id="topActions" class="clearfix
noPrint"><div id="breadcrumbs" class="left"><a title="Results Summary"
href="Default.aspx? _act=VitalSearchR ...... <<INFORMATION I NEED>> ...
to view the entire record.</p></div><script xmlns:msxsl="urn:schemas-microsoft-com:xslt">
jQuery(document).ready(function() {
jQuery(".ancestry-information-tooltip").actooltip({
href: "#AncestryInformationTooltip", orientation: "bottomleft"});
});
问题答案：
您将需要通过javascript使用硒execute_script功能来获取文档
from time import sleep # this should go at the top of the file
sleep(5)
html = driver.execute_script("return document.getElementsByTagName('html')[0].innerHTML")
print html
这将使所有内容都进入<html>标签内
-
问题内容： 我在一个网页上运行查询，然后得到结果URL。如果我右键单击查看html源代码，则可以看到JS生成的html代码。如果我仅使用urllib，则python无法获取JS代码。所以我看到了一些使用selenium的解决方案。这是我的代码： 这是我在右键单击窗口中需要的源代码，（我需要信息部分） ===========所以我的问题是===============如何获取JS生成的信息？ 问题答
-
github上有些插件是分为个人版和企业版的，企业版本的说是需要获取许可证，才能用。但是仍然可以直接下载下来，直接使用。 比如这个：AG-grid插件分为社区版和企业版 ，但是企业版本的代码也可以下载。 我的问题： 1.关于此类需要授权的代码，获取官方的许可后，是要怎么使用他的代码？在哪里注明？ 2.如果直接使用它的代码用在公司的内部系统，被发现会怎么样？
-
问题内容： 我已经使用Selenium2 / WebDriver编写了测试，并且想要测试HTTP请求是否返回HTTP 403 Forbidden。 是否可以使用Selenium WebDriver获取HTTP响应状态代码？ 问题答案： 一言以蔽之。无法使用Selenium WebDriver API。此问题已在项目的问题跟踪器中进行了讨论，该功能不会添加到API中。
-
问题内容： 如何不使用来获取html源代码？ 我需要知道这一点，因为在某些虚拟主机上已禁用，因此您不能使用。是否可以使用cURL获取html文件的源（如果启用了cURL支持）？如果是这样，怎么办？谢谢。 问题答案： 请尝试以下操作： 我只推荐小文件使用。大文件将作为一个整体读取，并且可能会产生内存错误。 编辑：在评论中进行了一些讨论之后，我们发现问题是服务器无法解析主机名，并且该页面另外是http
-
例如，我可以获得开始行和结束行，但是如何获得开始行和结束行之间的源代码呢。下面是示例代码。 我想得到下面的代码，这是与cmds相关的定义。
-
我有下面的HTML页面，我正在python下使用Selenium从HTML页面提取一些数据 <代码>