如何使用Selenium和Python通过爬虫测试非标准下拉列表
我在一个大学的项目，建立一个网页的cralwer。现在我在网页中遇到了测试下拉列表。具体地说，下面的页面没有使用标准的“Dropdown”类。
https://www.mirrorfiction.com/zh-Hant/book/406
<ul class="navList">
<li class="mobileDisable">
<a data-ga-label="小說" data-ga-action="click" data-ga-category="header" onclick="app.navLiClick(this)" class="hasSub btnGa open" href="https://www.mirrorfiction.com/zh-Hant/list/novel">
<span class="text novel">小說</span>
</a>
<ul>
<li>
<a data-ga-label="小說-仙俠" data-ga-action="click" data-ga-category="header" class="btnGa" href="https://www.mirrorfiction.com/zh-Hant/list/novel/classification/11">
<span class="text">仙俠</span>
<span class="num">/ 16</span>
</a>
</li>
<li>
<a data-ga-label="小說-玄幻" data-ga-action="click" data-ga-category="header" class="btnGa" href="https://www.mirrorfiction.com/zh-Hant/list/novel/classification/9">
<span class="text">玄幻</span>
<span class="num">/ 24</span>
</a>
</li>
<li>
<a data-ga-label="小說-奇幻" data-ga-action="click" data-ga-category="header" class="btnGa" href="https://www.mirrorfiction.com/zh-Hant/list/novel/classification/29">
<span class="text">奇幻</span>
<span class="num">/ 56</span>
</a>
</li>
<li>
<a data-ga-label="小說-武俠" data-ga-action="click" data-ga-category="header" class="btnGa" href="https://www.mirrorfiction.com/zh-Hant/list/novel/classification/10">
<span class="text">武俠</span>
<span class="num">/ 11</span>
</a>
</li>
<li>
<a data-ga-label="小說-科幻" data-ga-action="click" data-ga-category="header" class="btnGa" href="https://www.mirrorfiction.com/zh-Hant/list/novel/classification/8">
<span class="text">科幻</span>
<span class="num">/ 17</span>
</a>
</li>
<li>
<a data-ga-label="小說-恐怖" data-ga-action="click" data-ga-category="header" class="btnGa" href="https://www.mirrorfiction.com/zh-Hant/list/novel/classification/30">
<span class="text">恐怖</span>
<span class="num">/ 11</span>
</a>
</li>
<li>
<a data-ga-label="小說-校園" data-ga-action="click" data-ga-category="header" class="btnGa" href="https://www.mirrorfiction.com/zh-Hant/list/novel/classification/7">
<span class="text">校園</span>
<span class="num">/ 16</span>
</a>
</li>
<li>
<a data-ga-label="小說-愛情" data-ga-action="click" data-ga-category="header" class="btnGa" href="https://www.mirrorfiction.com/zh-Hant/list/novel/classification/1">
<span class="text">愛情</span>
<span class="num">/ 78</span>
</a>
</li>
<li>
<a data-ga-label="小說-寫實" data-ga-action="click" data-ga-category="header" class="btnGa" href="https://www.mirrorfiction.com/zh-Hant/list/novel/classification/5">
<span class="text">寫實</span>
<span class="num">/ 48</span>
</a>
</li>
<li>
<a data-ga-label="小說-歷史" data-ga-action="click" data-ga-category="header" class="btnGa" href="https://www.mirrorfiction.com/zh-Hant/list/novel/classification/6">
<span class="text">歷史</span>
<span class="num">/ 13</span>
</a>
</li>
<li>
<a data-ga-label="小說-驚悚" data-ga-action="click" data-ga-category="header" class="btnGa" href="https://www.mirrorfiction.com/zh-Hant/list/novel/classification/31">
<span class="text">驚悚</span>
<span class="num">/ 24</span>
</a>
</li>
<li>
<a data-ga-label="小說-其它" data-ga-action="click" data-ga-category="header" class="btnGa" href="https://www.mirrorfiction.com/zh-Hant/list/novel/classification/12">
<span class="text">其它</span>
<span class="num">/ 40</span>
</a>
</li>
</ul>
</li>
共有1个答案
考虑按照以下步骤和代码行打开url并单击菜单：
>
代码块：
from selenium import webdriver
driver=webdriver.Chrome("C:\\Utility\\your_directory\\chromedriver.exe")
#maximize the browser window
driver.maximize_window()
#open the url in the browser
driver.get("https://www.mirrorfiction.com/zh-Hant/book/406")
#click on the first menu item 小說
driver.find_element_by_xpath("//nav[@id='nav']/div/ul/li/a/span[@class='text novel']").click()
-
根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫 就是 捜索引擎抓取系统，目的是将互联网上的所有的网页下载到本地，形成一个互联网内容的镜像备份。 它决定着整个搜索引擎内容的丰富性和时效性，因此它的性能优劣直接影响着搜索引擎的效果。 通用搜索引擎（Search Engine）工作原理 第一步：抓取网页 搜索引擎网络爬虫的基本工作流程如下： 首先选取一部分的初始UR
-
我想使用硒从选择字段中选择一个选项 HTML格式如下： 我尝试了以下方法： 我收到了这个错误： 硒。常见的例外情况。NoSuchElementException:消息：没有这样的元素：无法定位元素：{“方法”：“xpath”，“选择器”：”//*[@id=“Enable”]/option[value=“0”]}
-
我正在尝试通过selenium驱动程序和Python来玩autologin测试。我正在使用这个站点https://invoiceaccess.pgiconnect.com/我做了什么： 例如，我需要选择，但它选择了。在我犯错的地方，谁能帮帮我？
-
本文向大家介绍Python爬虫：通过关键字爬取百度图片，包括了Python爬虫：通过关键字爬取百度图片的使用技巧和注意事项，需要的朋友参考一下 使用工具：Python2.7 点我下载 scrapy框架 sublime text3 一。搭建python（Windows版本） 1.安装python2.7 ---然后在cmd当中输入python，界面如下则安装成功 2.集成Scrapy框架----输
-
本文向大家介绍如何使用Python标准库进行性能测试，包括了如何使用Python标准库进行性能测试的使用技巧和注意事项，需要的朋友参考一下 Profile 和 cProfile 在 Python 标准库里面有两个模块可以用来做性能测试。 1. 一个是 Profile，它是一个纯 Python 的实现，所以会慢一些，如果你需要对模块进行拓展，那么这个模块比较合适。 2. 第二个是 cProfile，