Python-在. aspx网站上自动输入表单并将输出存储在文件中（使用Selenium？）

Question

我这个月才开始学习编码，从Python开始。我想自动化一个简单的任务（我的第一个项目）——访问一家公司的职业网站，检索当天发布的所有工作，并将其存储在一个文件中。这就是我想按顺序做的：

1. 去http://www.nov.com/careers/jobsearch.aspx
2. 选择选项-每页25个作业
3. 选择日期选项-今天
4. 点击搜索职位
5. 将结果存储在文件中（只是职位名称）

我环顾四周，发现硒是最好的处理方法。aspx页面。

我已经使用硒完成了步骤1-4。然而，有两个问题：

1. 我不希望浏览器打开。我只需要将输出保存到一个文件中
2. 即使我可以打开浏览器，在空闲状态下（我有windows操作系统）使用Python代码（作为Web驱动程序从Selenium导出）也会导致错误。当我运行Python代码时，浏览器打开，链接被加载。但是没有任何表单选择发生，在浏览器关闭之前，我收到了foll错误消息（下面的链接）。那么错误消息是什么意思呢？http://i.stack.imgur.com/lmcDz.png

如有任何帮助/指导，将不胜感激。。。谢谢

Answer 1

关于第一个问题，您可以简单地使用无头浏览器。这在Chrome和Firefox上都是可能的。检查Grey Li的答案，例如：Python-Firefox Headless

from selenium import webdriver
options = webdriver.FirefoxOptions()
options.add_argument('headless')
driver = webdriver.Firefox(options=options)

Answer 2

首先，关于你得到的错误，我应该说，根据表达式NoSuchElementExc0019和消息Unable to loction元素，你为web驱动程序提供的选择器是错误的，web驱动程序找不到元素。

既然你没有发布你的代码，我也不能打开你输入的网站链接，我可以给你一个示例代码，我会尽可能多地统计细节。

from selenium import webdriver

driver = webdriver.Firefox()
driver.get("url")
number_option = driver.find_element_by_id("id_for_25_option_indicator")
number_option.click()
date_option = driver.find_element_by_id("id_for_today_option_indicator")
date_option.click()
search_button = driver.find_element_by_id("id_for_search_button")
search_button.click()
all_results = driver.find_elements_by_xpath("some_xpath_that_is_common_between_all_job_results")

result_file = open("result_file.txt", "w")

for result in all_results:
    result_file.write(result.text + "\n")

driver.close()
result_file.close()

既然你说你最近才开始学习编码，我想我必须给出一些解释：

1. 我建议您在元素具有ID属性的所有情况下使用driver.find_element_by_id。它更健壮。
2. 代替result.text，您可以使用result.get_attribute（value）或result.get_attribute（innerHTML）。

这一切现在都进入了我的脑海；但是如果你发布你的代码，我们看看有什么问题，那就更好了。此外，如果你给我一个网站的新链接，那就太好了，这样我就可以在代码中添加更多的细节；你当前的链接坏了。