当前位置: 首页 > 软件库 > 应用工具 > 浏览器 >

RoboBrowser

浏览网页的Pythonic库
授权协议 BSD
开发语言 Python
所属分类 应用工具、 浏览器
软件类型 开源软件
地区 不详
投 递 者 水昊阳
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

RoboBrowser 是一款简单的浏览网页的Pythonic库,无需依赖独立的浏览器。

使用示例代码:

import re
from robobrowser import RoboBrowser

# Browse to Genius
browser = RoboBrowser(history=True)
browser.open('http://genius.com/')

# Search for Porcupine Tree
form = browser.get_form(action='/search')
form                # <RoboForm q=>
form['q'].value = 'porcupine tree'
browser.submit_form(form)

# Look up the first song
songs = browser.select('.song_link')
browser.follow_link(songs[0])
lyrics = browser.select('.lyrics')
lyrics[0].text      # \nHear the sound of music ...

# Back to results page
browser.back()

# Look up my favorite song
song_link = browser.get_link('trains')
browser.follow_link(song_link)

# Can also search HTML using regex patterns
lyrics = browser.find(class_=re.compile(r'\blyrics\b'))
lyrics.text         # \nTrain set and match spied under the blind...
  • 今天偶然发现了一个很有意思的python库——robobrowser。简单的看了一下,觉得这个东东作为轻量的爬虫还是很适合的。另外这个做一些简单的web测试也未尝不可。 好了,那么问题来了。 官方的给出的答案是:RoboBrowser: Your friendly neighborhood web scraper。原谅我这一生不羁放纵不爱读书,真心不知道怎么用博大精深的汉语来翻译这句话,有知道的同

  • RoboBrowser,Your friendly neighborhood web scraper!由纯 Python 编写,运行无需独立的浏览器,它不仅可以做爬虫,还可以实现 Web 端的自动化 项目地址: https://github.com/jmcarp/robobrowser 2. 安装及用法 在实战之前,我们先安装依赖库及解析器 PS:官方推荐的解析器是 「lxml」 # 安装依赖 p

  • python3_RoboBrowser_test selenium库作为交互是非常方便的,但是却大大加长了加载的时间,例如需要渲染网址,加载js,造成在爬虫过程中时间变长。 因此找到一个虚拟的浏览器,同样具备selenium的部分功能,例如登陆,提交表单等,测试代码如下: # !/usr/bin/python3.4 # -*- coding: utf-8 -*- from robobrowser

  • 我试图在第 http://pretraga2.apr.gov.rs/ObjedinjenePretrage/Search/Search页提交表格 但是我收到错误(HTML)像:Error Sorry, an error occurred while processing your request. 当前的Python脚本: #!/usr/bin/python # vim: set fileenco

  • 我已经四处找了一个星期了。我找到的所有答案要么过时,要么不起作用。在 我正在尝试登录此网站http://ink361.com/app/login 我尝试单独使用请求,并尝试将请求与robobrowser混合以注入一些头。 我没有问题提供我的用户名和密码用于测试目的。在from robobrowser import RoboBrowser import requests headers = { "A

  • RoboBrowser 是一款简单的浏览网页的Pythonic库,无需依赖独立的浏览器。 使用示例代码:import re from robobrowser import RoboBrowser # Browse to Genius browser = RoboBrowser(history=True) browser.open('http://genius.com/') # Search for

  • robobrowser简单介绍: 简单来说,robobrowser是一个轻量级的浏览器,自动测试库,和selenium类似,但运行比selenium更为隐蔽,因为它不会打开浏览器页面。RoboBrowser,Your friendly neighborhood web scraper!由纯 Python 编写; 项目地址:打开 安装 推荐使用pip方式安装,简单! robobrowser库依赖其他

  • 我试图将框的值从10改为500。以下是HTML: 10 20 50 100 表单中没有'500'选项,但是如果您在浏览器中更改HTML,web服务器将接受它。在 我用Python编写的代码不起作用:browser = RoboBrowser() browser.open(link) form = browser.get_form(action=re.compile(r'loginshop')) f

  • 背景 学习使用工具实际上不难,不过我们应该通过阅读工具源码来提升自己的水平。 多读代码,读好代码。很不错,robobrowser的代码简单易懂,值得学习。 预备知识 源码地址 一起其实是从browser.py开始的 要点 RoboState类里,页面上内容的抓取和处理实际上委托给了BeautifulSoup。RoboState类的_parsed对象实际上就是BeautifulSoup的实例; Ro

  • 背景 本节的知识实际上是属于Beautiful Soup的内容。 robobrowser支持Beautiful Soup,一般来说通过下面3个方法获取页面上感兴趣的内容 find find_all select 这一节主要通过一些例子来讲解这几个方法 预备知识 一般来说学习Beautiful Soup是需要了解过滤器这个概念的。不过为了让大家能够容易理解,这里暂时屏蔽过滤器的知识,感兴趣的同学可以

  • 安装robobrowser 注意:这里假设你知道如何使用pip安装python的库的知识,如果你不了解这一块的话,点这里获取帮助。 强烈推荐使用pip安装。 pip install robobrowser -i http://pypi.douban.com/simple/   这里用上了豆瓣源,原因你懂得。     快速开始 新建1个start.py文本文件,然后敲入下面的代码 1 import

  • 背景 本节的知识还是属于Beautiful Soup的内容。 Beautiful Soup的find和find_all方法非常强大,他们支持下面一些类型的过滤器。 字符串 最简单的过滤器是字符串.在搜索方法中传入一个字符串参数,Beautiful Soup会查找与字符串完整匹配的内容,下面的例子用于查找文档中所有的<b>标签: soup.find_all('b') 正则表达式 如果传入正则表达式作

  • 背景 做一个简单的spider用来获取python selenium实战教程的一些基本信息。因为python selenium每年滚动开课,所以做这样一个爬虫随时更新最新的开课信息是很有必要的。     预备知识 python语法,不会python的同学建议通过这个视频学习; 安装好robobrowser,没有安装的同学参考这里;   任务分解 这个简单的spider任务可以进行进一步的分解: 访

  • 背景 在做spider的时候,我们经常会有点击链接的需求。 考虑这样的一个简单spider:获取qq.com主页上的今日话题中的内容。 一般思路是先去qq.com首页上找到今日话题的链接,然后点击这个链接到内容页面,最后抓取里面的内容就好了。 这一节里我们就要实现这个功能。 预备知识 robobrowser的follow_link方法可以点击链接并自动完成跳转。 代码 #coding: utf-

  • pip install robobrowser 使用pycharm测试,可能会报如下错误 cannot import name 'cached_property' from 'werkzeug' 这是因为版本过高导致的,降低版本即可 卸载原来的包 pip uninstall Werkzeug 重新进行安装 pip install Werkzeug==0.16.1 接下去测试就不会报错了 d

 相关资料
  • A ) 网址列 B ) (取消)/(重新加载) 轻触图标可取消网页加载,或将开启中的网页更新为最新的内容。 C ) (SSL网页显示中) 开启SSL网页时会显示此图标。 D ) (网络过滤服务使用中) 使用封锁有害网站的网络过滤服务时会显示此图标。 E ) (前进)/(返回)/(窗口)/(搜索)/(书签) 当游戏或(视频影像)启动时若启动浏览器,内容显示可能会有部分限制。 输入网址(URL) 1.

  • 问题内容: 如何防止使用JavaScript浏览网页? 问题答案: 使用可以显示消息,但不会中断导航(因为为时已晚)。但是,使用会中断导航: 注意:返回空字符串,因为较新的浏览器提供了诸如“任何未保存的更改将丢失的信息”之类的消息,这些消息不能被覆盖。 在较旧的浏览器中,您可以指定要在提示中显示的消息:

  • 页面浏览分为两部分: 时间/页面筛选 和 页面浏览详情 1.时间/页面筛选 1)便捷按钮有今日、昨日、前日、上周 X、近七天 2)能自定义选择时间段,同时能搜索出个别字眼的页面来得出想要的结果报表 2.页面浏览详情 1)页面浏览,是指被浏览的网页,点击表头可以按相应的项目排序 2)如有需要,亦可点击下载当前报表及更多数据下载,将报表下载到个人电脑,以供存档及分析 3)点击 [细] 可查看访

  • 我正在使用selenium使用chrome浏览器来自动化网页,但是chrome浏览器没有启动,它在地址栏中显示“数据:;”而没有加载任何页面。 selenium: selenium-服务器-独立-3.0.0-beta2,也尝试了2.53 Chrome驱动程序:2.23(http://chromedriver.storage.googleapis.com/index.html?path=2.23/)

  • 网络浏览接口 可阅览因特网(互联网)上的Web网页。 如何卷动 显示选单 输入地址(URL) 使用分页 显示Flash®内容 上传档案 关闭网络浏览接口 利用网络过滤服务 "网络浏览接口"用户使用承诺条款

  • 如何检查网页是否已被手机浏览器或电脑浏览器打开。我试过这个: 但它给出了这些类型的结果: 对于Fedora Firefox浏览器:Mozilla/5.0(X11;Linux i686;rv:13.0)Gecko/20100101 Firefox/13.0 从以上两个结果中,我无法区分网页是被手机还是电脑访问的。我该怎么做? 如果我能在Java做到这一点,那就太好了。