scrapy Scrapy:Python的爬虫框架 实例Demo 抓取:汽车之家、瓜子、链家 等数据信息 版本+环境库 Python2.7 + Scrapy1.12 初窥Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 应用 生成带 json的数据文件 $ scrapy crawl car -o T
这个项目尝试完成超过100个各个类别的使用Python的项目的收集。Fork去学习新知识吧。 不负众望,这个项目目前已经收录了非常多的项目,包罗万象,并且还在不断的增长中。 项目的各种分类做的很好,查找起来十分方便。 如果你想找相关资料可以去看看。 如果有好的项目,也可以去发布Pull Request。
CoCo(Code Convert) 是一个简单的文件编码识别和转换的命令行工具,使用python编写,具有很好的跨平台特性。 安装 $ pip install cocov或者源码安装$ git clone git@github.com:buptmiao/CoCo.git $ cd CoCo$ python setup.py install 使用方式 1. 识别文件编码 $ coco -i fo
python-dateutil是标准的python日期时间(datetime)模块的扩展
Six 提供了一些简单的工具用来封装 Python 2 和 Python 3 之间的差异性,示例代码: import sixdef dispatch_types(value): if isinstance(value, six.integer_types): handle_integer(value) elif isinstance(value, six.class_ty
dnspod-python 是 Dnspod 官方的 Python 开发接口。
Python Fiddle 是一款将桌面的Python开发环境移植到浏览器中的应用。 你可以通过Python Fiddle直接在浏览器中编辑和运行Python代码,并可以分享到Twitter,还可以通过URL的形式从外部资源中导入代码。在此应用的左侧,列出了一些示例程序,以及相关的包、操作快捷键等。
Marlin 是 Redis 上快速简单的 ReST API 服务器。 快速开始: pip install marlin # install marlin to the python environment.marlin-server start # start marlin server - port: 5000 请求方法: METHOD URL RESPONSE DESCRIPTION G
tox的目标是提供最先进的自动化打包,测试和发布的Python软件的工具,可以用于控制台或者基础到你的持续构建平台。 tox是一个通用的virtualenv管理和测试命令行工具,可以: 检查你的包被正确地安装不同版本的Python和解析器 在每个环境中运行你的测试,配置测试工具的选择 作为一个持续集成服务器的前端,大大降低了测试工作量。
python-zxing 是 zxing 的 Python 语言封装版本。 示例代码: reader = zxing.BarCodeReader("/var/opt/zxing")barcode = reader.decode("/tmp/image.jpg")(barcode1, barcode2) = reader.decode(["/tmp/1.png", "/tmp/2.png"])cod
python-magic 是 libmagic 库的 Python 语言封装,实现魔术棒的文件类型识别。 示例代码: >>> import magic>>> magic.from_file("testdata/test.pdf")'PDF document, version 1.2'>>> magic.from_buffer(open("testdata/test.pdf").read(1024)
Python-mode 是一个 vim 插件,允许你在 vim 编辑器中使用工具:pylint, rope, pydoc, pyflakes, pep8, mccabe ,用来对 Python 代码进行 bug 定位、重构以及一些常用的操作。 该插件可以让你在 vim 中轻松创建 Python 代码,无需安装 pylint, rope 或者其他 Python 库。 特点: 支持Python 3.6
Python-QQ:Python语言实现的QQ客户端。根据QQ协议,使用Python来实现一个跨 平台的客户端。充分发挥Python语言快速开发和跨平台运行的优点,特别是让unix用户在使用QQ的时候又多一个选择。
python-hwdata 提供了 Python 接口用于访问 hwdata 包的数据库数据,允许你读取 USB 和 PCI 设备的描述信息。 示例代码: #!/usr/bin/pythonfrom hwdata import PCI, USB# for obtaining real id of your devices you can use package python-gudevpci_ve
该项目基于grpcio 开发,定义了一个通用的 GRPC 服务和函数。通过反射和语法糖,客户端和服务端都可以轻松实现 RPC 服务。 项目路径 client: grpc client demo server: grpc server demo python-grpc: python-grpc core module 教程 安装 python-grpc pip3 install python-grp