当前位置: 首页 > 软件库 > 应用工具 > 网络爬虫 >

robotstxt-rust

基于 Rust 的 robots.txt 解析器
授权协议 Apache
开发语言 Rust
所属分类 应用工具、 网络爬虫
软件类型 开源软件
地区 国产
投 递 者 徐智渊
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

robotstxt-rust 用 Rust 实现了谷歌的 robots.txt 解析器 robotstxt

特点如下:

  • 原生Rust代码实现,不依赖任何第三方库
  • 0 unsafe代码
  • 保留所有原Google版的实现方式
  • 与原Google版API完全一致
  • 用Rust跑通了100%的Google C++测试用例

安装

[dependencies]
robotstxt = "0.2.0"

快速开始

use robotstxt::DefaultMatcher;

let mut matcher = DefaultMatcher::default();
let robots_body = "user-agent: FooBot\n\
                   disallow: /\n";
assert_eq!(false, matcher.one_agent_allowed_by_robots(robots_body, "FooBot", "https://foo.com/
  • 构建一个Rust运行时反射系统(第一篇) 作者的公司在做一款叫oso的产品,旨在通过提供一门叫Polar的申明式语言,方便用户编写策略文件和用户自身应用逻辑解耦来解决authorization的问题。官方提供了不同语言的库来解析这些策略,作者打算写三篇文章来分享他们在用Rust解析的时候涉及到的动态反射的问题,以及他们的解决方案。 为了方便大家了解它们的Polar语言,我在他们官网摘了一小段: a

  • cargo-edit 发布 v0.9 版本 cargo-edit 是一个通过命令行管理 cargo 依赖的工具,非常方便。 近日,其发布了 v0.9 版本,修改了很多面向开发者的 API,同时也优化了命令行参数解析上的用户体验。 CHANGELOG:https://github.com/killercup/cargo-edit/blob/master/CHANGELOG.md 使用 Rust 处理

 相关资料
  • Rust 是 Mozilla 的一个新的编程语言,由web语言的领军人物Brendan Eich(js之父),Dave Herman以及Mozilla公司的Graydon Hoare 合力开发。 创建这个新语言的目的是为了解决一个很顽疾的问题:软件的演进速度大大低于硬件的演进,软件在语言级别上无法真正利用多核计算带来的性能提升。Rust是针对多核体系提出的语言,并且吸收一些其他动态语言的重要特性,

  • 我想写一个模拟 DNF 装备增幅的程序,通过多次样本执行得到平均每件增幅 10 装备需要增幅多少次。装备 +4 之前不会失败,+4 之后会失败且失败后还会掉级,具体如下图所示: 公会秘药和普雷宠物会额外增加每次增幅的成功率 1% 和 4%,所以一共分了三种情况。 我最开始用 js 写了一版: 后来想到我刚学了 rust,不如练练手,而且 rust 很快,于是又写了一版: 然而实际上 rust 代码

  • 本文向大家介绍Rust 基本模式匹配,包括了Rust 基本模式匹配的使用技巧和注意事项,需要的朋友参考一下 示例 如果我们没有涵盖所有情况,则会出现编译器错误: 我们可以使用_默认/通配符大小写,它匹配所有内容: 此示例将打印:            

  • Rust-GPU 是面向 GPU 编程的开源项目,目标是使 Rust 成为 GPU 着色器开发的“一等公民”编程语言和生态系统。 示例 use glam::{Vec3, Vec4, vec2, vec3};#[spirv(fragment)]pub fn main( #[spirv(frag_coord)] in_frag_coord: &Vec4, #[spirv(push_cons

  • Visual Rust 是一个可视化的 Rust 语言集成开发环境。这是一个 Visual Studio 的扩展,首先是一个 Rust 语言编辑器,同时可创建、编译和运行 Rust 项目。

  • Goose 是受 Locust 启发的 Rust 负载测试工具。用户行为通过标准的 Rust 代码定义,负载测试是依赖于 Goose 库的应用程序,Web 请求是使用 Reqwest HTTP 客户端发出的。 主要特性 文档齐全 基于 Reqwest,支持异步发起请求 所提供的指标与 Locust 报告一致