SipSoup

sipsoup是一个基于Jsoup的xpath实现，他将Jsoup的cssQuery变成了xpath语法的一部分，可以实现在xpath内部执行cssQuery和xpath混合模式的链式文档查询

是一款纯Java开发的使用xpath解析html的解析器，xpath语法分析与执行完全独立，html的DOM树生成借助Jsoup。

sipSoup本身也应该叫做Xsoup,JsoupXpath之类的,但是他出身太晚了,名字被占了,但是我觉得还是应该喝汤,所以我喜欢sipSoup这个名字。

每一个爬虫框架作者都应该实现一个xpath, sipsoup 出现也是如此,在我设计爬虫框架vscrawler的时候,考虑如何定位抽取数据,甚至如何整合其他爬虫框架的抽取API, 然后调研了Xsoup和JsoupXpath,看到JsoupXpath眼前一亮,我觉得他肯定适合我的需要,所以尝试使用JsoupXpath对接了Xsoup,因为JsoupXpath实现了xpath2.0的绝大部分语法功能, 使用JsoupXpath可以非常灵活自由的实现xpath。但是在整合的过程,我发现JsoupXpath有一点不符合我的需求,就是他都是运行的适合抛错,我希望能够在编译xpath表达式的时候,就可以做语法 检查,我希望JsoupXpath可以类似Xsoup一样做链式抽取,我希望规则模型可以缓存。所以尝试着对JsopXpath进行重构。

SipSoup本质是对JsoupXpath重构而来的,里面少部分代码仍然是JsoupXpath的,这里非常感谢JsoupXpath,但是绝大部分代码都被替换了,所以本身SipSoup不算依赖JsoupXpath(组件结构几乎还和JsoupXpath保持了一致)。 目前看来,SipSoup完全兼容JsoupXpath,因为它本身自JsoupXpath发展而来。关于JsoupXpath的相关资料,参考 JSoupXpath

以下为改动点

1. 函数重构,JsoupXpath使用反射加载一个类里面的静态函数,SipSoup则是使用接口实现的方式扩展

2. 类扫描,默认函数注册,是通过扫描器自动注册,如果你需要扩展自己的函数,可以将自己的函数实现放到com.virjar.sipsoup.function,就能够自动注册

3. 轴函数,SipSoup不光支持一般的谓语函数扩展,同时支持轴函数,抽取函数扩展。而且允许函数带参数

4. css('cssQuery') css是SipSoup内置的重要轴函数,它可以将css查询表达式传递给css轴,这是SipSoup一个大的突破,他比Xsoup更加容易的实现了css和xpath混合链式抽取

5. 复杂谓语,目前来说,SipSoup对谓语的支持是我发现的最完善的,支持函数嵌套,表达式嵌套,括号嵌套,处理空格,转义等问题。SipSoup的谓语模块,是我花了整整一天写出来的计算器

6. 谓语数据类型扩展,在xpath语法中,我定义了数据类型分为: 字符串,数字,运算符,xpath,函数,属性取值动作,布尔类型,复合表达式 这几种类型,其中除运算符以外的其他数据类型都是可以扩展或者卸载的。(boolean类型是开始设计的时候没有的类型,然后通过这个机制注册了boolean,后来又将其添加到了默认类型了)

7. 运算符重载,运算符重载一般c++ 听得挺多,含义就是可以通过重载运算符实现操作符的行为改写。比如"+"加法操作,遇到数字执行加法,遇到字符串执行字符串链接,你可以重写他,遇到数字转化数字,失败使用默认值等等

8. 多xpath组合逻辑,可以实现多个xpath的多重与或计算,对应集合实现交集,并集计算

总之,SipSoup已经是一个高度扩展的Xpath语法分析器,通过灵活的扩展以及Jsoup整合,成为了一个异常强大的xpath工具

软件主页：http://git.oschina.net/virjar/sipsoup

demo如下:

1. 格式化输出节点文本 allText allText()

2. position使用,选取所有偶数节点 position

3. 注册新的函数 RegisterNewFunctionTest.java

4. 注册新的操作符 运算符重载

5. 福利,美女爬虫 实际demo

风骚语法展示:

 <ul class="ad-thumb-list"> 
   <a href="www.java1234.com/test.jpg">这是一个混淆的图片数据</a>
   <li> 
    <div class="inner"> 
     <a href="http://image11.m1905.cn/uploadfile/2015/0608/20150608044330688388.jpg"><img src="http://image14.m1905.cn/uploadfile/2015/0608/thumb_1_147_100_20150608044330688388.jpg" title="" alt="" class="image0" /></a> 
    </div> </li> 
   <li> 
    <div class="inner"> 
     <a href="http://image13.m1905.cn/uploadfile/2015/0608/20150608044328940773.jpg"><img src="http://image11.m1905.cn/uploadfile/2015/0608/thumb_1_147_100_20150608044328940773.jpg" title="" alt="" class="image1" /></a> 
    </div> </li> 
   <li> 
    <div class="inner"> 
     <a href="http://image13.m1905.cn/uploadfile/2015/0608/20150608044328954604.jpg"><img src="http://image13.m1905.cn/uploadfile/2015/0608/thumb_1_147_100_20150608044328954604.jpg" title="" alt="" class="image2" /></a> 
    </div> </li> 
   <ul></ul>
  </ul>

这个文本,需要提取所有偶数行的a标签的图片的链接信息,对应xpath表达式可以这么写

//css('.ad-thumb-list .inner')::a[position(parent(2)) %2 =0]/@href 语法解释

1. css('.ad-thumb-list .inner'):: 这是css轴的运用,这个表达式定位到了所有的图片数据(其中"<a href="www.java1234.com/test.jpg"\>这是一个混淆的图片数据"将会被过滤)

2. a[position(parent(2)) %2 =0] 这是复杂谓语的一个简单应用,首先a[xxx]定位到a标签,然后使用parent函数得到他的爷爷节点,(parent函数可以带参数,必须是一个数字,2代表父亲的父亲,也就是得到了li标签)

3. 然后使用position函数得到这个li元素的position偏移,也就是他是第几个li。

4. 最后,让他和2取模,如果结果为0,代表他就是偶数资源

maven坐标

 <!-- xpath -->
 <dependency>
      <groupId>com.virjar</groupId>
      <artifactId>sipsoup</artifactId>
      <version>RELEASE</version>
</dependency>

具体文档

函数

所有支持的函数,可以通过如下demo得到 解析函数的demo

轴函数 :ancestor
轴函数 :ancestorOrSelf
轴函数 :cacheCss
轴函数 :child
轴函数 :css
轴函数 :descendant
轴函数 :descendantOrSelf
轴函数 :followingSibling
轴函数 :followingSiblingOne
轴函数 :parent
轴函数 :precedingSibling
轴函数 :precedingSiblingOne
轴函数 :self
轴函数 :sibling
谓语过滤函数 :|abs
谓语过滤函数 :|allText
谓语过滤函数 :|boolean
谓语过滤函数 :|concat
谓语过滤函数 :|contains
谓语过滤函数 :|false
谓语过滤函数 :|first
谓语过滤函数 :|hasClass
谓语过滤函数 :|last
谓语过滤函数 :|lower-case
谓语过滤函数 :|matches
谓语过滤函数 :|name
谓语过滤函数 :|not
谓语过滤函数 :|nullToDefault
谓语过滤函数 :|parent
谓语过滤函数 :|position
谓语过滤函数 :|root
谓语过滤函数 :|string
谓语过滤函数 :|string-length
谓语过滤函数 :|substring
谓语过滤函数 :|text
谓语过滤函数 :|toDouble
谓语过滤函数 :|toInt
谓语过滤函数 :|true
谓语过滤函数 :|try
谓语过滤函数 :|upper-case
抽取函数 :allText
抽取函数 :@
抽取函数 :html
抽取函数 :node
抽取函数 :num
抽取函数 :outerHtml
抽取函数 :self
抽取函数 :tag
抽取函数 :text

轴函数

轴函数是定义节点塞选域的函数,在一个xpath表达式节点中,轴是可选的。但是如果存在轴,那么他的作用则是根据当前的节点集产生新的一片候选节点集。 SipSoup的轴和标准Xpath的轴保持兼容,但是也有一个地方不一样,就是SipSoup的轴允许带有参数,轴参数目前只支持字符串,可以支持多个字符串的参数。

轴函数列表

抽取函数

抽取函数用来对结果集进行转换,他是一些简单的数据抽取函数,如提取所有文本,提取某个属性等等,抽取函数目前不会太多。抽取结果可能为元素,也能为字符串。请注意,如果xpath节点中,存在抽取函数,而且抽取函数返回类型为字符串,那么这个函数应该是这个xpath节点链的末尾节点。因为每个抽取节点开始的时候,将会执行过滤,只会将element作为下一轮抽取的输入。

轴函数列表(哪位大神能帮我调整以下表格布局,真丑,我不喜欢)

过滤函数

过滤函数用在谓语中,过滤函数非常强大,因为它能够递归的使用函数,配合操作符,实现复杂的表达式计算,

过滤函数列表

操作符

目前操作符相关,迁移自JSoupXpath其运算规则和JSoupXpath保持一致,SipSoup支持多个运算符组合,所以涉及操作符优先级问题(除非非常常见的用法,一般建议使用括号手动确定优先级) 操作符和对应优先级如下表,其中优先级高越优先的到计算,如果操作符优先级相同,则按照从左往右的顺序计算。

各运算符优先级定义

+   :20   加法运算
-   :20   减法运算
*   :30   乘法运算
/   :30   除法运算
%   :30   取模运算
&&  :0    逻辑且运算
||  :0    逻辑或运算
and :0    逻辑且运算,等价于&&
or  :0    逻辑或运算,等价于||
=   :10   相等判断,逻辑运算
>   :10   大于,逻辑运算
<   :10   小于,逻辑运算
>=  :10   大于等于,逻辑运算
<=  :10   小于等于,逻辑运算
*=  :10   包含,测试表达式左侧数据是否包含表达式右侧数据,仅适用于字符串,逻辑运算
$=  :10   以xxx结尾,测试左侧数据是否以表达式右侧数据结尾,仅适用于字符串,逻辑运算
^=  :10   以xxx开始,测试左侧数据是否以表达式右侧数据开始,仅适用于字符串,逻辑运算
!=  :10   不等于,和"="作用相反,逻辑运算
~=  :10   模式匹配,测试左侧数据是否符合右侧字符串代表的正则表达式模式,仅适用于字符串,逻辑运算
!~  :10   不匹配,与"~="相反,如果左侧数据不匹配右侧字符串代表的正则表达式,则返回true

操作符类型

操作符计算涉及到数据类型升级问题,如一个整形数据和一个长整形计算,将会转化为长整形。SipSoup默认支持较好的数字类型有:int,long,double(float按double处理),BigDecimal,并且会根据一般的惯例处理转型计算的问题

特别说明,对于+有两个动作,如果遇到数字,则执行数字加法,如果遇到字符串,则执行字符串链接。如果你觉得不应该有这个表现,可以通过重写操作符的方式修改

高级用法

1. 注册或重写新的函数 RegisterNewFunctionTest.java

2. 注册或重写新的操作符 运算符重载

3. 注册新的数据类型 TokenAnalysisRegistry.java 这里不展示细节了,如果你需要这个功能了,那么你对SipSoup的源代码应该足够了解,应该可以独立驾驭这个类,并根据SipSoup定义的规范识识别新数据类型的格式,以及消费转化为特性计算节点模型