在上一篇中,我们提到了管道这个概念(pipeline),其实所有的管道都实现了同一接口叫
public interface IPipelineStep
{
void Process(Crawler crawler, PropertyBag propertyBag);
}
所有爬到的网址都将被 构造 Crawler 时通过构造函数注入的管道 处理。
一般来说第一个处理的管道是 HtmlDocumentProcessor,它负责解析网页。那么其实现接口的具体函数就很值得一看。
在函数的开始处NCrawler使用了AOP技术做了一次参数的非空检查,使用的AOP框架是轻量级的,叫 AspectF。
AspectF.Define.
NotNull(crawler, "crawler").
NotNull(propertyBag, "propertyBag");
紧接着函数进行了一系列操作,把HTML的文本,包括 title , meta 提取出来,找出其中 links ,然后开启循环针对里面每个 link 整形重新添加到 爬虫的 等待爬行的URL的序列,代码如下:
foreach (string link in links.Links.Union(links.References))
{
if (link.IsNullOrEmpty())
{
continue;
}
string decodedLink = ExtendedHtmlUtility.HtmlEntityDecode(link);
string normalizedLink = NormalizeLink(baseUrl, decodedLink);
if (normalizedLink.IsNullOrEmpty())
{
continue;
}
crawler.AddStep(new Uri(normalizedLink), propertyBag.Step.Depth + 1,
propertyBag.Step, new Dictionary<string, object>
{
{Resources.PropertyBagKeyOriginalUrl, link},
{Resources.PropertyBagKeyOriginalReferrerUrl, propertyBag.ResponseUri}
});
}