搜索engine-MG4J
MG4J可以让你为大量的文档集合构建一个被压缩的全文本索引,通过使内插编码(interpolativecoding)技术。
虽然MG4J(Managing Gigabytes forJava)不是一个像Lucene、Egothor和Xapian那样的信息检索库,但是我们相信正在读这本书的每一位软件工程师都应该知道它,因为它对构建Java信息检索库提供了低水平的支持。MG4J是在一本很流行的书问世之后被命名的,这本书是由H.Witten,AlistairMoffat和Timothy所写,名字是《管理十亿字节:压缩并且索引文档和图片》。在使用他们的分布式、可容错的网页爬虫UbiCrawler收集到大量的网页数据后,它的作者需要一个软件来解析那些收集来的数据,由于这个需求,MG4J诞生了。
MG4J的库提供了优化的类来处理I/O,转化索引文件的压缩等等。这个项目的主页是:http://mg4j.dsi.unimi.it/;标记库是免费的、开源的,在LGPL许可的方式发布,当前的版本是0.8.2。