1.6.历史

优质
小牛编辑
130浏览
2023-12-01

Coreseek 的开发工作类似Sphinx(起始于2001年),可以上溯到2006年,当时我们试图为一个数据库驱动的网站寻找一个可接受的中文搜索的解决方案,但是当时没有任何方案能够完全而又直接的满足要求。事实上,主要是如下问题:

  • 搜索质量(例如:类似Google的有效的相关度算法)
    • 单纯的统计学方法的效果非常糟糕,特别是在大量的短篇文档的集合上,例如:论坛、博客等等
  • 搜索速度
    • 特别是当搜索的短语包括“停止词”时,表现的尤其明显,例如:"to be or not to be"
  • 建立索引时,可控的磁盘和CPU消耗
    • 在现有硬件的环境下,这一点的重要性要超过对索引构造速度的要求.
  • 中文搜索的准确性和效率
    • 因为众所周知的原因,只有准确的中文分词才能提高中文搜索的准确性,并大大降低计算量.

通过网络,我们了解到有无数的人存在类似的需求,尔后我们进行了不同途径的探索,尝试了不同的走法,经过了反复的实践,最终选择基于Sphinx、结合MMSeg,开发出Coreseek中文全文检索引擎,并按照GPLv2协议发行,以供企业和个人解决中文搜索问题。

年复一年,其他的解决方案有了很多改进,新的方案也不断涌现,但是,我们一致认为仍然没有一种解决方案足够的好,能让我们抛弃Sphinx将搜索平台迁移过去。

近年来,Sphinx/Coreseek的用户给了我们很多正面的反馈和建议,我们也不断改进和提高,并增加了Python数据源,将Sphinx /Coreseek的应用范围从已知世界扩展到未知世界,其应用场景也达到无限种可能;因此,显而易见的,Sphinx/Coreseek的开发过程将会 继续(也许将持续到世界末日)。