网页爬虫、中文分词、全文搜索及自动定时调度

    如题，实现网页爬虫，将制定URL下的网页内容进行爬查，去掉HTML代码后保存到本地，并对这些内容进行中文分词，创建索引，然后提供全文搜索服务。爬虫、分词并创建索引，能够单独执行，也能够整合在一块儿进行定时调度而无需人工干预。不须要安装任何数据库，部署简单。部署好以后就能够立刻对本身的网站进行爬虫、创建索引后就能够提供全文搜索服务，还能够经过JS方式，跨域提供全文搜索。数据库     全文搜

>>阅读原文<<