基于 Lucene的垂直搜索引擎系统设计与实现

论文字数:17215,页数:42

摘要

 搜索引擎为人们在拥有海量信息的互联网上查找信息资源提供了方便。但网络信息资源的“爆炸”式增长使得人们获取有用信息变得日益困难，为此人们开始更多地关注如何快速有效地从海量的网络信息中抽取出潜在的、有价值的信息，使之有效地在管理和决策中发挥作用。针对这种情况，需要一个专注于特定领域、对硬件要求较低、数据全面深入、更新及时的搜索引擎系统。近几年来面向特定领域搜索引擎的研究与应用己经成为搜索技术的一个较热研究方向；而针对某一领域、某一特定人群或某一特定需求建立的搜索引擎我们称之为垂直搜索引擎。
 本文将介绍垂直搜索引擎的原理，并对开源工具包Lucene的索引和检索技术进行分析，对比Lucene与关系数据库的区别。在Lucene检索体系的基础上，采用Spring框架，结合网络爬虫Heritrix、Ajax等技术，通过实现一个基于Java的Lucene手机垂直搜索引擎系统来阐释其在实际中的简单应用。
 
关键词：Lucene；垂直搜索引擎；网络爬虫；中文分词；检索

ABSTRACT
 
 Search Engine provides a convenient way for searching information resource in the network which owns magnanimous information. But as network information resource is growing within “explosion mode”, people get useful information more and more difficultly; then people begin to give more attention to how to extract latent and valuable information quickly and efficiently from the magnanimous information, so as to use it efficiently to make effects in the management and decision. To resolve this problem, we need a search engine system which faces to the special area, needs low hardware configuration, can analyze the depth of the data and is updated timely. In recent years, the research and application of the search technology which faces to the special area has become a hot research direction. We call a search engine which faces to the special area, people and command just vertical search engine.
 This article will give the introduction of the vertical search engine, then make a analysis of the Lucene’s index and retrieval technology by an open packet, and compare the Lucene and the relational database. We will clarify its application through the mobile-phone vertical search engine based on JAVA which is based on Lucene’s retrieval architect, use Spring frame, contains web crawler technology like Heritrix and Ajax etc.

 Keywords:  Lucene;Vertical Search Engine;Web Crawler;
 Chinese Word Segmentation;Retrieval

目录
摘要 I
ABSTRACT II
第1章 引言 1
 1.1 课题的背景及意义 1
 1.2 系统简介 1
 1.3 课题的主要工作及论文的组织 2
第2章 垂直搜索引擎系统 3
 2.1垂直搜索引擎概述
 2.1.1 垂直搜索引擎的概念及特点 3
 2.1.2 垂直搜索引擎的优势及现状 3
 2.2 垂直搜索引擎工作原理 4
 2.2.1 系统基本结构与原理 4
 2.2.2 系统组件介绍及相关技术 5
 2.3 本章小结 7
第3章 全文检索引擎LUCENE分析与研究 8
 3.1 Lucene概述 8
 3.1.1 Lucene的组织结构 8
 3.1.2 Lucene的优点 9
 3.2 Lucene结构功能分析 9
 3.3 Lucene全文索引存储文件结构 11
 3.3.1 Lucene索引的基本结构 11
 3.3.2 倒排索引原理 12
 3.4 Lucene的评分机制和搜索过程 13
 3.5 本章小结 14
第4章 手机垂直搜索引擎设计 15
 4.1  手机垂直搜索引擎系统需求分析 15
 4.1.1 系统需求概述 15
 4.1.2 系统数据流图 15
 4.2 手机产品垂直搜索引擎关键功能设计 18
 4.2.1 采集器设计 18
 4.2.2 索引器设计 19
 4.2.3 检索器设计 20
 4.2.4 用户接口设计 21
 4.3 系统类图设计 22
 4.3.1 解析器功能模块 22
 4.3.2 索引器功能模块 23
 4.3.3 检索器功能模块 24
 4.4 本章小结 25
第5章 手机垂直搜索引擎实现 26
 5.1 资源信息采集 26
 5.1.1 网页抓取定制 26
 5.1.2 解析网页信息 28
 5.2 索引器实现 30
 5.2.1 系统索引的建立 30
 5.2.2 索引的优化 31
 5.3 检索器实现 31
 5.3.1 搜索的实现  32
 5.3.2 搜索优化 32
 5.4 用户接口实现及运行结果 33
 5.5 本章小结 35
第6章 结束语 36
致谢 37
参考文献 38