搜索引擎的基本工作原理(4)
搜索引擎的工作原理（三）
为了完成查询服务，需要有相应的元素来进行表达，这些元素主要有：原始网页文档、URL和标题、编号、所含重要关键词的集合以及它们在文档中出现的位置信息、其他一些指标，如重要程度、代码等。
用户通过搜索引擎看到的不是一个“集合”，而是一个“列表”。如何从集合产生成一个列表，是服务子系统的主要工作。服务子系统是在服务进行的过程中涉及相关软件程序，而网页处理子系统事先为这些软件程序准备了相应的数据。服务子系统的工作原理，主要有4个方面。
一、查询方式和匹配。
查询方式指的是系统允许用户提交查询的方式。对于普通用户来说，最自然的方式就是“需要查询什么就输入什么”。例如，用户输入“搜索引擎”，可能是他想了解搜索引擎的相关定义、概念和相应的知识；也可能是想了解目前有哪些搜索引擎，如何进行搜索等内容；也有可能是用户关心的是间接的信息。目前用一个词或者短语来进行查询，依然是主流的查询模式，这种模式比较简单并且容易实现。
词的是搜索引擎中非常关键的一部分，通过字典文件对网页内的词进行识别。对于西文信息来说，需要识别词的不同形式，例如：单复数、过去式、组合词、词根等，对于一些亚洲语言（中文、日文、韩文等）需要进行分词处理。识别出网页中的每个词，并分配唯一的wordID号，用于为数据索引中的索引模块服务。
例如：当用户输入“搜索引擎教程”时，系统首先将这个短语进行分词处理，将其分为“搜索 引擎 教程”，然后删除那些没有查询意义或者在每篇文档中都会出现的词，最后形成一个用于参与匹配的查询词表，该词表的数据结构是一个用对应的分词作为索引的一个倒排文件，它的每一个元素都对应倒排文件。这样系统就完成了查询和文档的匹配。
二、索引库的建立。
索引库的建立是数据索引中结构最复杂的一部分。一般需要建立两种索引：文档索引和关键词索引。文档索引分配给每个网页唯一的docID号，根据docID 号索引出在这个网页中出现过多少个wordID，每个wordID出现的次数、位置、大小格式等，形成docID对应wordID的数据列表；关键词索引其实是对文档索引的的逆索引，根据wordID索引出这个词出现在哪些网页（用wordID表示），出现在每个网页的次数、位置、大小写格式等，形成 wordID对应docID的列表。
三、结果排序。
结果就是将查询的结果的集合以列表的方式显示出来。所谓列表，就是按照某种评价方式，确定出查询结果集合中元素的顺序，让这些元素以某种顺序呈现出来，这就是相关性。相关性是形成这种查询顺序的的基本因素，有效地定义相关性本身是很难的，从原理上讲它不仅和查询词有关，而且还和用户的查询背景，以及用户的查询历史有关。不同需求的用户可能输入同一个查询，同一个用户在不同的时间输入的相同查询可能是针对不同的需求的。
一般来讲，结果排序的方法是基于词汇出现频率，也就是说在一篇文档中包含的查询词越多，则该文档就越应该排在前面。这样的思路有一定的道理，而且在倒排文件数据结构上很容易实现。当我们通过关键词的提取过程，形成一篇文档的关键词的集合后，很容易得到每一个词在文档中出现的次数，即词率，而倒排文件中每个倒排表的长度则对应着每个词所涉及的文档的篇数，即文档频率。然而，由于网页编写的自发性、随意性较强，仅仅针对关键词的出现来决定文档的顺序，在Web 上做信息检索表现出明显的缺点，需要有其他技术的补充。通过在网页处理阶段为每篇网页形成一个独立于查询词（也就是和网页内容无关）的重要性指标，将它和查询过程中形成的相关性指标结合形成一个最终的排序，是目前搜索引擎给出查询结果排序的主要方法。
搜索的处理过程是对用户的搜索请求进行满足的过程，通过用户输入搜索关键词，搜索服务器对应关键词字典，把搜索关键词转化为wordID，然后在索引库中得到docID列表，对docID列表进行扫描和wordID的匹配，提取满足条件的网页，然后计算网页和关键词的相关度，根据相关度的数值返回给用户。
四、文档摘要。
搜索引擎给出的结果是一个有序的条目列表，每个条目中有3个基本元素：标题、网页描述、网址和摘要。其中摘要需要从网页正文中生成。
一般来讲，搜索引擎在生成摘要时可以归纳为两种方式：一种是“静态”方式，即独立于查询，按照某种股则，事先在预处理阶段从网页内容中提取出一些文字，如截取网页正文的开头512个字节（对应256个汉字），或者将每一个段落的第一个句子拼起来，等等。这样形成的摘要存放在查询子系统中，一旦相关文档被选中与查询匹配，就读出返回给用户。这种方式的优点是实现起来比较容易，缺点是摘要可能和查询的内容无关；另一种是“动态摘要”方式，即在相应查询的时候，根据查询词在文档中的位置，提取出周围的文字来，在显示时将查询词标亮。这是目前大多数搜索引擎采用的方式。为了保证查询的效率，需要在预处理阶段分词的时候记住每个关键词在文档中出现的位置。