-
搜索引擎
爬虫模块、预处理模块和搜索模块。
搜索引擎的三个部分是相互独立的,三个部分分别工作,主要的关系体现在前一部分得到的数据结果为后一部分提供原始数据。
用户通过浏览器提交查询的词或者短语 P,搜索引擎根据用户的查询返回匹配的网页信息列表 L;
上述过程涉及到两个问题,如何匹配用户的查询以及网页信息列表从何而来,根据什么而排序?用户的查询 P 经过分词器被切割成小词组 并被剔除停用词 ( 的、了、啊等字 ),根据系统维护的一个倒排索引可以查询某个词 pi 在哪些网页中出现过,匹配那些 都出现的网页集即可作为初始结果,更进一步,返回的初始网页集通过计算与查询词的相关度从而得到网页排名,即 Page Rank,按照网页的排名顺序即可得到最终的网页列表;
假设分词器和网页排名的计算公式都是既定的,那么倒排索引以及原始网页集从何而来?原始网页集在之前的数据流程的介绍中,可以得知是由爬虫 spider 爬取网页并且保存在本地的,而倒排索引,即词组到网页的映射表是建立在正排索引的基础上的,后者是分析了网页的内容并对其内容进行分词后,得到的网页到词组的映射表,将正排索引倒置即可得到倒排索引;
网页的分析具体做什么呢?由于爬虫收集来的原始网页中包含很多信息,比如 html 表单以及一些垃圾信息比如广告,网页分析去除这些信息,并抽取其中的正文信息作为后续的基础数据。
- 2022-05-07 14:54:09下载
- 积分:1
-
SAP IDoc
Sap Idoc
How to make IDoc
- 2022-04-24 21:23:50下载
- 积分:1
-
hello everybody, i hope the document can help for you learn visual basic
hello everybody, i hope the document can help for you learn visual basic
- 2022-08-18 01:00:24下载
- 积分:1
-
实现。
基于列表操作实现。-achieve.
- 2022-04-15 16:44:44下载
- 积分:1
-
development of the system designed to enable banks to handle customers access bu...
开发本系统的目的在于方便银行处理储户的存取款业务-development of the system designed to enable banks to handle customers access business
- 2022-12-07 22:20:03下载
- 积分:1
-
我做阅读的导入模型的可以看下
看 书做的DIRECT3D的导入模型
可以看下
-Direct3D reading to do the import model can facie
- 2022-01-25 22:30:30下载
- 积分:1
-
C++通用算法之排序,其中包括排序算法,排序元素的查找,字典式比较,极值元素求解...
C++通用算法之排序,其中包括排序算法,排序元素的查找,字典式比较,极值元素求解-C definitive ranking algorithm, including sorting algorithm, ranking elements of search, dictionary, Extreme Solution elements etc.
- 2022-05-15 15:28:57下载
- 积分:1
-
TCP/IP在单片机51下的移植,完成网络通讯,希望对做网络的通讯的有帮助...
TCP/IP在单片机51下的移植,完成网络通讯,希望对做网络的通讯的有帮助-TCP/IP in the single-chip 51 under the transplantation, the completion of network communications, would like to make network communications have helped
- 2022-05-20 23:35:20下载
- 积分:1
-
步进电机的控制程序。用来控制步进电机的正转,反转,加速,减速...
步进电机的控制程序。用来控制步进电机的正转,反转,加速,减速-stepper motor control procedures. Used to control the stepping motor is changed, and inverted, acceleration, deceleration
- 2022-05-20 23:59:31下载
- 积分:1
-
flash actionscript done using XML Menu
flash中用actionscript做的XML Menu-flash actionscript done using XML Menu
- 2022-07-21 20:34:33下载
- 积分:1