-
搜索引擎
爬虫模块、预处理模块和搜索模块。
搜索引擎的三个部分是相互独立的,三个部分分别工作,主要的关系体现在前一部分得到的数据结果为后一部分提供原始数据。
用户通过浏览器提交查询的词或者短语 P,搜索引擎根据用户的查询返回匹配的网页信息列表 L;
上述过程涉及到两个问题,如何匹配用户的查询以及网页信息列表从何而来,根据什么而排序?用户的查询 P 经过分词器被切割成小词组 并被剔除停用词 ( 的、了、啊等字 ),根据系统维护的一个倒排索引可以查询某个词 pi 在哪些网页中出现过,匹配那些 都出现的网页集即可作为初始结果,更进一步,返回的初始网页集通过计算与查询词的相关度从而得到网页排名,即 Page Rank,按照网页的排名顺序即可得到最终的网页列表;
假设分词器和网页排名的计算公式都是既定的,那么倒排索引以及原始网页集从何而来?原始网页集在之前的数据流程的介绍中,可以得知是由爬虫 spider 爬取网页并且保存在本地的,而倒排索引,即词组到网页的映射表是建立在正排索引的基础上的,后者是分析了网页的内容并对其内容进行分词后,得到的网页到词组的映射表,将正排索引倒置即可得到倒排索引;
网页的分析具体做什么呢?由于爬虫收集来的原始网页中包含很多信息,比如 html 表单以及一些垃圾信息比如广告,网页分析去除这些信息,并抽取其中的正文信息作为后续的基础数据。
- 2022-05-07 14:54:09下载
- 积分:1
-
Units are in a computer serial port to transfer data between two very useful too...
是在一台电脑两个串口之间传输数据 很有用的学习串口的工具-Units are in a computer serial port to transfer data between two very useful tool for studying serial
- 2022-06-20 06:10:37下载
- 积分:1
-
c++ 实例教程123,学习c++的不错的例程,相信对于初学者和高级编程者都有好处的...
c++ 实例教程123,学习c++的不错的例程,相信对于初学者和高级编程者都有好处的-Guide to 123 c example, the study c good routines, and I believe beginners and advanced programmers are beneficial
- 2022-02-06 23:05:45下载
- 积分:1
-
c sharp的点对点聊天 不用说太多了把凑下凑西
c sharp的点对点聊天 不用说太多了把凑下凑西-c sharp point to point chat
- 2023-06-29 18:30:04下载
- 积分:1
-
OPC客户端完整源码
用C#,VB开发的OPC客户端源码,都测试通过。
- 2023-03-03 04:55:03下载
- 积分:1
-
本程序实现一个CD播放器的功能,能够播放各种CD,代码简单。...
本程序实现一个CD播放器的功能,能够播放各种CD,代码简单。-this program a CD player function to the various CD player, code simple.
- 2022-05-19 03:00:29下载
- 积分:1
-
With VisualC++ under prepared to achieve in the list and add text to change the...
用VisualC++下编写的实现在列表中添加文本并可改变文本颜色-With VisualC++ under prepared to achieve in the list and add text to change the text color
- 2023-02-02 16:50:04下载
- 积分:1
-
lottery number
此源代码是一个简单的java程序,可以自动生成6位数字。生成的数字也会自动从最小到最大排序。代码还包括重复编号的条件。
- 2022-02-26 22:31:39下载
- 积分:1
-
搜索指挥
此程序可以执行搜索的单词或字母字符串字符串在 matlab 中
- 2022-02-27 02:38:43下载
- 积分:1
-
“Win32平台的管包装
Named Pipe Wrapper for Win32 Platforms
- 2022-05-13 09:16:07下载
- 积分:1