-
搜索引擎
爬虫模块、预处理模块和搜索模块。
搜索引擎的三个部分是相互独立的,三个部分分别工作,主要的关系体现在前一部分得到的数据结果为后一部分提供原始数据。
用户通过浏览器提交查询的词或者短语 P,搜索引擎根据用户的查询返回匹配的网页信息列表 L;
上述过程涉及到两个问题,如何匹配用户的查询以及网页信息列表从何而来,根据什么而排序?用户的查询 P 经过分词器被切割成小词组 并被剔除停用词 ( 的、了、啊等字 ),根据系统维护的一个倒排索引可以查询某个词 pi 在哪些网页中出现过,匹配那些 都出现的网页集即可作为初始结果,更进一步,返回的初始网页集通过计算与查询词的相关度从而得到网页排名,即 Page Rank,按照网页的排名顺序即可得到最终的网页列表;
假设分词器和网页排名的计算公式都是既定的,那么倒排索引以及原始网页集从何而来?原始网页集在之前的数据流程的介绍中,可以得知是由爬虫 spider 爬取网页并且保存在本地的,而倒排索引,即词组到网页的映射表是建立在正排索引的基础上的,后者是分析了网页的内容并对其内容进行分词后,得到的网页到词组的映射表,将正排索引倒置即可得到倒排索引;
网页的分析具体做什么呢?由于爬虫收集来的原始网页中包含很多信息,比如 html 表单以及一些垃圾信息比如广告,网页分析去除这些信息,并抽取其中的正文信息作为后续的基础数据。
- 2022-05-07 14:54:09下载
- 积分:1
-
windows平台下利用FFMPEG实现的简易的音乐播放器,实现了暂停 播放功能
利用FFMPEG+sdl在windows平台下实现的win32程序,windows下的音乐播放器,实现了暂停,播放,结束能功能,程序简介易懂,很希望能与大家分享交流!
- 2022-03-23 22:35:15下载
- 积分:1
-
eight Queen's problems can have multiple solutions, which again find chessbo...
八皇后问题可以有多种解法,再次通过找寻棋盘上各个棋子之间的斜率来解决-eight Queen"s problems can have multiple solutions, which again find chessboard through various pieces of the slope to solve
- 2022-01-26 03:29:08下载
- 积分:1
-
- 2022-02-03 13:13:54下载
- 积分:1
-
自己写的一个高校学生收费和票据套打程序,供大家参考
自己写的一个高校学生收费和票据套打程序,供大家参考-Himself wrote a college student fees and bills套打procedures for your reference
- 2022-02-06 22:32:35下载
- 积分:1
-
组态软件组件 OCX 可以实时反映 所有PLC报警情况 并可以对字体进行设置...
组态软件组件 OCX 可以实时反映 所有PLC报警情况 并可以对字体进行设置-Configuration OCX software components in real time to reflect and to all the PLC alarm can be set fonts
- 2022-03-22 11:15:02下载
- 积分:1
-
一个探测窗口信息的类Spy++小工具
一个探测窗口信息的类Spy++小工具-a window to detect the type of information Spy small tools
- 2022-09-17 08:10:03下载
- 积分:1
-
vb source realize the Snake, SNAKE, I hope a lot of U.S. exchanges.
vb实现的贪吃蛇源码,SNAKE,希望大家多多交流。-vb source realize the Snake, SNAKE, I hope a lot of U.S. exchanges.
- 2023-06-10 17:45:03下载
- 积分:1
-
TFIDF algorithm introduced
Application to the TFIDF concept of automatic imple...
TFIDF algorithm introduced
Application to the TFIDF concept of automatic implementation of the assessment summary
- 2023-07-26 12:00:03下载
- 积分:1
-
leave management system
一个组织的休假管理系统。管理如何申请休假?如何获得批准?如何管理请假柜台。
- 2022-06-17 13:24:52下载
- 积分:1