-
搜索引擎
爬虫模块、预处理模块和搜索模块。
搜索引擎的三个部分是相互独立的,三个部分分别工作,主要的关系体现在前一部分得到的数据结果为后一部分提供原始数据。
用户通过浏览器提交查询的词或者短语 P,搜索引擎根据用户的查询返回匹配的网页信息列表 L;
上述过程涉及到两个问题,如何匹配用户的查询以及网页信息列表从何而来,根据什么而排序?用户的查询 P 经过分词器被切割成小词组 并被剔除停用词 ( 的、了、啊等字 ),根据系统维护的一个倒排索引可以查询某个词 pi 在哪些网页中出现过,匹配那些 都出现的网页集即可作为初始结果,更进一步,返回的初始网页集通过计算与查询词的相关度从而得到网页排名,即 Page Rank,按照网页的排名顺序即可得到最终的网页列表;
假设分词器和网页排名的计算公式都是既定的,那么倒排索引以及原始网页集从何而来?原始网页集在之前的数据流程的介绍中,可以得知是由爬虫 spider 爬取网页并且保存在本地的,而倒排索引,即词组到网页的映射表是建立在正排索引的基础上的,后者是分析了网页的内容并对其内容进行分词后,得到的网页到词组的映射表,将正排索引倒置即可得到倒排索引;
网页的分析具体做什么呢?由于爬虫收集来的原始网页中包含很多信息,比如 html 表单以及一些垃圾信息比如广告,网页分析去除这些信息,并抽取其中的正文信息作为后续的基础数据。
- 2022-05-07 14:54:09下载
- 积分:1
-
自动反击
自动反击---浏览器标题被改,首页被改软件-automatically counterattack--- browser title was changed, a change software Home
- 2022-02-06 19:19:52下载
- 积分:1
-
这个项目是用于图像变换和缩放。
This project is for image transform and scaling.
- 2022-02-15 20:30:57下载
- 积分:1
-
一个很强的五子棋哦,希望大家能够喜欢..里面有具体的算法,主要用于人机对战使用的...大家满慢用吧!...
一个很强的五子棋哦,希望大家能够喜欢..里面有具体的算法,主要用于人机对战使用的...大家满慢用吧!-this is a five chess game.
- 2022-03-04 02:48:05下载
- 积分:1
-
hospital management sysytyem
这是一个基于网络的资源
- 2023-01-14 10:45:03下载
- 积分:1
-
把 C# 语言开发的控件内嵌在网页里面
把 C# 语言开发的控件内嵌在网页里面-C# language development in the controls embedded inside website
- 2022-03-15 19:17:54下载
- 积分:1
-
超时信息框
超时信息框-The example of the information dialogbox of timeout
- 2022-06-16 22:10:13下载
- 积分:1
-
in a PPC running trample mines games, it was fun, but also writing procedures fo...
一个在PPC上运行的踩地雷游戏,非常好玩,还可自编程序,让好友攻关.-in a PPC running trample mines games, it was fun, but also writing procedures for the research friends.
- 2022-02-04 08:20:40下载
- 积分:1
-
电子看板程序,采用5e1 异步点阵屏卡传输
1:内置mysql数据库连接2:网口的led点阵屏数据通信3:自定义的异常处理类4:程序长时间运行,达到无人值守
- 2022-10-25 21:25:03下载
- 积分:1
-
turn off the computer by the script .vbs
turn off the computer by the script .vbs
- 2022-12-27 07:45:03下载
- 积分:1