-
搜索引擎
爬虫模块、预处理模块和搜索模块。
搜索引擎的三个部分是相互独立的,三个部分分别工作,主要的关系体现在前一部分得到的数据结果为后一部分提供原始数据。
用户通过浏览器提交查询的词或者短语 P,搜索引擎根据用户的查询返回匹配的网页信息列表 L;
上述过程涉及到两个问题,如何匹配用户的查询以及网页信息列表从何而来,根据什么而排序?用户的查询 P 经过分词器被切割成小词组 并被剔除停用词 ( 的、了、啊等字 ),根据系统维护的一个倒排索引可以查询某个词 pi 在哪些网页中出现过,匹配那些 都出现的网页集即可作为初始结果,更进一步,返回的初始网页集通过计算与查询词的相关度从而得到网页排名,即 Page Rank,按照网页的排名顺序即可得到最终的网页列表;
假设分词器和网页排名的计算公式都是既定的,那么倒排索引以及原始网页集从何而来?原始网页集在之前的数据流程的介绍中,可以得知是由爬虫 spider 爬取网页并且保存在本地的,而倒排索引,即词组到网页的映射表是建立在正排索引的基础上的,后者是分析了网页的内容并对其内容进行分词后,得到的网页到词组的映射表,将正排索引倒置即可得到倒排索引;
网页的分析具体做什么呢?由于爬虫收集来的原始网页中包含很多信息,比如 html 表单以及一些垃圾信息比如广告,网页分析去除这些信息,并抽取其中的正文信息作为后续的基础数据。
- 2022-05-07 14:54:09下载
- 积分:1
-
C++ Builder 5 编程实例与技巧源码,希望能对广大编程爱好者帮助,...
C++ Builder 5 编程实例与技巧源码,希望能对广大编程爱好者帮助,-Builder 5 C programming source code examples and techniques in hopes of helping the majority of programming enthusiasts, thank you
- 2022-03-19 19:53:38下载
- 积分:1
-
演示生命游戏的小程序,C++编写,MFC界面。
很有趣
演示生命游戏的小程序,C++编写,MFC界面。
很有趣-program for displaying the process of life game
- 2023-07-04 02:05:03下载
- 积分:1
-
C常用算法程序机,是关于解线性方程,各种矩阵的处理。很有实际应用意义...
C常用算法程序机,是关于解线性方程,各种矩阵的处理。很有实际应用意义-C algorithms commonly used procedures machine is on the solution of linear equations, various matrix processing. Very practical significance
- 2022-09-20 08:05:03下载
- 积分:1
-
人脸检测源代码
基于opencv3.2.0和visual studio2017和C++编写的人脸检测代码,可以直接运行
- 2023-06-21 00:40:03下载
- 积分:1
-
介绍.net3.5环境下使用LINQ访问数据集的方法
介绍.net3.5环境下使用LINQ访问数据集的方法-Introduced. Net3.5 environment to use LINQ to access the data collection methods
- 2022-09-04 07:25:02下载
- 积分:1
-
的中文帮助文档CodeSmith代码生成工具
为代码生成工具codesmith 的中文帮助文档-Code generation tool for the Chinese to help document codesmith
- 2022-11-08 17:10:03下载
- 积分:1
-
电话本(手机信息的接收,发送,保存,查看)等信息。
电话本(手机信息的接收,发送,保存,查看)等信息。-phoneBook(send,check)
- 2022-02-03 17:26:08下载
- 积分:1
-
利用本程序能给金远见公司的文曲星pc1000,pc505,cc800等型号,详情请见说明文件。...
利用本程序能给金远见公司的文曲星pc1000,pc505,cc800等型号,详情请见说明文件。-use of this procedure will give the company"s vision rings pc1000, pc505, cc800 models, the details, see note.
- 2023-08-19 06:05:04下载
- 积分:1
-
E统天下
E统天下--织网梦 ...背景不同。Java是基于C++、面向计算机程序 设计...代替。 (2)JavaScript 源代码无须编译 嵌入HTML...则与之不同。Java的源代码必须进行编译,成为 存在...中的一部分,以一般的文本编辑器就可以连同HTML一... www.51foru.com/index008jsjc.htm 19K 2003-12-10 - 百度快照 C Java PHP Perl Python的程序代码美化工具使用 ...php) 一个速度很快的C/C++/Java源代码美化工具。 astyle比indent好在 有很多成套的的风格定义:ansi ...SLICKEDIT这种大型商业文本编辑器等。 解决:对于...==>网页选项==>HTML源代码选单里选择“使用下面... www.chedong.com/tech/indent_tools.html 14K 2005-3-3 - 百度快照 Jedit for Linux Source Code 源代码--eNet软件-world-- Netting dream ... different backgrounds. Java is based on the C-oriented computer programs designed to replace .... (2) do not have JavaScript compiler source code embedded in HTML ... is different. Java source code to be compiled, as exists ... a part of, in general text editor with HTML can be a ... www.51foru.com/index008jsjc.htm 19K 2003-12-10- Baidu snapshot C Java PHP Perl Python the code landscaping tools ... php), a fast C/C/Java source code for landscaping tools. Astyle than indent Fortunately, there are many sets of
- 2022-06-27 23:14:04下载
- 积分:1