登录
首页 » 算法 » simHash,用来网页去重最常用的hash方法,速度很快.

simHash,用来网页去重最常用的hash方法,速度很快.

于 2022-11-14 发布 文件大小:2.93 kB
0 216
下载积分: 2 下载次数: 2

代码说明:

Simhash 传统IR领域内文本相似度比较所采用的经典方法是文本相似度的向量夹角余弦,其主要思想是根据一个文章中出现词的词频构成一个向量,然后计算两篇文章对应向量的向量夹角。但由于有可能一个文章的特征向量词特别多导致整个向量维度很高,使得计算的代价太大,对于Google这种处理万亿级别的网页的搜索引擎而言是不可接受的,simhash算法的主要思想是降维,将高维的特征向量映射成一个f-bit的指纹(fingerprint),通过比较两篇文章的f-bit指纹的Hamming Distance来确定文章是否重复或者高度近似。 simhash算法很精巧,但却十分容易理解和实现,具体的simhash过程如下: 请点击左侧文件开始预览 !预览只提供20%的代码片段,完整代码需下载后查看 加载中 侵权举报

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • 迭代的收敛与收敛速度的比较
    Private Sub Form_Load()  Label1.Caption = "方程的三个割根区间分别为(-3.6,-3.5),(0,0.1),(3.4,3.5)"  Label2.Caption = "牛顿法可使用三个割根区间"  Label3.Caption = "普通迭代法—格式1只能使用割根区间(-3.6,-3.5)和(3.4,3.5)"  Label4.Caption = "普通迭代法—格式2 使用割根区间(0,0.1)"End SubPrivate Sub Command1_Click()  Dim x!, y!, k%  x = Val(Text1.Text)  If Text1.Text = "" Then 请点击左侧文件开始预览 !预览只提供20%的代码片段,完整代码需下载后查看 加载中 侵权举报
    2023-03-27 06:50:04下载
    积分:1
  • 人脸识别降维代码
    里面包含各种人脸识别算法,LDA,PCA,LPP,GE。。。等,一一俱全。这几种都是快速有效的人脸识别算法 ,算法是用matlab实现的,里面都是m文件,需要的朋友要抓住机会,希望对大家有用。
    2022-12-28 20:25:04下载
    积分:1
  • 音乐识别
    音高的提取,实现音乐的音高提取,在用语言将一首音乐里的音乐特性提取出来。
    2022-12-28 23:10:03下载
    积分:1
  • ANC源码
    文件包含多种自适应滤波控制算法,能帮助初学者快速学习ANC算法。
    2022-08-03 06:28:05下载
    积分:1
  • 线性约束方程组,单纯形人工变量(用类写的)用文件输入输出的...
    线性约束方程组,单纯形人工变量法(用类写的)用文件输入输出的-linear constraint equations, artificial variable simplex method (using writing category) with the input and output documents
    2022-11-02 17:05:03下载
    积分:1
  • 打开携带的数学库的源代码
    Open Watcom Math Library Source Code
    2022-02-05 08:35:36下载
    积分:1
  • 快速傅里叶变换
    快速傅里叶变换的fortran的程序,先将数据进行逆序排列,然后对逆序的数据进行傅里叶变换
    2023-01-07 17:35:03下载
    积分:1
  • 共轭梯度
    Conjugate Gradient Method
    2022-04-19 20:50:58下载
    积分:1
  • J48实现数据挖掘c4.5
    代码是数据挖掘技术中使用的,用Java编写。实际上就是数据挖掘技术中决策树的C45算法。
    2022-03-25 10:01:43下载
    积分:1
  • 线性矢量量化
    线性矢量量化在 matlab 环境中执行的情况。它是非常简单。Matlab 的 LVQ 编码。这是监督的训练算法。
    2022-08-24 20:08:03下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载