登录
首页 » 算法 » simHash,用来网页去重最常用的hash方法,速度很快.

simHash,用来网页去重最常用的hash方法,速度很快.

于 2022-11-14 发布 文件大小:2.93 kB
0 209
下载积分: 2 下载次数: 2

代码说明:

Simhash 传统IR领域内文本相似度比较所采用的经典方法是文本相似度的向量夹角余弦,其主要思想是根据一个文章中出现词的词频构成一个向量,然后计算两篇文章对应向量的向量夹角。但由于有可能一个文章的特征向量词特别多导致整个向量维度很高,使得计算的代价太大,对于Google这种处理万亿级别的网页的搜索引擎而言是不可接受的,simhash算法的主要思想是降维,将高维的特征向量映射成一个f-bit的指纹(fingerprint),通过比较两篇文章的f-bit指纹的Hamming Distance来确定文章是否重复或者高度近似。 simhash算法很精巧,但却十分容易理解和实现,具体的simhash过程如下: 请点击左侧文件开始预览 !预览只提供20%的代码片段,完整代码需下载后查看 加载中 侵权举报

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • SAR 斜视点目标程序
    SAR 斜视点目标程序,实现频域时域等内容,SAR 图像几何校正概述雷达图像是斜距投影,原始图像的几何失真大,做定量的几何分析比较困难,因此,为 了更好地利用雷达图像,必须对此进行几何校正。
    2022-05-28 19:04:45下载
    积分:1
  • 设计集锦设计集锦.rar
    设计集锦设计集锦.rar-Design Collection Design Collection. Rar
    2022-01-23 10:41:17下载
    积分:1
  • 1-9数字填入三个分式的a-i中,使a/bc+d/ef+g/hi=1成立-1-9 the number of fill in the three fraction of ai, so that a/bc+ d/ef+ g/hi = 1 to set up
    2022-03-06 01:28:29下载
    积分:1
  • 链表的C++实现
    数据结构中的链表的C++的语言实现算法。 和各种实现函数
    2022-07-17 18:08:19下载
    积分:1
  • sdfsdf sdfsdf sd 自卫队自卫队 sd s fsdfsdf
    sdfsdf sdfsdf sd 自卫队自卫队 sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd自卫队自卫队 sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sds fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd 自卫队自卫队 sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf sdfsdf sd sdf sdf sd s fsdfsdfsdfsdf
    2022-11-04 12:55:03下载
    积分:1
  • 7zip的c和c++源码
    7zip的源码,VC++平台开发,c的是解压算法,c++压缩解压算法都有,给适合的朋友们,本人正在寻找zip压缩算法,纯C语言,希望得到大家的帮忙,谢谢!
    2023-05-27 17:25:03下载
    积分:1
  • 基音检测
    Simulink中的这个高度专业化的块将设置Simulink的配置参数,以正确使用CodeComposer Studio和DSK[3]。在Simulink仿真配置参数中,有必要进行以下更改。
    2023-05-11 13:20:03下载
    积分:1
  • 求矩阵秩的c程序
    求矩阵秩的c程序-matrix.......................
    2022-05-31 13:21:48下载
    积分:1
  • 这是一篇讲述聚类在文本挖掘中的应用的博士论文,个人认为讲述的还是比较细的.
    这是一篇讲述聚类在文本挖掘中的应用的博士论文,个人认为讲述的还是比较细的.-This is a talk about clustering in text mining applications in the doctoral thesis, individuals think about the still relatively small.
    2023-01-26 00:05:04下载
    积分:1
  • 蚁群的c++实现方
    蚁群算法的c++实现方法,通过c++实现蚁群算法的基本功能,提供了详细的注释和编码。
    2022-07-10 02:05:31下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载