登录
首页 » 算法 » simHash,用来网页去重最常用的hash方法,速度很快.

simHash,用来网页去重最常用的hash方法,速度很快.

于 2022-11-14 发布 文件大小:2.93 kB
0 232
下载积分: 2 下载次数: 2

代码说明:

Simhash 传统IR领域内文本相似度比较所采用的经典方法是文本相似度的向量夹角余弦,其主要思想是根据一个文章中出现词的词频构成一个向量,然后计算两篇文章对应向量的向量夹角。但由于有可能一个文章的特征向量词特别多导致整个向量维度很高,使得计算的代价太大,对于Google这种处理万亿级别的网页的搜索引擎而言是不可接受的,simhash算法的主要思想是降维,将高维的特征向量映射成一个f-bit的指纹(fingerprint),通过比较两篇文章的f-bit指纹的Hamming Distance来确定文章是否重复或者高度近似。 simhash算法很精巧,但却十分容易理解和实现,具体的simhash过程如下: 请点击左侧文件开始预览 !预览只提供20%的代码片段,完整代码需下载后查看 加载中 侵权举报

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • 计算时间差的函数
    计算时间差的函数-Function which calculates the difference in hours
    2022-02-16 09:13:42下载
    积分:1
  • 2.时间序列分析
    1.二分查找 适用条件:查找序列已经有序 int binarysearch(int a[], int n, int x) {     int left, right, center;     left = 0;     right = n - 1;
    2022-03-05 08:28:07下载
    积分:1
  • 迭代加深八数码
    #include #include using namespace std;//变量声明 class EiNum; #define MAX 20//MAX为最大的迭代深度 int depth;//当前树的最大深度 EiNum * root[MAX + 1];//重复当前的路径 //交换两个数 void Swap(int &a,int &b) { int temp; temp = a; a = b; b
    2022-08-10 21:09:51下载
    积分:1
  • 行计数器
    你曾经想要计算您的代码在 C 或 c + + 没有评注中的行和空行,好有了这个程序,你可以做到。请随意投票或活着一些评论,它将非常感激 !
    2023-04-27 05:20:03下载
    积分:1
  • 写话
    狐狸 Cielwants 在她旧手机上键入一个单词。这台手机有只有一个按钮。通过点击该按钮一次,(B) 两次攻丝,在一排,等等,按字母顺序键入字母 A。因此,最后一个字母 Z 被键入 bytapping 26 次,没有停顿.给出了一个字符串字按钮。计算并返回到以下问题: 如何回答多次将 Ciel 自来水按钮输入这个词的时候? 笔记-键入一个单词时,彩虹对无量短暂的停顿后打字每一封信,这样,电话可以告诉 oneletter 结束的时候,另一封信开始。这些停顿并不重要这个问题里限制词将包含 1 和 50characters,包容性之间。-每个单词中的字符将 anuppercase 英文字母 ("A"-"Z")。 Examples0)"A"的回报: 1One taptypes 的字母 A.1)"ABC"返回: 6 ~ 类型 ABC、 国际环境法中心将做以下: 自来水 thebutton,一旦键入 A.Tap thebutton 两次,以键入 B.Tap thebutton 三次键入这个总人数的水龙头是 1 + 2 + 3 = 6."2) VAMOSGIMNASIA"的回报: 143 3)"TOPCODER"回报: 96 4)"SINGLEROUNDMATCH"的回报: 183 5)"ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ"的回报: 1300年
    2022-07-01 05:32:59下载
    积分:1
  • 很有用的算法哦。这是我好不容易找道的
    很有用的算法哦。这是我好不容易找道的-useful algorithm oh. This is not easy to find the Road
    2023-03-23 09:00:03下载
    积分:1
  • 生成随机数,将随机数写入文件
    能够读取一般文件和写入一般文件。生成随机数,将随机数写入文件。
    2023-09-05 01:15:03下载
    积分:1
  • 拉氏法
    Laplace method to make mesh
    2022-02-05 20:15:28下载
    积分:1
  • MIMO系统注水功率优化算法仿真(Matlab语言)
    如今,MIMO系统已经成为未来无线通信的主要研究方向。本代码为在MIMO通信系统中,功率优化算法的仿真。重点研究了注水功率分配算法。对通信系统,特别是对MIMO系统感兴趣的研究者来说,这是一份很有学习价值的仿真代码。
    2022-01-30 14:11:47下载
    积分:1
  • 样条曲线绘制
    采用C#语言编写的的三次样条曲线算法,实现曲线光滑绘制,运行速度快,适合初学者
    2022-03-23 11:22:58下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载