-
simHash,用来网页去重最常用的hash方法,速度很快.
Simhash
传统IR领域内文本相似度比较所采用的经典方法是文本相似度的向量夹角余弦,其主要思想是根据一个文章中出现词的词频构成一个向量,然后计算两篇文章对应向量的向量夹角。但由于有可能一个文章的特征向量词特别多导致整个向量维度很高,使得计算的代价太大,对于Google这种处理万亿级别的网页的搜索引擎而言是不可接受的,simhash算法的主要思想是降维,将高维的特征向量映射成一个f-bit的指纹(fingerprint),通过比较两篇文章的f-bit指纹的Hamming Distance来确定文章是否重复或者高度近似。
simhash算法很精巧,但却十分容易理解和实现,具体的simhash过程如下:
请点击左侧文件开始预览 !预览只提供20%的代码片段,完整代码需下载后查看 加载中 侵权举报
- 2022-11-14 00:20:04下载
- 积分:1
-
complex algorithm
复数运算详细算法-complex algorithm
- 2022-02-07 16:21:29下载
- 积分:1
-
任意精度求pi,对内存基本没有要求,spigot算法
任意精度求pi,对内存基本没有要求,spigot算法-arbitrary precision for pi, no basic right memory requirements spigot Algorithm
- 2022-08-19 15:13:09下载
- 积分:1
-
几exapmles的马佩尔
sevral exapmles of mapel
- 2022-04-14 20:51:15下载
- 积分:1
-
NFA转换为DFA等工具,用java语言
other tool nfa convert to dfa by java language
- 2022-05-15 05:47:06下载
- 积分:1
-
K-means algorithm
KMEANS 利用两相的迭代算法来减少点到形心的距离,K 的所有群集的都总和的总和。第一阶段使用文献通常描述作为"批"的更新,每次迭代组成的就是重新分配到他们最近的群集质心点一下子,紧接着簇中心的重新计算。这一阶段可以看作是提供速度快,但可能只有近似解作为起始点,第二阶段。第二阶段使用文献通常描述作为"上线"的更新,在那里点单独重新分配如果这样做会降低的距离,总和和簇中心则在每个重新分配后重新计算。在这第二个阶段的每次迭代包含一通虽然所有的点。KMEANS 可以收敛于局部最优解,在这种情况下是在哪个移动到不同的群集的任何单点增加的距离总和的点的一个分区。这个问题只能是解决了起始点的聪明 (或幸运,或详尽无遗) 的选择。IDX 分为不同的 K 组 = KMEANS (X、 K) 分区 N 由 P 数据矩阵 X 中的点。此分区减少总和,在所有的群集,群集内款项的点到聚类质心的距离。X 行对应于点、 变量对应的列。KMEANS 返回 N 由 1 向量 IDX 包含每个点的聚类指数。默认情况下,KMEANS 使用平方欧氏距离。
- 2023-03-13 10:35:03下载
- 积分:1
-
three methods to find the k
用三种方法实现在数组中选择第k个最小的元素-three methods to find the k-th minium element in an array.
- 2022-07-25 23:48:27下载
- 积分:1
-
Differential Evolution Strategy C++ source code. The algorithm is to find an opt...
微分进化策略的C++源代码。该算法是寻找一个集合中最优个体的一种遗传算法。-Differential Evolution Strategy C++ source code. The algorithm is to find an optimal set of individuals of a genetic algorithm.
- 2022-02-09 11:57:41下载
- 积分:1
-
跳棋编程初始
此代码为初始之VC之代码 喜欢此游戏的人可以下载来进行加工的动作 完全可运行在一般的Windows环境里面 但其余的环境则不保证能成功运行
- 2022-03-11 14:41:49下载
- 积分:1
-
常用数值算法集哈,很有用的,请大家多下载哈
常用数值算法集哈,很有用的,请大家多下载哈-commonly used numerical algorithm sets Kazakhstan, and very useful, please download over Kazakhstan
- 2022-03-23 17:35:44下载
- 积分:1