登录
首页 » 并行计算 » 基于Hadoop的文本分类(1)-文本预处理&文本表示

基于Hadoop的文本分类(1)-文本预处理&文本表示

于 2022-03-01 发布 文件大小:10.67 MB
0 332
下载积分: 2 下载次数: 1

代码说明:

资源描述一、环境环境:Ubuntu14、Hadoop2.6,Eclipse、NLPIR/ICTCLAS2015等; 二、算法简介: 1、此项目是基于Hadoop2.6进行MapReduce并行开发; 2、此项目是文本分类的文本预处理和文本表示部分,包括分词,去停用词,特征选择和文本表示等(分类算法采用的是随机森林算法,暂时未开放,读者可自行采用Mahout或Weka进行验证); 3、分词采用的是NLPIR/ICTCLAS2015;文本表示采用的是VSM模型,权重计算采用TFIDF进行文本表示;特征选择采用CHI算法(卡方统计); 4、关于并行分词环境搭建,可参考我的博客http://www.cnblogs.com/merru/p/4917665.html 5、关于Hadoop环境搭建,可参考我的博客http://www.cnblogs.com/merru/p/4901528.html和http://www.cnblogs.com/merru/p/4905118.html。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • 视频游戏的流体模拟,第 6 部分
    差动速度算法器 这篇文章,在一系列,第六描述从根本上不同的方法计算速度从涡度,提出了在这些文章中的流体模拟的基石之一。第一篇文章总结了流体动力学 ;第二个调查流体仿真技术 ;和第三和第四次提出了涡粒子流体模拟与双向流体体之间的相互作用,在真正的时间运行。第五篇文章展示了如何获取和使用 CPU 使用率分析数据,优化,进一步并行化的代码,这样,它跑得更快。 这篇文章介绍一种求解速度从涡度的微分技术和与第 3 部分中所提出的积分 treecode 技术及其成果和业绩形成鲜明对比。泊松规划求解在这篇文章提出了一种比跑得快 treecode,但它的结果看起来不同的可能不那么令人满意。 涡旋速度,回顾 记得第二篇文章,您可以计算速度从涡度 请点击左侧文件开始预览 !预览只提供20%的代码片段,完整代码需下载后查看 加载中 侵权举报
    2022-02-05 03:15:32下载
    积分:1
  • 程序设_三角函数化程序设
    1)  熟练掌握并行程序设计的基本方法; 2)  通过实验,了解并行程序设计的过程以及优越性; 3)  学会并行程序的算法分析; 4)  结合高等工程数学、分布式系统、云计算等相关课程知识解决简单的实际问题。
    2022-03-01 04:29:27下载
    积分:1
  • VB视屏聊天
    通过存储选中开始结束为止,确定颜色,仙剑一个文件夹,之后删除将恢复健康的和健康和vkjdfnkjkjn;k独守空房军看见电脑;来看看了呢空间能看见你空间呢控件看来今年 看你空间呢
    2022-12-07 06:20:02下载
    积分:1
  • 示波器代码
    示波器的源代码,效果不错的,dlo1w1dsc hhjhsdf sfdssd  fsdhsdfhsdj eewrew erewrewr dsfefh  dsdewh
    2022-07-07 20:07:57下载
    积分:1
  • JAVA多线程折半插入排序的
    应用背景并行计算是最近新兴的一门技术,但是关于并行计算的代码在现在还不是特别普遍。本文是关于折半插入排序的并行计算的应用,希望对您的学习有一定的帮助。关键技术并行计算,多线程,折半插入排序,加速比,并行,串行
    2022-07-09 13:30:02下载
    积分:1
  • OpenCl基础构架代码
    应用背景密码暴力计算,大型数据计算都会用到,并行计算,本例程为通用openCL并行计算,基于nvidia平台下,例程综合了openCL的常用函数,平台创建、设备选择、内存分配、任务队列、核函数生成,可用本文件代码作为运行基础构架模板。关键技术 OpenCL常用函数构成的技术构架,可以在本代码基础之上适当修改,既可以应用于其他场合,免去繁杂的,重复配置函数的调用,本例程具有自动检测运行平台,运行设备。
    2023-03-17 03:20:04下载
    积分:1
  • spark apriori法实现代码
    应用背景  Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里,所有支持度大于最小支持度的项集称为频繁项集,简称频集。  关键技术频繁项集挖掘采用spark实现的并行化挖掘算法。并行的apriori算法采用scala编写,并行的apriori采用java编写。里面会有较多函数使编程的内容。 
    2022-02-02 20:25:06下载
    积分:1
  • 求矩阵特征值的法的实现
    QR算法是目前最广泛被用于求一般矩阵特征值的方法,但是由于串行算法的时间过于长,大大的降低了工作效率,所以我们将其在基于cuda架构上对其进行GPU加速,将原有的求矩阵特征值得串行算法进行并行化,大大地提高了工作效率
    2022-11-06 08:40:04下载
    积分:1
  • 数字时钟
    它是一个基于8051的频率计数器,可以用作学习工具。很有用的开始。
    2023-08-27 17:20:03下载
    积分:1
  • MFC调用CUDA
    如何在MFC中调用CUDA 环境:     Windows Vista SP1 Microsoft Visual Studio 2005 CUDA 2.0 步骤: 1.       创建一个对话框的
    2023-04-01 09:30:04下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载