登录
首页 » 并行计算 » 基于Hadoop的文本分类(1)-文本预处理&文本表示

基于Hadoop的文本分类(1)-文本预处理&文本表示

于 2022-03-01 发布 文件大小:10.67 MB
0 331
下载积分: 2 下载次数: 1

代码说明:

资源描述一、环境环境:Ubuntu14、Hadoop2.6,Eclipse、NLPIR/ICTCLAS2015等; 二、算法简介: 1、此项目是基于Hadoop2.6进行MapReduce并行开发; 2、此项目是文本分类的文本预处理和文本表示部分,包括分词,去停用词,特征选择和文本表示等(分类算法采用的是随机森林算法,暂时未开放,读者可自行采用Mahout或Weka进行验证); 3、分词采用的是NLPIR/ICTCLAS2015;文本表示采用的是VSM模型,权重计算采用TFIDF进行文本表示;特征选择采用CHI算法(卡方统计); 4、关于并行分词环境搭建,可参考我的博客http://www.cnblogs.com/merru/p/4917665.html 5、关于Hadoop环境搭建,可参考我的博客http://www.cnblogs.com/merru/p/4901528.html和http://www.cnblogs.com/merru/p/4905118.html。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • 的比较
    访问邻居 PC 零售商店提供了充足的证据,我们是在多核时代。厂商之间的关键区别今天是他们打包到单个芯片上的内核的数量。商品处理器的时钟频率已经达到了极限,然而,和很可能保持在以下 4 GHz 多年来。因此,加入内核是不增加计算能力的代名词。要充分利用提供的新的多核硬件的性能增强,相应地调整必须发生在软件基础设施 — — 转变为并行计算。
    2022-08-13 04:18:03下载
    积分:1
  • 美国把阿富汗的齿轮,激怒阿富汗人谁可以使用设备
    2022-06-01 22:02:54下载
    积分:1
  • implementation of the multiplication of two double matrices by using MATLAB C-Mex and CUBLAS library
    本文介绍了一个通过GPU CUDA实现两个双矩阵相乘的MATLAB运算包。
    2022-07-17 00:43:28下载
    积分:1
  • GPU CUDA 的矩阵SOR
    SOR(Successive Over-Relaxation) 又名逐次超松弛法,是解决微分方程的一种通用算法,主要应用在解决拉普拉斯方程、肥皂泡形状等的问题上。本程序使用CUDA来实现sor,并且包含两种方法,一种是单一block运算整个矩阵,每个thread运算矩阵中的一个方块。一种是多个block运算整个矩阵,每个thread运算矩阵中的一个点。该程序有良好的注释,适合初学者学习。
    2022-09-25 08:50:03下载
    积分:1
  • 同构DVS集群中基于自适应阈值的任务节能调度
    资源描述目前,高能效的并行任务调度算法设计已经成为集群系统的研究热点.现有基于复制的节能调度算法主要利用阈值平衡系统的性能和能耗,但随机设置的阈值无法根据性能需求和环境参数等特征自动调节,导致调度算法存在一定的局限性.文中提出一种面向同构集群系统的两阶段节能调度算法ATES(Adaptive Threshold-based Energy-efficient Scheduling).首先,设计一种基于自适应阈值的任务复制策略,该策略能够自动计算最佳阈值,利用该阈值获取近似最优的任务分组.然后,将各分组任务调度到支持DVS的处理器上,并充分利用任务之间的空闲时间降低处理器电压.该算法将任务复制策略与电压调节技术有机结合,在调度过程中能够自动调整阈值,有效提高调度算法的能效.为了验证ATES算法的合理性,通过典型应用进行仿真实验,并与常见任务调度算法进行比较,结果表明ATES算法能够更好地实现性能和能耗之间的平衡.
    2022-04-25 05:27:51下载
    积分:1
  • 示波器代码
    示波器的源代码,效果不错的,dlo1w1dsc hhjhsdf sfdssd  fsdhsdfhsdj eewrew erewrewr dsfefh  dsdewh
    2022-07-07 20:07:57下载
    积分:1
  • 视频游戏的流体模拟,第 3 部分
    涡粒子流体模拟 这篇文章,第三个在一系列,介绍了在 c + + 中使用谦虚,通常可用计算机硬件实时运行中实现流体模拟。第一篇文章总结了流体动力学 ;第二个调查流体模拟技术。 仿真这里介绍用途涡粒子,称为vortons由诺维科夫 (1983),来代表的流场和每一次的速度解决了。这种战术的使用 vortons 保留涡度无明显来源的扩散,可以模拟保留细鳞的详细信息。相比之下,其他流体模拟技术,使用原始变量 (速度和压力) 或网格数值弥漫性涡度,所以流动往往看起来厚和糖浆。当你看到这种模拟的结果时,你会惊讶于它保留了,多少议案详细考虑它跑得多快。 这种模拟也利用令人尴尬的并行算法的性质,并使用英特尔 ® 线程构建模块(英特尔 ® TBB) 跨越多个线程的工作。 在努力实现实时的流体运动,一些其他流体模拟利用图形处理单元 (GPGPU) 通用计算。
    2022-04-29 19:04:05下载
    积分:1
  • OpenMP的例子
    openmp,并行计算是提高代码效率的非常有用的处理方法; 这是一个全面的openmp的使用例子;可以从类似编译条件的方式使用MP, 学习OPENMP让,程序飞起来!
    2022-04-08 19:24:46下载
    积分:1
  • 视频游戏的流体模拟,第 5 部分
    性能分析与优化 这篇文章,在一系列,第五描述的性能分析和优化的流体模拟,提出了一种在第三和第四条款中。第一篇文章总结了流体动力学 ;第二个调查流体仿真技术 ;和第三和第四次提出了一个旋涡粒子流体模拟与双向流体体之间的相互作用,它运行在真正的时间。这篇文章利用另一个功能的英特尔 ® 线程构建模块 (英特尔 ® TBB) 将更多的工作分散到多个线程。这篇文章描述 CPU 使用情况分析过程,并使用该信息来优化和进一步并行化的代码,使其运行得更快。 性能分析和优化本文中描述的过程中的许多镜子中所述的程序软件优化食谱。这一过程从开始创建基准 — — 一大块的代码用来量化正在优化算法的性能。其余的过程需要迭代上的三个步骤: 要找出所谓的"热点",应用程序在哪里花费其大部分时间的配置文件。 探讨为什么热点会消耗很多时间的详细信息。 修改,试图让它更快的代码。 将这些步骤应用于流体模拟应用程序在前两篇文章中提出了这条记载。 相关的文章 流体模拟视频游戏 (第1部分) 流体模拟视频游戏 (第 2 部分) 流体模拟视频游戏 (第 3 部分) 流体模拟视频游戏 (第 4 部分) 流体模拟视频游戏  (第 5 部分) 流体
    2022-05-18 08:33:08下载
    积分:1
  • Matlab pso1
    PSo代码如何提供鼠标点击和帮助请用代码dcscsdcccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccc
    2022-01-27 18:24:48下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载