登录
首页 » 并行计算 » 基于Hadoop的文本分类(1)-文本预处理&文本表示

基于Hadoop的文本分类(1)-文本预处理&文本表示

于 2022-03-01 发布 文件大小:10.67 MB
0 329
下载积分: 2 下载次数: 1

代码说明:

资源描述一、环境环境:Ubuntu14、Hadoop2.6,Eclipse、NLPIR/ICTCLAS2015等; 二、算法简介: 1、此项目是基于Hadoop2.6进行MapReduce并行开发; 2、此项目是文本分类的文本预处理和文本表示部分,包括分词,去停用词,特征选择和文本表示等(分类算法采用的是随机森林算法,暂时未开放,读者可自行采用Mahout或Weka进行验证); 3、分词采用的是NLPIR/ICTCLAS2015;文本表示采用的是VSM模型,权重计算采用TFIDF进行文本表示;特征选择采用CHI算法(卡方统计); 4、关于并行分词环境搭建,可参考我的博客http://www.cnblogs.com/merru/p/4917665.html 5、关于Hadoop环境搭建,可参考我的博客http://www.cnblogs.com/merru/p/4901528.html和http://www.cnblogs.com/merru/p/4905118.html。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • OpenCl基础构架代码
    应用背景密码暴力计算,大型数据计算都会用到,并行计算,本例程为通用openCL并行计算,基于nvidia平台下,例程综合了openCL的常用函数,平台创建、设备选择、内存分配、任务队列、核函数生成,可用本文件代码作为运行基础构架模板。关键技术 OpenCL常用函数构成的技术构架,可以在本代码基础之上适当修改,既可以应用于其他场合,免去繁杂的,重复配置函数的调用,本例程具有自动检测运行平台,运行设备。
    2023-03-17 03:20:04下载
    积分:1
  • 同构DVS集群中基于自适应阈值的任务节能调度
    资源描述目前,高能效的并行任务调度算法设计已经成为集群系统的研究热点.现有基于复制的节能调度算法主要利用阈值平衡系统的性能和能耗,但随机设置的阈值无法根据性能需求和环境参数等特征自动调节,导致调度算法存在一定的局限性.文中提出一种面向同构集群系统的两阶段节能调度算法ATES(Adaptive Threshold-based Energy-efficient Scheduling).首先,设计一种基于自适应阈值的任务复制策略,该策略能够自动计算最佳阈值,利用该阈值获取近似最优的任务分组.然后,将各分组任务调度到支持DVS的处理器上,并充分利用任务之间的空闲时间降低处理器电压.该算法将任务复制策略与电压调节技术有机结合,在调度过程中能够自动调整阈值,有效提高调度算法的能效.为了验证ATES算法的合理性,通过典型应用进行仿真实验,并与常见任务调度算法进行比较,结果表明ATES算法能够更好地实现性能和能耗之间的平衡.
    2022-04-25 05:27:51下载
    积分:1
  • 读取参数文件
    #include #define  NUMBER   4 void main( ) {    int i=1; float f0,dt,dx,dz; int mx,mz,ntmax,pml,sou_x,sou_z,rec_start,rec_end,rec_int,rec_depth; char shotID[5],record_pp[30],vp_name[30],rou_name[30],mig_name[30],mig_pyt_name[30],mig_udlf_name[40],shuoming[30]; FILE *fp,*f; /*&不合法变量*/     printf("** This program is to show the block file input & output** "); fp=fopen(
    2022-09-05 20:35:03下载
    积分:1
  • DC-DC convertor
    基于dsp的DC-DC升压变换器MOSFET.作为根据目前的情况,世界各地都存在大量的电力短缺,特别是像印度这样的国家,电网转移问题也很严重。化石燃料的发电量越来越少,一些化石燃料的例子是(煤、褐煤、石油和天然气),因此大多数人都在寻找绿色或可再生能源,如太阳能、风能、生物质能、潮汐能等,这些能源不会对环境造成任何污染。本文还对光伏板进行了仿真分析,并对高效boost变换器进行了设计和仿真。尽管太阳能系统是可再生能源,但与风能等其他可再生能源相比,它并没有连接到更多的电网。需要采取很多必要的措施,其中一个重要的因素就是需要高效率的boost变换器
    2022-04-12 03:11:21下载
    积分:1
  • 在 win32 中的多线程应用程序
    在 win32 中的 Multithreadingapplications。C 编程在多线程环境中的 windows levelapplication 源代码。Multithreadin windows 系统很好的书。
    2022-10-17 09:15:15下载
    积分:1
  • 示波器代码
    示波器的源代码,效果不错的,dlo1w1dsc hhjhsdf sfdssd  fsdhsdfhsdj eewrew erewrewr dsfefh  dsdewh
    2022-07-07 20:07:57下载
    积分:1
  • 分布实现矩阵乘法
    资源描述 基于集群,测试后可用。 实现了并行分布式求解矩阵的幂。 基于消息传递的机制。主进程负责分配任务。各个子进程复杂计算。 通过分块,有效的解决了内存不足的问题。
    2023-07-19 07:35:03下载
    积分:1
  • VB视屏聊天
    通过存储选中开始结束为止,确定颜色,仙剑一个文件夹,之后删除将恢复健康的和健康和vkjdfnkjkjn;k独守空房军看见电脑;来看看了呢空间能看见你空间呢控件看来今年 看你空间呢
    2022-12-07 06:20:02下载
    积分:1
  • MFC调用CUDA
    如何在MFC中调用CUDA 环境:     Windows Vista SP1 Microsoft Visual Studio 2005 CUDA 2.0 步骤: 1.       创建一个对话框的
    2023-04-01 09:30:04下载
    积分:1
  • mpi4py 的逐次超松驰迭代的例子
    这是示例如何用逐次超松驰迭代 (SOR) 方法,求解线性系统的方程 使用 python 库 mpi4py。算法尝试计算节点之间平分。该程序不仅可以 在集群上运行。
    2022-04-29 12:44:20下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载