登录
首页 » 并行计算 » 基于Hadoop的文本分类(1)-文本预处理&文本表示

基于Hadoop的文本分类(1)-文本预处理&文本表示

于 2022-03-01 发布 文件大小:10.67 MB
0 270
下载积分: 2 下载次数: 1

代码说明:

资源描述一、环境环境:Ubuntu14、Hadoop2.6,Eclipse、NLPIR/ICTCLAS2015等; 二、算法简介: 1、此项目是基于Hadoop2.6进行MapReduce并行开发; 2、此项目是文本分类的文本预处理和文本表示部分,包括分词,去停用词,特征选择和文本表示等(分类算法采用的是随机森林算法,暂时未开放,读者可自行采用Mahout或Weka进行验证); 3、分词采用的是NLPIR/ICTCLAS2015;文本表示采用的是VSM模型,权重计算采用TFIDF进行文本表示;特征选择采用CHI算法(卡方统计); 4、关于并行分词环境搭建,可参考我的博客http://www.cnblogs.com/merru/p/4917665.html 5、关于Hadoop环境搭建,可参考我的博客http://www.cnblogs.com/merru/p/4901528.html和http://www.cnblogs.com/merru/p/4905118.html。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • implementation of the multiplication of two double matrices by using MATLAB C-Mex and CUBLAS library
    本文介绍了一个通过GPU CUDA实现两个双矩阵相乘的MATLAB运算包。
    2022-07-17 00:43:28下载
    积分:1
  • cuda
    资源描述VS_cuda并行计算 两基于vs实现的.cu代码 简单的实现矩阵相乘和反转。
    2022-05-21 15:38:13下载
    积分:1
  • 同构DVS集群中基于自适应阈值的任务节能调度
    资源描述目前,高能效的并行任务调度算法设计已经成为集群系统的研究热点.现有基于复制的节能调度算法主要利用阈值平衡系统的性能和能耗,但随机设置的阈值无法根据性能需求和环境参数等特征自动调节,导致调度算法存在一定的局限性.文中提出一种面向同构集群系统的两阶段节能调度算法ATES(Adaptive Threshold-based Energy-efficient Scheduling).首先,设计一种基于自适应阈值的任务复制策略,该策略能够自动计算最佳阈值,利用该阈值获取近似最优的任务分组.然后,将各分组任务调度到支持DVS的处理器上,并充分利用任务之间的空闲时间降低处理器电压.该算法将任务复制策略与电压调节技术有机结合,在调度过程中能够自动调整阈值,有效提高调度算法的能效.为了验证ATES算法的合理性,通过典型应用进行仿真实验,并与常见任务调度算法进行比较,结果表明ATES算法能够更好地实现性能和能耗之间的平衡.
    2022-04-25 05:27:51下载
    积分:1
  • 使用 C# 的变身
    --概述: 变形两个图像的位图或影片剪辑的序列作为输出结果。 硬件要求: 此示例需要 DirectX 11 能够卡,如果没有检测到示例将使用 DirectX 11 参考模拟器。 -软件要求: 从 http://msdn.microsoft.com 安装 Visual Studio 2012
    2022-03-09 17:49:47下载
    积分:1
  • OpenCl基础构架代码
    应用背景密码暴力计算,大型数据计算都会用到,并行计算,本例程为通用openCL并行计算,基于nvidia平台下,例程综合了openCL的常用函数,平台创建、设备选择、内存分配、任务队列、核函数生成,可用本文件代码作为运行基础构架模板。关键技术 OpenCL常用函数构成的技术构架,可以在本代码基础之上适当修改,既可以应用于其他场合,免去繁杂的,重复配置函数的调用,本例程具有自动检测运行平台,运行设备。
    2023-03-17 03:20:04下载
    积分:1
  • metis-3.0 partitioning unstructured graphs, partitioning meshes, and computing fill-reducing order
    Copyright 1997, Regents of the University of Minnesota. METIS was written by George Karypis (karypis@cs.umn.edu) Introduction ------------------------------------------------------------ METIS is a software package for partitioning unstructured graphs, partitioning meshes, and computing fill-reducing orderings of sparse matrices. The documentation of METIS can be found in the Doc/manual.ps file. METIS is written in ANSI C and should compile on Unix systems that have a ANSI C compiler. It has been extensively tested on the following architectures:    AIX    SunOS    Solaris    IRIX    Unicos    Linux    HP-UX    FreeBSD
    2022-02-20 19:44:54下载
    积分:1
  • 数字时钟
    它是一个基于8051的频率计数器,可以用作学习工具。很有用的开始。
    2023-08-27 17:20:03下载
    积分:1
  • fpga vga 控制器设
    我听说很多积极的反馈,从几个星期我们回来的统合 NERP FPGA 车间。一些人问我要去我们做两个演示的 Verilog 邮编。我添加了评论到 Verilog 文件试图清理我们顺利挺进避免纯粹把这变成 Verilog 类的东西很多。最有用的评论将在 VGA 控制器模块我们 wrote:vga640x480.v。不管怎么说,所有所需的项目文件,合成我们写的逻辑都在这里:我听说很多积极的反馈,从几个星期我们回来的统合 NERP FPGA 车间。一些人问我要去我们做两个演示的 Verilog 邮编。我添加了评论到 Verilog 文件试图清理我们顺利挺进避免纯粹把这变成 Verilog 类的东西很多。最有用的评论将在 VGA 控制器模块我们 wrote:vga640x480.v。不管怎么说,所有所需的项目文件,合成我们写的逻辑都在这里:
    2022-03-23 00:30:18下载
    积分:1
  • 向量元素进排序
    该程序应用于并行排序算法Betchera。该算法属于一组并行排序的,这些算法之间的主要区别是并行(同时)作用于分选的数字数据集的可能性。class MyParSort Classvoid Setup  请点击左侧文件开始预览 !预览只提供20%的代码片段,完整代码需下载后查看 加载中 侵权举报
    2022-03-23 19:22:26下载
    积分:1
  • cuda实现矩阵求逆
    此程序包的矩阵求逆函数基于 CUDA 的实现包含对称的积极明确逆矩阵使用 GPU。用法,请参阅 testspd.cpp 中的示例。此外,一般块矩阵求逆通过高斯(pivotting) 没有消除。请参阅 testge.cpp 例如使用。注: GE 可能无法在单精度足够稳定。请参阅生成文件更改为双精度。
    2022-07-16 13:09:40下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载