基于Hadoop的文本分类（1）-文本预处理&文本表示
于 2022-03-01 发布
文件大小:10.67 MB
0 335
下载积分: 2
下载次数: 1
代码说明：
资源描述一、环境环境：Ubuntu14、Hadoop2.6，Eclipse、NLPIR/ICTCLAS2015等； 二、算法简介： 1、此项目是基于Hadoop2.6进行MapReduce并行开发； 2、此项目是文本分类的文本预处理和文本表示部分，包括分词，去停用词，特征选择和文本表示等（分类算法采用的是随机森林算法，暂时未开放，读者可自行采用Mahout或Weka进行验证）； 3、分词采用的是NLPIR/ICTCLAS2015；文本表示采用的是VSM模型，权重计算采用TFIDF进行文本表示；特征选择采用CHI算法（卡方统计）； 4、关于并行分词环境搭建，可参考我的博客http://www.cnblogs.com/merru/p/4917665.html 5、关于Hadoop环境搭建，可参考我的博客http://www.cnblogs.com/merru/p/4901528.html和http://www.cnblogs.com/merru/p/4905118.html。
下载说明：请别用迅雷下载，失败请重下，重下不扣分！
发表评论
