基于Hadoop的文本分类（1）-文本预处理&文本表示

资源描述一、环境环境：Ubuntu14、Hadoop2.6，Eclipse、NLPIR/ICTCLAS2015等； 二、算法简介： 1、此项目是基于Hadoop2.6进行MapReduce并行开发； 2、此项目是文本分类的文本预处理和文本表示部分，包括分词，去停用词，特征选择和文本表示等（分类算法采用的是随机森林算法，暂时未开放，读者可自行采用Mahout或Weka进行验证）； 3、分词采用的是NLPIR/ICTCLAS2015；文本表示采用的是VSM模型，权重计算采用TFIDF进行文本表示；特征选择采用CHI算法（卡方统计）； 4、关于并行分词环境搭建，可参考我的博客http://www.cnblogs.com/merru/p/4917665.html 5、关于Hadoop环境搭建，可参考我的博客http://www.cnblogs.com/merru/p/4901528.html和http://www.cnblogs.com/merru/p/4905118.html。