ICTCLASCaller

一种基于自动机的分词方法，可进行中文分词及统计(Based method of automatic machine word)

这是一个中文分词程序，读入一个Txt文档，可以对里面的段落进行分词(This is a Chinese word segmentation program that reads a Txt document segmentation paragraphs inside)

在中文分词之前，要对文档进行读取，本代码是实现了从磁盘读取的任务。(In the Chinese word prior to reading the document, the code is read from the disk to achieve the task.)

一个中文分词开发包，可以用到搜索引擎的开发当中，比较好用。(A Chinese word segmentation development kit, you can use search engine in development and are relatively easy to use.)

说明：  ICTCLAS的JNI调用接口文件: Title:ICTCLAS Caller * <p>Description:do chinese word segmentation.don t change the pakage and CLASS name, orelse you can t use it. * 请不要改变包名、类名以及native的方法名，否则调用将失效。 * 由于ICTCLAS本身存在很多鲁棒性问题，调用segSentence时，string参数请保证不要过长或带有乱码。调用次数过多（如处理几十G的数据）会有可能造成内存溢出。 * 故基本只能用于较小规模数据（相对几十G来说）。 * 请运行时设置jvm足够的堆栈空间。(ICTCLAS calling the JNI interface documentation : Title : Caller* ICTCLAS)

10个中文分词数据集，用于训练中文分词模型(Ten Chinese Word Segmentation Datasets for Training Chinese Word Segmentation Model)

说明：  HMM中文分词，基于隐马尔科夫模型 。需要进行训练后试验(Word Segmentation Based on Hidden Markov Model)

说明：  python自然语言处理的中文翻译 作者: StevenBird, EwanKlein & EdwardLoper 英文出版社：O'REILLY 翻译：陈涛 提供了非常易学的自然语言处理入门介绍，该领域涵盖从文本和电子邮件预测过滤，到自动总结和翻译等多种语言处理技术。在此书中，你将学会编写Python程序处理大量非结构化文本。你还将通过使用综合语言数据结构访问含有丰富注释的数据集，理解用于分析书面通信内容和结构的主要算法。 《Python自然语言处理》准备了充足的示例和练习，可以帮助你： 从非结构化文本中抽取信息，甚至猜测主题或识别“命名实体”； 分析文本语言结构，包括解析和语义分析； 访问流行的语言学数据库，包括WordNet和树库(treebank)； 从多种语言学和人工智能领域中提取的整合技巧。(Natural Language processing with python)

这个一个基于逆向最大匹配的分词程序，语料规模比较小。(The maximum matching based on the reverse of the sub-term process, relatively small-scale corpus.)

说明：  将高维数据组转换为二维数据组，方便数据处理工作人员的数据分析，并包含自然语言处理(The multi-dimensional co-occurrence matrix is transformed into two-dimensional array form, and the high-dimensional data group is transformed into two-dimensional data group, which is convenient for data processing staff to analyze data, and includes natural language processing)