JAVAe-book

说明：  ICTCLAS的JNI调用接口文件: Title:ICTCLAS Caller * <p>Description:do chinese word segmentation.don t change the pakage and CLASS name, orelse you can t use it. * 请不要改变包名、类名以及native的方法名，否则调用将失效。 * 由于ICTCLAS本身存在很多鲁棒性问题，调用segSentence时，string参数请保证不要过长或带有乱码。调用次数过多（如处理几十G的数据）会有可能造成内存溢出。 * 故基本只能用于较小规模数据（相对几十G来说）。 * 请运行时设置jvm足够的堆栈空间。(ICTCLAS calling the JNI interface documentation : Title : Caller* ICTCLAS)

10个中文分词数据集，用于训练中文分词模型(Ten Chinese Word Segmentation Datasets for Training Chinese Word Segmentation Model)

bped source code inc plus

ruby script for internal DSL requirement..

随便下载一篇中文的文本文档，通过这个程序可以将文档进行分词处理，还能够统计词语出现的次数(To download a Chinese text documents, through this program can be word processing document, will also be able to statistics the number of occurrences of words and phrases)

说明：  HMM中文分词，基于隐马尔科夫模型 。需要进行训练后试验(Word Segmentation Based on Hidden Markov Model)

可以实现自动分词功能，支持自动标引，是处理中文自然语言的良好工具(Can achieve automatic word segmentation function, support for automatic indexing is a good tool to deal with Chinese natural language)

词是最小的能够独立活动的有意义的语言成分。 但汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此，中文词语分析是中文信息处理的基础与关键。(The word is the smallest independent activities meaningful language component. But Chinese is the word as the basic unit of writing, there is no obvious mark of distinction between the words, so Chinese word analysis is the foundation of Chinese information processing and critical.)

这是一个中文分词程序，读入一个Txt文档，可以对里面的段落进行分词(This is a Chinese word segmentation program that reads a Txt document segmentation paragraphs inside)

说明：  10个中文分词数据集，用于训练中文分词模型(Ten Chinese Word Segmentation Datasets for Training Chinese Word Segmentation Model)