一对好兄弟：NLTK与jieba浅析

小圈长话短说，让我们开始吧！

首先来看，jieba和NLTK都是python中的库，只不过有不同的用途而已。可能大家都听说过 ：中文分词用jieba ，英文分词用NLTK。那么，我们就从这里展开。

NLTK

主要用于英文的文本处理：

1）可用来分词

tokens= nltk.word_tokenize("hello,world") print(tokens);

输出结果如下：

[‘hellow’, ‘,’ , ‘world’]

2）可进行归一化 通过Stemming 实现词干提取：即去掉单词的小尾巴 比如：去ed,s,es,ing 通过Lemmatization实现词形归一：各类词变形为一个形式 比如：went>>go; are>>be; is>>be 3）可以进行停用词过滤 通过filter进行停用词过滤

典型案例：

情感分析，文本分类，文本相似度处理等

英文文本一般的处理流程：

TEXT 文本 Tokenize 分词 Pos Tag 词性标注 Lemmatization/Stemming 归一化 Stop words 停用词 word_list 处理后的词表

jieba

一般我们都会用作中文分词，在这里我们要理解一下全分词（cut_all=True）和精准分词（cut_all=False）的使用。

开启全模式分词(列出所有分词情况)：

j_list=jieba.cut("我来到河北师范大学了"，cut_all=True) print(j_list);

输出结果如下：

[‘我’, '来到‘ , ‘河北师范大学’，’河北‘，’师范‘，’大学‘，’了‘]

开启精准模式分词（精而不罗嗦）：

j_list=jieba.cut("我来到河北师范大学了"，cut_all=False) print(j_list);

输出结果如下：

[‘我’, '来到‘ , ‘河北师范大学’，’了‘]

欢迎大家补充和批评！！