NLTK | 学习笔记1

最近在对照着nltk.book学习NLTK库,虽然网络上有中文翻译版,但是似乎并没有搭配Python3的译本,所以还是想按照自己的理解敲一遍,并且将文档中介绍Python基础操作的内容删去,只保留介绍NLTK库的内容,以方便后期使用时查阅和复习。
如果我有理解错误了的地方,非常欢迎大家留言指出!

Language Processing and Pyhton

import

impot nltk库是常规用法,我们使用from nltk.book import text1来载入特定的文本。但是一个好玩的事情是,即使我们指定了特定的文本,系统也会先输出book中的文本目录,看着就会很累。所以可以直接在lib里将book.py中的例行print都注释掉。

Searching Text

concotdance

concotance可以让我们在特定的文本中搜索特定的词汇。 concotance函数可以插入三个值,word,width,linesword是待检索词汇,width是以待搜索词为中心向两边扩展开的长度,lines可以输出指定的结果行数。

from nltk.book import text1
text1.concotdance('man',width = 10,lines = 3)

similar

similar用来搜索文本中语义相近的词汇。

common_contexts

common_contexts用来搜索相似的词的共现文本(一般在使用了similar函数之后进行个例对比)。

dispersion_plot

dispersion_plot可以直观地显示特定词在文章整体中大体的分布位置。前提是要装好NumPyMatplotlib库(更推荐是下Python的时候就直接下好Anocanda,里面包含很多数据处理所需的库)。

from nltk.book import text4
print(text4.dispersion_plot(["citizens", "democracy", "freedom", "duties", "America"]))

输出结果

Counting Vocabulary

len()

直接使用len()函数来测量文本总单词数,但是如果想要去除掉重复的单词和标点符号就要改变一下。

from nltk.book import text6
from string import puncuation
a = sorted(set(text6))
b = [for i in a if i not in puncuation]
print(len(b))

lexical richness

len(set(text6))/len(text6)

count a specific word

text6.count('smoke')

lexical_diversity()

python其实也内置了一个计算文本richness的函数lexical_diversity(),只需要传入需要分析的文本就可以。
而如果要计算某个特定的单词在文本中的占比也可以直接用函数percentage()函数,输入两个值count(出现次数)和total(样本总数)。

lexical_diversity(text3)
percentage(4,5)
percentage(text.count('a'),len(text4))

Frequency Distributions

FreqDist()

FreqDist()函数会创建若干个字符-字符在文本中出现次数的一个元组,但是它自身是内部函数自己定义的一个类,如果要使用,需要再调用内部的函数。

# 求最高频的50个词
from nltk.book import *
fdist = FreqDist(text1)
fdist.most_common(50)
# 还可以制图(递增顺序)
print(fdist.plot(50,cumulative = true))

Collocations and Bigrams

collcations 是一个出现频率较高的词组。
bigrams() 是用来将列表中的元素按照顺序进行二元组合。bigramsNLTK库自定义的一个类,所以想要输出需要转化类型输出。collecations本质上就是bigrams()在文本范围内的应用,除非我们要关注那些少数搭配。

print(list(bigrams(['more', 'is', 'said', 'than', 'done'])))
# 运行结果:[('more', 'is'), ('is', 'said'), ('said', 'than'), ('than', 'done')]

text4.collocations()
# 运行结果:United States; fellow citizens; four years; years ago; FederalGovernment; General Government; American people; Vice President; OldWorld; Almighty God; Fellow citizens; Chief Magistrate; Chief Justice;God bless; every citizen; Indian tribes; public debt; one another;foreign nations; political parties

补充函数



参考资料