IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> 6.4 词语统计 -> 正文阅读

[Python知识库]6.4 词语统计

主要练习字典的使用方法,包括字符串的常见操作方法。

比如对于下面的字符串文本,实现文本中词语个数的统计。如:

方法1:遍历文本中的字符串,依次将每个词语添加到现有字典结构中。对于新的词语,新增节点并置个数为1。对于已有的词语,则只增加个数。

为此,首先需要分割出各个词语,常见的方法可以使用字符串自带的split方法:

text = 'to be or not to be'
words = text.lower().split()
print(words)

输出为:
['to', 'be', 'or', 'not', 'to', 'be']

进一步按照刚才算法思路,遍历分割出来的词语列表,判断是否存在于字典中,不存在,新建节点并设置键为该词语,值为1,如果存在,就将对应词语节点的值加一:

text = 'to be or not to be'
words = text.lower().split()
dic = {}
for word in words:
    if word not in dic:
        dic[word] = 1
    else:
        dic[word] = dic[word] + 1
print(dic)

输出为:{'to': 2, 'be': 2, 'or': 1, 'not': 1},not in 这个语法就可以判断某个元素是否出现在字典中,对于字典元素,dic[word] = 1 这个语句本身有两个功能:第一如果有元素的键等于这个word值,则表述更新这个元素的值为1,如果没有任何一个元素的键等于这个word值,则会自动创建新的元素,键就是这个word值,元素值为1。因此,dic[word] = dic[word] + 1 语句就是表示先读取键等于这个word值的元素值再加一。

利用字典的其他函数可以实现更为简洁的表示,功能一致:

text = 'to be or not to be'
words = text.lower().split()
dict = {}
for word in words:
    dict[word] = dict.get(word, 0) + 1
print(dict)

输出内容同上。这里的 dict.get(word, 0) 不能写为?dict[word] = dict[word] + 1 ,因为如果事先没有这个word对应的键,将会报错“KeyError”。而get函数和利用方括号的方法不一样在于,如果没有,它可以使用第二个参数的值作为返回值,此时为 0,加上 1 ,正好构成新建元素的初始值。

方法2:不再利用这种不断累加的统计方式来统计每个词语的个数,比如:

text = 'to be or not to be'
words = text.lower().split()
print(words.count('to'))

输出为:2,count函数是列表自带的函数方法,本身就可以统计某个元素值的次数。

因此,结合循环遍历列表元素,实现为:

text = 'to be or not to be'
words = text.lower().split()
dict = {}
for word in words:
    dict.update({word: words.count(word)})
print(dict)

输出内容同上。update方法也具有自动创建的效果,没有就自动建立,有就更新,也很方便。这些不同的方法都具有相同的效果,大家需要多试一下。

当然,这里元素值本身就重复,对于已经更新过的元素,值已经为次数,没有必要再次更新,因此可以考虑在统计前去重:

text = 'to be or not to be'
words = text.lower().split()
set = set(words)
dict = {}
for word in set:
    dict.update({word: words.count(word)})
print(dict)

输出内容同上,但是循环次数大大减少。因为在处理前,对列表利用转换集合的方式消除了重复元素值。

方法3:利用Counter,Counter是一个Python的计数器,它本身其实也是以字典的键值对来存储和计数,其中元素作为键,其计数作为值。

from collections import Counter
text = 'to be or not to be'
words = Counter(text.lower().split())
print(words)

输出为:Counter({'to': 2, 'be': 2, 'or': 1, 'not': 1}),格式略有不同,但是主体内容一致。Counter用法非常简单,只需直接将需要统计的词语列表作为参数传递给它即可直接出统计结果。

但是,Counter需要必要的词语解析,如果把原始文本给它,默认按照字符统计:

from collections import Counter
text = 'to be or not to be'
words = Counter(text)
print(words)

输出为:Counter({' ': 5, 'o': 4, 't': 3, 'b': 2, 'e': 2, 'r': 1, 'n': 1})

配套学习资源、慕课视频:

Python大数据分析-李树青https://www.njcie.com/python/


?

  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2022-03-03 16:08:24  更:2022-03-03 16:12:48 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/15 22:35:44-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码