[Python知识库]国人为什么不再唯金牌论？——我用Python分析东京奥运会

写在前面的话

欢迎扫码关注我的公众号，与我一同进步！主要致力于学习

1. 使用深度学习解决计算机视觉相关问题
2. Python为主的互联网应用服务
3. 基于MIPS指令集的CPU微体系结构设计
   

引言

????今年的夏季奥运会于我们大多数国人来说，都是继北京奥运会之后非常有参与感的一届奥运会。我认为，主要有如下几个原因：

1. 2020年夏季奥运会举办城市在日本东京，而东京时间与北京时间的时差只有一个小时。我们不用黑白颠倒就可以赶上所有的赛事直播。
2. 国内的部分城市相继出现了部分新冠肺炎确诊病例，大部分人的暑期计划由“出游”转变为“家里蹲”。
3. 今年的中国代表团出现了大量的90后、00后军团，他们代表了中国青年一代，在奥运会上的亮眼表现得到了社会的广泛关注。
4. … …

于我来说，今年也利用各种各样的空闲时间，通过或直播、或回放的方式，观看了中国代表团的部分赛事。闲暇之余，也参与了微博上相关话题的讨论。其中，一个话题名为"#国人为何不再唯金牌论#"引起了我的极大兴趣。虽然我浏览了相关话题的评论，但仍觉得不过瘾。便萌想到可以获取到评论的数据，再利用Python进行分析。

获取数据

要想对数据进行分析，首先要获取数据。这一步，我们通过对网络请求进行分析获取。

首先，进入到微博手机版的界面(PC端界面无法获取到数据)。

链接地址：https://m.weibo.cn/

进入后的界面如图所示。

我们在搜索框中输入“#国人为何不再唯金牌论了#”，就可以看到如下图所示的界面。我们选择置顶的第一条微博，并点击进去。

同时，按"F12"或者鼠标右击页面，选择"检查"。我们选择新出现的功能栏中的“Network”，并选择"XHR"，就可以看到该页面加载过程中的网络请求了。

观察得到的网络请求中，我们会发现有一条以“hotflow”为开头的网络请求。点击进入到该请求中，查看响应的信息，发现为我们所需要的评论信息。

据此可得出结论，该目标网址就是我们需要的评论信息的网址。它将数据封装成json格式返回。因此，只要我们可以获取到该网址的返回值，就可以获取评论信息。

但是，新的问题又出现了：这只有20条评论信息，可是原微博有5000+评论信息。其他信息去哪了？在进行分析之后可以发现，评论信息是动态加载的，当我们不断向下拖动信息时，就可以获得所有的评论信息啦~

解决了所有问题之后，我们只剩下最后一步，将得到的信息进行处理，把我们需要的评论内容进行处理之后保存到文本文件中。我们使用如下的Python程序实现。

def get_data(review_file_path):
    """
    在文件中读取数据，并对数据进行处理
    :param review_file_path: 评论文件的存储路径，string
    :return: 评论信息
    """
    review_contents = []
    with open(review_file_path, 'r') as f:
        lines = f.readlines()
    f.close()
    n = len(lines)
    for i in range(n):
        line = json.loads(lines[i])
        review_datas = line['data']['data']
        data_nums = len(review_datas)
        # 设置开始读取评论的位置
        if i == 0:
            start = 1
        else:
            start = 0
        for j in range(start, data_nums):
        	# 正则匹配处理文本其他信息
            pattern_01 = re.compile(r'<span class="url-icon">.*?</span>', re.S)
            pattern_02 = re.compile(r'<a .*?>.*?</a>', re.S)
            origin_review_content = review_datas[j]['text']
            review_content = re.sub(pattern_01, '', origin_review_content)
            review_content = re.sub(pattern_02, '', review_content)
            review_contents.append(review_content)
    return review_contents

最终获取的数据信息和评论信息(经过处理之后的数据信息)可通过如下链接下载。

数据信息
链接：https://pan.baidu.com/s/1EYC1kUf1p9XYQ_fOt_kp1w
提取码：dcn2

注：本文仅获取了1000条评论数据。

分析数据

对经过处理后的评论信息，使用Python的第三方库进行分词并将结果绘制为词云，它通过调用库函数即可，这里不再赘述。使用如下的Python程序实现。

def draw_picture(review_content_file_path):
    data = open(review_content_file_path, 'r', encoding='utf-8').read()
    # 分词
    word_list = jieba.cut(data, cut_all=True)
    word_list_result = ' '.join(word_list)
    # 词云的配置
    word_cloud = WordCloud(
        # 设置背景
        background_color='white',
        # 设置显示的最大的词云数量
        max_words=50,
        # 设置词的跨度
        font_step=10,
        # 设置字体
        font_path=r'C:\Windows\Fonts\simsun.ttc',
        # 设置词云的高度和宽度
        height=300,
        width=300,
        # 设置配色方案
        random_state=30
    )
    # 得到结果
    my_cloud = word_cloud.generate(word_list_result)
    plt.imshow(my_cloud)
    plt.axis("off")
    plt.show()

最终的绘制结果如图所示。

尾声

?????从图中不难看出，一些亮眼的字眼，如：“自信”、“强大”、“证明”、“努力”、“国人”。他们给出了这个问题最好的回答：我们的国家强大了，我们的民族正在复兴，我们比以往任何时刻都更加坚定道路自信、理论自信、文化自信，我们不再需要用金牌证明自己。而这也是这届奥运会令我最震撼、最骄傲、最受益的地方！

完整代码

文章的最后奉上实现该分析的完整程序。

#!/usr/bin/env python
# -*- coding:utf-8 -*-

"""
@ModuleName: get_data
@Function: 
@Author: PengKai
@Time: 2021/8/6 22:52
"""

import re
import json
import jieba
import matplotlib.pyplot as plt
from wordcloud import WordCloud


def get_data(review_file_path):
    """
    在文件中读取数据，并对数据进行处理
    :param review_file_path: 评论文件的存储路径，string
    :return: 评论信息
    """
    review_contents = []
    with open(review_file_path, 'r') as f:
        lines = f.readlines()
    f.close()
    n = len(lines)
    for i in range(n):
        line = json.loads(lines[i])
        review_datas = line['data']['data']
        data_nums = len(review_datas)
        # 设置开始读取评论的位置
        if i == 0:
            start = 1
        else:
            start = 0
        for j in range(start, data_nums):
            pattern_01 = re.compile(r'<span class="url-icon">.*?</span>', re.S)
            pattern_02 = re.compile(r'<a .*?>.*?</a>', re.S)
            origin_review_content = review_datas[j]['text']
            review_content = re.sub(pattern_01, '', origin_review_content)
            review_content = re.sub(pattern_02, '', review_content)
            review_contents.append(review_content)
    return review_contents


def store_contents(review_contents):
    """
    将得到的评论信息保存在文件中
    :param review_contents: 评论信息，List
    :return: None
    """
    n = len(review_contents)
    with open('./review_data.txt', 'w', encoding='utf-8') as f:
        for i in range(n):
            text = review_contents[i] + '\n'
            f.write(text)
    f.close()


def draw_picture(review_content_file_path):
    data = open(review_content_file_path, 'r', encoding='utf-8').read()
    # 分词
    word_list = jieba.cut(data, cut_all=True)
    word_list_result = ' '.join(word_list)
    # 词云的配置
    word_cloud = WordCloud(
        # 设置背景
        background_color='white',
        # 设置显示的最大的词云数量
        max_words=50,
        # 设置词的跨度
        font_step=10,
        # 设置字体
        font_path=r'C:\Windows\Fonts\simsun.ttc',
        # 设置词云的高度和宽度
        height=300,
        width=300,
        # 设置配色方案
        random_state=30
    )
    # 得到结果
    my_cloud = word_cloud.generate(word_list_result)
    plt.imshow(my_cloud)
    plt.axis("off")
    plt.show()


if __name__ == '__main__':
    review_file_path = './data.txt'
    review_contents = get_data(review_file_path)
    store_contents(review_contents)
    review_content_file_path = './review_data.txt'
    draw_picture(review_content_file_path)