[人工智能] 基于python的微博舆情分析与研究—以《北京冬奥会》为关键词

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 基于python的微博舆情分析与研究—以《北京冬奥会》为关键词 -> 正文阅读

[人工智能]基于python的微博舆情分析与研究—以《北京冬奥会》为关键词

创作不易，如果以下内容对你有帮助，记得三连呀，让更多的小伙伴能看到吧~~

1. 研究内容

本课题研究的是基于Python的微博舆情热点分析与研究。在PyCharm、Jupiter Notebook开发环境下，首先利使用python的requests库对微博进行分时段多进程爬取，并利用lxml解析库对爬取到的数据解析并做简单的数据清洗且保存到数据库；然后，使用numpy、pandas等库对原始数据进行数据预处理；接着，对各特征做灰色关联分析，筛选对传播热度影响较大的特征；最后，利用python的matplotlib库可视化两官方媒体和自媒体在不同的时段、不同人群传播力度的变化等各种变化指标，并对微博的内容利用基于情感词典的方法进行文本情感分析，从而挖掘正面和负面信息。

2. 数据获取

主要采用的是requests+lxml库进行数据爬取和数据解析，以下附上爬取的部分代码：

# 统一时间
def parse_time(datetime):
    if datetime is None:
        return datetime

    if re.match('\d+年\d+月\d+日.+', datetime):
        # time模块
        datetime = datetime
        datetime.replace("年","-")
        datetime.replace("月","-")
        datetime.replace("日","")

    if re.match('\d+月\d+日.+', datetime):
        # time模块
        datetime = datetime.replace("月","-").replace("日","")
        datetime = time.strftime('%Y-', time.localtime(time.time())) + datetime

    if re.match('\d+分钟前', datetime):
        minute = re.match('(\d+)', datetime).group(1)
        # time.localtime()为当前的时间戳，用time.time()当前的时间戳-已过的时间来获取发布时的时间戳（1970纪元后经过的浮点秒数）
        datetime = time.strftime('%Y-%m-%d %H:%M', time.localtime(time.time() - float(minute)*60))

    if re.match('\d+秒前', datetime):
        second = re.match('(\d+)', datetime).group(1)
        # time.localtime()为当前的时间戳，用time.time()当前的时间戳-已过的时间来获取发布时的时间戳（1970纪元后经过的浮点秒数）
        datetime = time.strftime('%Y-%m-%d %H:%M', time.localtime(time.time() - float(second)))

    if re.match('今天.*', datetime):
        temp = re.match("今天(\d+:\d+)",datetime).group(1)
        datetime = time.strftime('%Y-%m-%d ', time.localtime()) + temp
    return datetime
    
# 开启爬虫
def start_crawl(base_url,pages):
    headers = request_header_article()
    # 遍历搜索时间
    years = [2021,2022]
    for year in years:
        months = [*range(1,13)] if year != 2022 else list(1)
        days = [31,28,31,30,31,30,31,31,30,31,30,31]
        for num, month in enumerate(months):
            for day in range(1,days[num],7):
                day_end = day + 6 if day + 6 < 31 else 30
                print("Spider正在爬取{}-{}-{}至{}-{}-{}时间段！".format(year,month,day,year,month,day_end))
                time.sleep(1)
                for page in range(1, pages + 1):
                    url = base_url.format(year_start=year, month_start=month, day_start=day, year_end=year, month_end=month, day_end=day_end, page=page)
                    response = requests.get(url=url, headers=headers,timeout=(3,7))
                    if response.status_code == 200:
                        res = et.HTML(response.text)
                        print("Spider已完成第{}页爬取任务！".format(page))
                        yield res
                    else:
                        continue
# 将数据存入MongoDB
def save_mongoDB(base_url,pages):
    client = pymongo.MongoClient(host='localhost', port=27017)
    db = client.HotSpotBD
    table = db['HotSpotInfo']
    for insert_list in data_clean(base_url,pages):
        table.insert_many(insert_list)
        print("完成一页数据插入任务！")
    client.close()