|
用python爬取微博评论数据，爬虫之路，永无止境。。（附源码）今天目标爬取微博任意博文的评论信息工具使用开发环境：win10、python3.6开发工具：pycharm工具包 ：requests，re, time, random，tkinter项目思路分析1.网页版登录拿回cookie值2.选取要爬的博文评论信息的网页版网址https://weibo.com/3167104922/Kkl7ar83T#comment为例3.根据网页版的地址抓包拿回博文唯一的id值（weibo_id）4.构造博文手机版评论请求的地址f’https://m.weibo.cn/comments/hotflow?id={weibo_id}&mid={weibo_id}&max_id_type=0’5.发送请求拿回响应的json数据6.max_id和max_id_type的值确定7.构造data参数，下次翻页请求要加上参数""“构造GET请求参数”"" data = { ‘id’: weibo_id, ‘mid’: weibo_id, ‘max_id’: max_id, ‘max_id_type’: max_id_type }12345678.max_id为上一个包的翻页规律9.然后继续解析数据，获取评论信息内容，然后再翻页，一直回调。起始地址先进行登录https://weibo.com/登录之后点开一篇博文，点击评论，点击查看更多评论本文以https://weibo.com/3167104922/Kkl7ar83T#comment为例在这里插入图片描述search搜索weibo_id，构造headers里面的requests url，发送请求拿回weibo_id的值在这里插入图片描述进入手机版模式进行XHR抓包在这里插入图片描述在这里插入图片描述翻页用到data的参数""“构造GET请求参数”"" data = { ‘id’: weibo_id, ‘mid’: weibo_id,
|