技术上碾压对手
颜值上惊艳对手
中国奥运健儿们真是又美又能打！
带你一看
中国运动员颜值有多高
需求分析
网友们都在微博上说了啥？
看这里
▼
之气那我们也有分析过B站的弹幕，有兴趣的小伙伴可以看看这里
爬虫B站弹幕| 考完试，这辈子，这个班，基本是聚不齐了......
首先我们打开B站找到我们要找的视频。
F12打开浏览器开发者模式，找到如下链接。
经过测试发现，目前它是通过Js经行渲染的，想通了这一点，那就可以马上去找接口了。
可以看到我们所有爬取的评论信息全在在一个不规则的json文件当中
https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496820&jsonp=jsonp&next=2&type=1&oid=674425220&mode=3&plat=1&_=1627894506606
https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496821&jsonp=jsonp&next=3&type=1&oid=674425220&mode=3&plat=1&_=1627894508981
https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496822&jsonp=jsonp&next=4&type=1&oid=674425220&mode=3&plat=1&_=1627894510667
https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496823&jsonp=jsonp&next=5&type=1&oid=674425220&mode=3&plat=1&_=1627894567580
从上面的URL地址以及图片，可以看出一共有8个查询参数。
callback：每加载出一次便加1操作。
next：每加载一次便加1操作，next是从0开始加载的。
_：13位的时间戳。????????????
发送请求
我们首先模拟浏览器来发送请求获取到这个json数据集，然后获取具体的
评论者、行呗、评论时间、点赞人数和具体的评论内容
??url?=?f'https://api.bilibili.com/x/v2/reply/main?callback=jQuery172009047692616139114_{1627891325400?+?page}&jsonp=jsonp&next={page}&type=1&oid=674425220&mode=3&plat=1&_={time_thick}'
??headers?=?{
????????????"cookie":?"_uuid=BA408FD2-1B4E-DCB0-1CBE-71233AE9FB2918358infoc;?buvid3=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc;?sid=ld1hsb9h;?fingerprint=84acc3579a53d0eba78d769e71574df6;?buvid_fp=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc;?buvid_fp_plain=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc;?DedeUserID=434541726;?DedeUserID__ckMd5=448fda6ab5098e5e;?SESSDATA=40011147%2C1643348516%2Ce493c*81;?bili_jct=1d136ab44a600313299942bf8f6b8f95;?CURRENT_FNVAL=80;?blackside_state=1;?rpdid=|(u)YJR~R~)m0J'uYk~~mY~Y);?bsource=search_baidu;?PVID=1;?bfe_id=393becc67cde8e85697ff111d724b3c8",
????????????'referer':?'https://www.bilibili.com/video/BV1uU4y1H7wL',
????????????'user-agent':?'Mozilla/5.0?(Windows?NT?10.0;?WOW64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/93.0.4577.8?Safari/537.36'
????????}
??resp?=?requests.get(url,?headers=headers)
??ic(resp.text)前面说到我们获取的这个json格式的数据集不是一个标准的json
就是因为前面多了一串
‘jQuery172009047692616139114_1627891325400’
所以我们先将获取到的数据集转为标准的json格式。
如下：
???#?获取resp响应
????text?=?resp.text[42:-1]
????#?转换json格式
????json_data?=?json.loads(text)
????#?获取所有评论
????datas?=?json_data['data']['replies']
????ic(datas)
接下来我们要获取的就是那些评论信息等
???for?item?in?datas:
????????#?评论者
????????name?=?item['member']['uname']
????????#?性别
????????sex?=?item['member']['sex']
????????#?评论时间
????????ctime?=?item.get('ctime')
????????content_time?=?time.strftime('%Y-%m-%d?%H:%M',?time.localtime(ctime))
????????#?点赞人数
????????star?=?item['like']
????????#?评论内容
????????cmts?=?item['content']['message']
????????ic(name,?sex,?content_time,?star,?cmts)
实现翻页爬取
在前面所描述的内容，都只是爬取一页的数据，因此，接下来我要实现类于翻页爬取的效果。
其实只要修改我上面所描述的3个查询参数即可。
测试数据我们就先取200页。
??for?page?in?range(1,?200?+?1):
??????time_thick?=?int(time.time()?*?1000)
??????url?=?f'https://api.bilibili.com/x/v2/reply/main?callback=jQuery172009047692616139114_{1627891325400?+?page}&jsonp=jsonp&next={page}&type=1&oid=674425220&mode=3&plat=1&_={time_thick}'
保存数据
最后将爬取下来的数据，使用openpyxl保存至Excel文件中，总共得到4000条测试数据。
数据处理
这里我们使用熊猫来读取数据,并去除空行
使用jieba制作分词
??rcv_data?=?pd.read_excel('哔哩哔哩.xlsx')
??exist_col?=?rcv_data.dropna()??#?删除空行
??c_title?=?exist_col['评论内容'].tolist()
??#?观影评论词云图
??wordlist?=?jieba.cut(''.join(c_title))
??result?=?'?'.join(wordlist)可视化
最后我们使用stylecloud来生成多样形式的词云
??gen_stylecloud(text=result,
??????????????icon_name='fas?fa-table-tennis',
??????????????font_path='msyh.ttc',
??????????????background_color='white',
??????????????output_name=pic,
??????????????custom_stopwords=['啊',?'的',?'也',?'了',?'我',?'是',?'吗',?'都',?'就',?'你',?'不',?'真的',?'有',?'这',?'没有',?'他们',?'还有',?'说',?'封面']
???????????????????)
????print('绘图成功！')
