Python爬虫精进-第5关狂热粉丝
一、练习介绍
爬取张杰首页第一首歌“只要平凡”的第一页的15条精彩评论。
网页链接：https://y.qq.com/n/yqq/singer/002azErJ0UcDN6.html
【没点击加载“更多精彩评论”之前，第一页的精彩评论共有15条。这边只给出了第一、二条和最后一条评论的截图。】
二、Python参考解答
'''
Author: Gu Jiakai
Date: 2021-07-20 15:58:16
LastEditTime: 2021-07-20 18:40:53
LastEditors: Gu Jiakai
Description:
FilePath: \第5关-狂热粉丝\习题再练-爬取歌曲精彩评论.py
'''
# 调用requests库。
import requests
# 请求歌曲评论的url参数的前面部分。
url='https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg'
# 请求歌曲评论的url参数的后面部分。封装为一个字典，传递给params。
params={
'g_tk_new_20200303': '5381',
'g_tk': '5381',
'loginUin': '0',
'hostUin': '0',
'format': 'json',
'inCharset': 'utf8',
'outCharset': 'GB2312',
'notice': '0',
'platform': 'yqq.json',
'needNewCode': '0',
'cid': '205360772',
'reqtype': '2',
'biztype': '1',
'topid': '214172912',
'cmd': '8',
'needmusiccrit': '0',
'pagenum': '0',
'pagesize': '25',
'lasthotcommentid': '',
'domain': 'qq.com',
'ct': '24',
'cv': '10101010'
}
# 获取数据。
res=requests.get(url,params=params)
# 调用json()方法，将response对象，转为列表/字典。
content=res.json()
# 一层一层地取字典，获取精彩评论列表。
lst=content['hot_comment']['commentlist']
id=1
for ele in lst:
# 精彩评论的编号。
print(str(id)+":")
# 以rootcommentcontent为键，查找精彩评论内容。
# Python replace() 方法把字符串中的 old（旧字符串） 替换成 new(新字符串)，如果指定第三个参数max，则替换不超过 max 次。
# replace('\\n','\n')意为用换行符'\n'，替换普通的字符串'\n'【'\\n'中的第一个反斜杠起转义的作用，让编译器把'\n'看成普通的字符串对待。
# Python strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。
print((ele['rootcommentcontent'].replace('\\n','\n').strip()))
id+=1
三、补充练习
爬取张杰前五页的歌曲名、歌曲专辑名、歌曲时长、歌曲播放链接。
网页链接：https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E5%BC%A0%E6%9D%B0
四、补充练习【Python参考解答】
'''
Author: Gu Jiakai
Date: 2021-07-20 18:44:37
LastEditTime: 2021-07-20 19:09:54
LastEditors: Gu Jiakai
Description:
FilePath: \第5关-狂热粉丝\习题再练-爬取张杰前5页歌曲名.py
'''
# 调用requests库。
import requests
# 从time模块调用strftime函数。
from time import strftime
# 从time模块调用gmtime函数。
from time import gmtime
a=[]
for i in range(1,6):
# XHR中带有歌单的请求链接的前面部分。
url='https://c.y.qq.com/soso/fcgi-bin/client_search_cp'
# XHR中带有歌单的请求链接的后面部分。封装为一个字典，传递给params。
params={
'ct': '24',
'qqmusic_ver': '1298',
'new_json': '1',
'remoteplace': 'txt.yqq.song',
'searchid': '54847913553742588',
't': '0',
'ggr': '1',
'cr': '1',
'catZhida': '1',
'lossless': '0',
'flag_qc': '0',
# 每一页歌单请求链接的不同之处只有参数p。
'p': str(i),
'n': '10',
'w': '张杰',
'g_tk_new_20200303': '5381',
'g_tk': '5381',
'loginUin': '0',
'hostUin': '0',
'format': 'json',
'inCharset': 'utf8',
'outCharset': 'utf-8',
'notice': '0',
'platform': 'yqq.json',
'needNewCode': '0'
}
# 获取数据。
res=requests.get(url,params=params)
# 调用json()方法，将response对象转为列表/字典。
content=res.json()
# 一层一层地取字典，获取歌单列表。
lst=content['data']['song']['list']
for ele in lst:
# 以name为键，查找歌曲名。
song=ele['name']
# 以album为键，对应的值为一个新的字典。在该字典中，以name为键，查找专辑名。
album=ele['album']['name']
# strftime() 函数接收以时间元组，并返回以可读字符串表示的当地时间，格式由参数 format 决定。
# time gmtime() 函数将一个时间戳转换为UTC时区（0时区）的struct_time，可选的参数sec表示从1970-1-1以来的秒数。
# 以interval为键，查找歌曲播放时长。
time=strftime('%M:%S',gmtime(ele['interval']))
# 字符串拼接，'https://y.qq.com/n/ryqq/songDetail/'和mid键对应的值组成歌曲的播放链接。
url1='https://y.qq.com/n/yqq/song/'+ele['mid']
# song,album,time,url1作为一个小列表，添加进a这个大列表中。
a.append([song,album,time,url1])
# 循环遍历大列表，打印出小列表。
for i in a:
print(i)