Python爬虫精进-第5关狂热粉丝

一、练习介绍

爬取张杰首页第一首歌“只要平凡”的第一页的15条精彩评论。

网页链接：https://y.qq.com/n/yqq/singer/002azErJ0UcDN6.html

【没点击加载“更多精彩评论”之前，第一页的精彩评论共有15条。这边只给出了第一、二条和最后一条评论的截图。】

二、Python参考解答

'''
Author: Gu Jiakai
Date: 2021-07-20 15:58:16
LastEditTime: 2021-07-20 18:40:53
LastEditors: Gu Jiakai
Description: 
FilePath: \第5关-狂热粉丝\习题再练-爬取歌曲精彩评论.py
'''
# 调用requests库。
import requests

# 请求歌曲评论的url参数的前面部分。
url='https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg'
# 请求歌曲评论的url参数的后面部分。封装为一个字典，传递给params。
params={
    'g_tk_new_20200303': '5381',
    'g_tk': '5381',
    'loginUin': '0',
    'hostUin': '0',
    'format': 'json',
    'inCharset': 'utf8',
    'outCharset': 'GB2312',
    'notice': '0',
    'platform': 'yqq.json',
    'needNewCode': '0',
    'cid': '205360772',
    'reqtype': '2',
    'biztype': '1',
    'topid': '214172912',
    'cmd': '8',
    'needmusiccrit': '0',
    'pagenum': '0',
    'pagesize': '25',
    'lasthotcommentid': '',
    'domain': 'qq.com',
    'ct': '24',
    'cv': '10101010'
}
# 获取数据。
res=requests.get(url,params=params)
# 调用json()方法，将response对象，转为列表/字典。
content=res.json()
# 一层一层地取字典，获取精彩评论列表。
lst=content['hot_comment']['commentlist']
id=1
for ele in lst:
    # 精彩评论的编号。
    print(str(id)+":")
    # 以rootcommentcontent为键，查找精彩评论内容。
    # Python replace() 方法把字符串中的 old（旧字符串） 替换成 new(新字符串)，如果指定第三个参数max，则替换不超过 max 次。
    # replace('\\n','\n')意为用换行符'\n'，替换普通的字符串'\n'【'\\n'中的第一个反斜杠起转义的作用，让编译器把'\n'看成普通的字符串对待。
    # Python strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。
    print((ele['rootcommentcontent'].replace('\\n','\n').strip()))
    id+=1

三、补充练习

爬取张杰前五页的歌曲名、歌曲专辑名、歌曲时长、歌曲播放链接。

网页链接：https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E5%BC%A0%E6%9D%B0

四、补充练习【Python参考解答】

'''
Author: Gu Jiakai
Date: 2021-07-20 18:44:37
LastEditTime: 2021-07-20 19:09:54
LastEditors: Gu Jiakai
Description: 
FilePath: \第5关-狂热粉丝\习题再练-爬取张杰前5页歌曲名.py
'''
# 调用requests库。
import requests
# 从time模块调用strftime函数。
from time import strftime
# 从time模块调用gmtime函数。
from time import gmtime

a=[]
for i in range(1,6):
    # XHR中带有歌单的请求链接的前面部分。
    url='https://c.y.qq.com/soso/fcgi-bin/client_search_cp'
    # XHR中带有歌单的请求链接的后面部分。封装为一个字典，传递给params。
    params={
    'ct': '24',
    'qqmusic_ver': '1298',
    'new_json': '1',
    'remoteplace': 'txt.yqq.song',
    'searchid': '54847913553742588',
    't': '0',
    'ggr': '1',
    'cr': '1',
    'catZhida': '1',
    'lossless': '0',
    'flag_qc': '0',
    # 每一页歌单请求链接的不同之处只有参数p。
    'p': str(i),
    'n': '10',
    'w': '张杰',
    'g_tk_new_20200303': '5381',
    'g_tk': '5381',
    'loginUin': '0',
    'hostUin': '0',
    'format': 'json',
    'inCharset': 'utf8',
    'outCharset': 'utf-8',
    'notice': '0',
    'platform': 'yqq.json',
    'needNewCode': '0'
    }
    # 获取数据。
    res=requests.get(url,params=params)
    # 调用json()方法，将response对象转为列表/字典。
    content=res.json()
    # 一层一层地取字典，获取歌单列表。
    lst=content['data']['song']['list']
    for ele in lst:
        # 以name为键，查找歌曲名。
        song=ele['name']
        # 以album为键，对应的值为一个新的字典。在该字典中，以name为键，查找专辑名。
        album=ele['album']['name']
        # strftime() 函数接收以时间元组，并返回以可读字符串表示的当地时间，格式由参数 format 决定。
        # time gmtime() 函数将一个时间戳转换为UTC时区（0时区）的struct_time，可选的参数sec表示从1970-1-1以来的秒数。
        # 以interval为键，查找歌曲播放时长。
        time=strftime('%M:%S',gmtime(ele['interval']))
        # 字符串拼接，'https://y.qq.com/n/ryqq/songDetail/'和mid键对应的值组成歌曲的播放链接。
        url1='https://y.qq.com/n/yqq/song/'+ele['mid']
         # song,album,time,url1作为一个小列表，添加进a这个大列表中。
        a.append([song,album,time,url1])

# 循环遍历大列表，打印出小列表。
for i in a:
    print(i)