[Python知识库]爬取个性签名

网址
https://www.qqtn.com/qm/weimeiqm_1.html
代码

import requests
from bs4 import BeautifulSoup
url = 'https://www.qqtn.com/qm/weimeiqm_1.html'
headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}
res = requests.get(url=url,headers=headers)
res.encoding = res.apparent_encoding
html = res.text
def spimer():
    soup = BeautifulSoup(html,'lxml')
    # list = soup.find('div',class_='g-gxlist-left')
    # all = list.select('.g-tit-name>.g-gxlist-article2020>li')
    all = soup.select('.g-gxlist-left >ul > li')
    for div in all:
        #文字
        txt = div.find('a',class_='m-name').get_text()
        #print(txt)
        #段落
        text_p = div.find('p').get_text()
        #print(text_p)
        #喜欢人数
        love = div.find('em',class_='u-like').get_text()
        print(love)
        #发布时间
        fbu = div.find('em',class_='u-date').get_text()
        print(fbu)
if __name__ == '__main__':
    spimer()

运行结果
总结
爬虫这个东西写的越多爬的网站多了有差不多了基本的看的懂了
难就难在的是之前爬的那个不一样或者网站的标签太复杂了
就要适当用到正则了
还有参数加密 js混淆 更种加密
后面就要考虑到逆向方面了

好久没写了写一篇回顾一下
之后在来一篇多线程的回顾
爬虫基本的阶段就差不多了
应该要往中级走了