[Python知识库]python爬虫学习-使用bs4解析

from fake_useragent import UserAgent
from bs4 import BeautifulSoup

if __name__ == "__main__":
    url = 'http://www.maicainan.com/wap/offer/show/id/5139.html'
    ua = UserAgent(use_cache_server=False)
    headers = {
        'user-agent': ua.random,
        'Host': 'www.maicainan.com'
    }
    res = requests.get(url=url, headers=headers)
    page = BeautifulSoup(res.text, "html.parser")#生成bs对象
    #find,find_all,查找数据
    #table：表格
    table = page.find('table', class_='hq_table')  # class加下划线,以区分python关键字
    # table=page.find('table',attrs={'table':'hq_table'})#可以避免下划线，与上一句作用一样
    #trs:找到所有的行
    trs = table.find_all('tr')[1:]#切片操作，去掉不需要的
    for tr in trs:
        tds = tr.find_all('td')#tds:找到所有的列
        # 从每一列中找到所有的数据
        name = tds[0].text# .text：表示拿到被标签标记的内容
        low = tds[1].text
        avg = tds[2].text
        high = tds[3].text
        per = tds[4].text
        print(name,low,avg,high,per)
    res.close()
    # print(res.status_code)
python
在这里插入代码片