查看页面源码

在这里插入图片描述

案例

"""
1. 提取页面源代码
2. 解析页面源代码，提取数据

"""
import requests
from pyquery import PyQuery
f = open("qingchezhijia.csv",mode='w',encoding='utf-8') # 创建文件

def get_page_source(url):  # 定义函数 访问页面
    resp = requests.get(url)
    resp.encoding = "gbk"
    # print(resp.text)
    return resp.text


def parse_page_source(html):   # 解析 并找准定位
    doc =PyQuery(html)
    mt_list = doc(".mt-10").items()  # class ="mt-10"
    for mt in mt_list: # 拿到每一个

        # 判断是否有汽车经销商
        if not mt("div >dl:nth-child(3)>dt:contains(购车经销商)"):
            # 向 地点 后添加购车经销商进去
            mt("div >dl:nth-child(2)").after(PyQuery("""<dl class="choose-dl">
                        <dt>购车经销商</dt>
                        <dd>
                            <a href="###" class="js-dearname" data-val="81115,51982" data-evalid="4033271" target="_blank">
                                &nbsp;
                            </a>
                        </dd>
                    </dl>"""))

        # 提取购买的车型
        # 想要在已经提取的内容中获得第一个怎么办？ .eq(0)
        # nth - child(1) 在css进行选择的时候，选取第1个位置的内容
        car =mt("div>dl:nth-child(1)>dd").eq(0).text().replace("\n","").replace(" ","")
        place = mt("div>dl:nth-child(2)>dd").eq(0).text()
        time = mt("div>dl:nth-child(4)>dd").eq(0).text()
        price = mt("div>dl:nth-child(5)>dd").eq(0).text().replace("万元","")
        youhao = mt("div>dl:nth-child(6)>dd >p:nth-child(1)").eq(0).text().replace("升/百公里","")
        kilometer = mt("div>dl:nth-child(6)>dd >p:nth-child(2)").eq(0).text().replace("公里","")
        # for i in range(8):
        #     other = mt("div>div>dl>dd").text().split()
        #     i+=1
        other = mt("div>div>dl>dd").text().split()
        # kongjian = mt("div>dl:nth-child(7)>dd").eq(0).text()
        # kongjian = mt("div>dl:nth-child(7)>dd >p:nth-child(1)")
        # kongjian = mt("div>div>dl")[1].text()
        # print(car,other)
        # 存储到文件中.....
        f.write(f"购买车型：{car},购买地点：{place},购买时间:{time},购车购买价:{price},油耗:{youhao},目前行驶:{kilometer},其它:{other}\n")  # 爬取想要的数据存放在文件中
        # print(other)

def main():   # 定义函数 并调用函数

    url = "https://k.autohome.com.cn/146/"
    # 1.提取页面源代码
    html = get_page_source(url)
    # 2.解析页面源代码，提取数据
    parse_page_source(html)

if __name__ == '__main__':  # 调用函数 => 主函数(main)
    main()