[Python知识库]第一个简单爬虫

import requests
from lxml import etree

# headers伪装
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'}
# 请求地址
url = 'https://www..com/stats/global/yearly/g_population_total/'
# 爬取1990年到2019年的全球人口数据
for i in range(1990,2019):
	# 将 年份 拼接到地址中 后面循环请求
    page_url = url + str(i) + '.html'
    # 获取响应的文本内容
    page_text = requests.get(url=page_url,headers=header).text
    tree = etree.HTML(page_text)
    # 定位上一级标签
    tr_list = tree.xpath('/html/body/div[2]/div[1]/div[4]/div[1]/div/div/div/table/tbody')
	
    for nn in tr_list:
    # 取下一级子标签，tr的class名称不能为tr_region，因为trregion要素不齐全
        sn = nn.xpath('./tr[not(@class="tr_region")]/td/text()') 
        dataa = [x.strip() for x in sn if x.strip() != '']
    # 追加模式写入out.txt encoding解决保存中文乱码的问题 
    with open('out.txt','a',encoding='utf8',newline='\r\n') as f:
        for q in dataa:
            f.write(q+'|')  # 以|符号分割便于后面导入excel
            if q.endswith("%"):  # 如果数据结尾是百分号，说明该国家数据完成
                f.write(str(i)+'\r\n')  # 在结尾插入换行符