[Python知识库]爬虫案例——简易网页采集器

import requests
import json
header = {
    # 伪装为ie浏览器
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44'
}
# 网址数据
url='https://www.sogou.com/web?'
# 字典--处理网址参数
kw=input("请输入搜索内容  ：")
param={
    'query':kw
}
# 发起get请求--对url及所含参数进行处理
response=requests.get(url=url,params=param,headers=header)
# 获取返回文件
p_text=response.text
# 设置文件类型
file_name=kw+'.html'
# 创立文件
with open(file_name,'w',encoding='utf-8') as fp:
    # 保存写入
    fp.write(p_text)
print('OVER')