根据工作需要,在请求网页时需要设置代理,下边直接上代码:
#导入requests库
import requests
#设置自己的代理IP和端口如下:
proxies = {
"http": "http://127.0.0.1:7890",
"https": "http://127.0.0.1:7890",
}
#要获取的URl地址,这里里ip138为例用来验证自己的代理是否成功,如果和使用浏览器访问结果一样就证明成功了
get_url = 'https://2022.ip138.com'
#根据实际情况设置请求头信息
header = {
'Content-Type': 'application/x-www-form-urlencoded',
'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Mobile Safari/537.36 Edg/97.0.1072.76'
}
#屏蔽https证书警告
requests.packages.urllib3.disable_warnings()
#获取远程网页数据
body=requests.get(url=get_url ,proxies=proxies, headers=header,verify=False).txt
print(body)
通过以上代码,可以举一反三,可以设计出一些有用的东西如:对爬虫设计,或对一个网址多次请求等。
|