[网络协议]python中爬虫请求头的使用

? 爬虫中请求头的作用是在网站使用反爬机制之后，可以在程序中添加请求头来实现反反爬，达到伪装成浏览器的目的，从而实现反反爬机制。

具体步骤如下：?

? ? 打开想爬取的网站，F12打开开发者工具

? ?

? ?点击NetWork选项

??

?Ctrl+R刷新请求，点击自己需要的请求即可，找不到默认第一个即可

? ?然后找到User-Agent选项，全部复制下来之后，在我们的程序中requests.get/post的上面粘贴，

格式为:

headers={'User-Agent':'asodijoaefijuowsgfhaoighoiredugh'}? ?ps:后面数据是我乱打的，自行配对就好

as=requests.get(url,headers=headers)

然后运行即可

?

?

?

?