[Python知识库] Python网络爬虫（二. 获取爬虫所需数据从而进行代码编写）

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> Python知识库 -> Python网络爬虫（二. 获取爬虫所需数据从而进行代码编写） -> 正文阅读

[Python知识库]Python网络爬虫（二. 获取爬虫所需数据从而进行代码编写）

在Python网络爬虫中，获取一定的网页数据是必要的

(如： url, headers 等)

因为Google Chrome (点击进入官方下载地址) 浏览器的兼容性更高，所以这里推荐使用该浏览器进行网页浏览

这里以百度网页为例：

1. 在浏览器上方地址框输入 www.baidu.com，并进入该网页

在这里插入图片描述

2. 打开开发者页面

在页面空白处右键选择检查(Inspect) 或键盘键入F12 ，打开开发者模式
在这里插入图片描述

3. 点击刷新网页，或在开发者模式键入 CTRL+R 通过浏览器获取响应

找到document类型文件，并单击

在这里插入图片描述

4.单击进入，可看到 Request URL,即为请求的网址

在这里插入图片描述

5. 向下滑动页面, 即可得到后续所需的User_Agent以及Cookie等数据

在这里插入图片描述

获取以上数据即可编写一个简单的网络爬虫代码


import requests

url = 'https://www.baidu.com/'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
}

response = requests.get(url, headers = headers)

print(response.text)



# 另外  拓展一下，
# 运行结束后，在同一文件夹下会自动生成一个名为’1.txt‘的文件，并存入了源码数据
with open("1.txt", "wb")as f:
    f.write(response.content)