异常的访问请求：
当我们爬取网页的时候，网站后台检测出该请求不是通过浏览器发起的，而是通过爬虫程序发起的。
网站后台通过请求中的User-Agent判定
User-Agent:请求载体的身份标识
什么是请求载体？浏览器，爬虫程序
这里的反爬机制：UA检测
反反爬机制：UA伪装
动态数据的捕获
通过requests模块进行数据抓取无法每次都实现可见即可得
有些数据不是通过浏览器地址栏中的url请求到的数据，而是其他请求请求到的数据。这些通过其他请求请求到的数据就是动态加载的数据
检测网页中是否存在动态加载数据：基于抓包工具进行局部搜索
捕获：基于抓包工具进行全局搜索，定位到动态加载数据的数包，从数据包中可以提取出：请求的url，请求方式，请求携带的参数，看到响应数据。
参数动态化
- 将携带的动态参数以键值对的形式封装到一个字典中
- 将字典作用到get方法中的params参数中即可(或post方法中的data)
- 将原始携带参数的url中将携带的参数删除
然鹅，若动态数据无法抓取，可能是通过加密程序加密的
动态加载数据
一般会传参之后会得到一串Json数据，需要requests.get/post(url…).json()，将其变换为列表
简单案例
http://scxk.nmpa.gov.cn:81/xk/
进行化妆品许可证信息的爬取
本页下方的数据都是动态加载数据，也就是说直接使用requests.get().text是无法捕获的，下面简单看一下
最后直接放代码吧
import requests
url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
headers = {
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36'
}
for i in range(1,6):
page_num = i
print(f"——————第{page_num}页——————")
data = {
'on': 'true',
'page': str(page_num),
'pageSize': '15',
'productName':'' ,
'conditionType': '1',
'applyname': '',
'applysn': ''
}
response = requests.post(url=url, headers = headers, data=data)
page_info = response.json()
for dic in page_info["list"]:
name = dic['EPS_NAME']
num = dic['PRODUCT_SN']
mechanism = dic['QF_MANAGER_NAME']
print(f'公司名：{name},许可证编号：{num},管理结构:{mechanism}')