[Python知识库]通过python爬取动态加载的网页数据，并写入pandas用于后面分析

通过python爬取动态加载的网页数据，并写入pandas用于后面分析
最近开始学习爬虫，通过博客记录自己的学习成果，在此特别感谢B站的波波老师，B站账号：路飞学城IT
这次爬取的网站是：化妆品生产许可信息管理系统服务平台（http://scxk.nmpa.gov.cn:81/xk/#）
这个网站的数据是动态加载出来的
使用request请求这个网站是得到不了数据的，我们可以通过调出网页的相关代码之后，利用ctrl+f 搜寻网页数据的存放地址
找到真正的可以请求得到的url，对其发起请求可以得到里面的数据，打开这个url对应的相应数据response，我们可以发现需要的数据在里面。

接下来是代码的呈现

import requests
import pandas as pd

url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList' # 真正需要发起的url
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0'  #设置请求头
}
df = pd.DataFrame(columns=['企业名称','发证机关','发证日期','有效期至']) # 创建一个dataframe，储存数据
page_num = int(input('输入页数：'))  # 输入爬取的页数
try:
    for i in range(1,page_num):
        data = {
            'on':'true',
            'page':i,
            'pageSize':15,              # 把上一个图片得到的url网页信息拉到最下面，它是带有data参数的，所有我们也需要，其中page
            'productName':'',           # 就是对应页码数
            'conditionType':1,
            'applyname':'',
            'applysn':'' }
        try:
            json_ids = requests.post(url=url,headers=headers,data=data).json()  
        except:                             # 在爬取的时候遇见第50页有一个json的错误，我也不是很了解，所有先用一个异常跳过，防止程序结束
            pass                            # 如果有会的大佬教教我就好啦

        for dic in json_ids['list']:        # 因为得到的相应数据是json形式，所有可以进行便利对应取值
            EPS_NAME = [] #存放企业名称
            XC_DATE = [] # 存放发证日期
            QF_MANAGER_NAME = []   # 存放发证机关
            XK_DATE = []   # 存放有效期至

            EPS_NAME.append(dic['EPS_NAME'])    
            XK_DATE.append(dic['XK_DATE'])              # 把一页的数据加载到列表中便于后面存储
            QF_MANAGER_NAME.append(dic['QF_MANAGER_NAME'])
            XC_DATE.append(dic['XC_DATE'])
            
            df1 = pd.DataFrame({'企业名称':EPS_NAME,'发证日期':XC_DATE,'发证机关':QF_MANAGER_NAME,'有效期至':XK_DATE}) 
            # 把一页爬取的数据存储到一个df1之后，在通过dataframe的合并，将每次爬取的一页数据加载到总的df里面，而不是通过一个个数据进行写入
            df = df.append(df1,ignore_index=True)
        print(f'第{i}页爬取成功！')
except :
    pass
finally:
    df.to_csv('化妆品生产许可证信息系统2.csv',encoding='utf-8')  # 数据的保存

自己主要是发现，学了之后总是忘记，所有想通过写一些博客的来督促自己学习，可能代码也有错误和冗余，有问题可以私信一起学习