新手练python爬虫
# -*- coding:utf-8 -*-
"""
作者：孙敏
日期：2022年01月01日
"""
import requests
import re
from bs4 import BeautifulSoup
import json
import pymysql
from tqdm import tqdm
import jsonpath
response = requests.get('https://ncov.dxy.cn/ncovh5/view/pneumonia')#请求
home_page = response.content.decode()#获取数据
soup = BeautifulSoup(home_page,'lxml')#开始解析
scrip = soup.find(id="getListByCountryTypeService2true")#寻找特定标签的数据
text = scrip.text#获取对应数据
json_str = re.findall(r'\[.+\]',text)[0]#正则提取所需数据
data = json.loads(json_str)#将str类型的数据转换成dict，即方便存入python文件
#以下两行为保存数据为json文件的代码部分
# with open('D:/python/测试/yiqing.json','w',encoding='utf-8') as fp:
# json.dump(data,fp,ensure_ascii=False)
db = pymysql.connect(host='localhost',port=3306,user='root',password='1234',database='sunmin',charset='utf8')#连接数据库
cursor = db.cursor()#创建游标
continents_list = jsonpath.jsonpath(data,'$..continents')#使用jsonpath模块的跨节点方法提取continents对应字段的列表
provinceName_list = jsonpath.jsonpath(data,'$..provinceName')#同理，提取continents对应字段的列表
statisticsData_list = jsonpath.jsonpath(data,'$..statisticsData')#同理，提取continents对应字段的列表
sql = "insert into test(continents,provinceName,statisticsData,url_id) values(%s,%s,%s,111)"#编写插入的sql语句
for i in tqdm(range(len(continents_list)),'数据采集进度'):#在列表长度范围内进行循环，并加入进度条
cursor.execute(sql,(continents_list[i],provinceName_list[i],statisticsData_list[i]))#执行sql语句
db.commit()#提交
cursor.close()#游标对象关闭连接
db.close()#数据库对象关闭连接
以下是进度条界面展示：
以下是mysql爬取界面展示：
?