目录
一、背景
二、采集数据源
2、采集【氮氨】数据
3、采集【COD 化学需氧量】数据
4、采集【总氮】数据
三、输出Excel内容样式
1、输出文件命名格式
2、文件内容格式详述
四、解决方案
1、获取并解析【废水企业名单】
2、获取并解析【废水企业历史数据】
3、输出到Excel文件的sheet栏目【废水】
4、保证数据完整性
一、背景
某生态环境治理公司,定期从各官网上获取数据,评估环境污染指数。
目前采取的方式为人力手抄方式,效率低,资源浪费。
领导重视效率,要求推动自动化流程,避免人力浪费,提高效率。
解决方案:Python采集数据源,自动生成Excel报表。
二、采集数据源
网址:省控以上重点污染源数据发布
1、采集两类数据【废水】和【污水厂】
2、采集【氮氨】数据
3、采集【COD 化学需氧量】数据
4、采集【总氮】数据
三、输出Excel内容样式
1、输出文件命名格式
每日生成一份Excel文件,以当天【年月日】标识。
2、文件内容格式详述
【废水】和【污水厂】各用一个sheet
四、解决方案
1、获取并解析【废水企业名单】
此处仅做可行性分析用,共1680个企业。
2、获取并解析【废水企业历史数据】
此处仅做可行性分析用:
青州板纸厂12.1-12.24日总排口的氨氮值:
3、输出到Excel文件的sheet栏目【废水】
4、保证数据完整性
目标网站有时响应超时,需要对其做响应码检测:如果结果响应错误,需要做重试处理,保证数据的完整性。
本次分享结束,欢迎交流合作,商务合作请私聊:6550523
|