一战:多线程
更多内容请参考:一战《中国作物种质信息网》(再也不怕没有小麦数据源了)
二战:异步协程
执着的小猪,我又回来了
定义协程:需要在方法前加上 async
同时需要安装 asyncio & aiohttp
pip install asyncio -i 清华镜像
"""
action: item
p: MY014200
croptype: ["粮食作物", "小麦"]
_:
"""
'''
Referer: https://www.cgris.net/query/do.php
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4542.2 Safari/537.36
'''
import csv
import asyncio
import aiohttp
fieldnames = ['库编号', '统一编号', '保存单位', '品种名称', '译名', '科名', '属名', '学名', '系谱', '育成年限', '原产地', '高程', '东经', '北纬', '来源国',
'芒', '壳色', '粒色', '冬春性', '成熟期', '穗粒数', '穗长', '株高', '千粒重', '粗蛋白', '赖氨酸', '沉淀值', '硬度', '容重', '抗旱性',
'耐涝性', '芽期耐盐', '苗期耐盐', '田间抗寒性', '人工抗寒性', '条锈严重度', '条锈反应型', '条锈普遍率', '叶锈严重度', '叶锈反应型', '叶锈普遍率',
'秆锈严重度', '秆锈反应型', '秆锈普遍率', '白粉严重度', '白粉反应型', '黄矮病', '赤霉病病穗', '赤霉病病指', '赤霉病指数', '赤霉病抗性', '根腐叶病级',
'根腐穗病级', '其它', '省', '样品类型']
file = open('./wheat.csv', mode='a', encoding='utf-8', newline='')
csvWriter = csv.DictWriter(file, fieldnames=fieldnames)
csvWriter.writeheader()
async def getData(url, index, session):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4542.2 Safari/537.36',
'Referer': url
}
data = {
'action': 'item',
'p': f'MY0{index}',
'croptype': '["粮食作物", "小麦"]',
}
async with session.post(url, headers=headers, data=data) as resp:
csvWriter.writerow(await resp.json(content_type='text/html', encoding='utf-8'))
print('库编号', data['p'], '爬取完毕!')
async def main():
url = 'https://www.cgris.net/query/o.php'
async with aiohttp.ClientSession() as session:
tasks = []
for i in range(1482, 1520):
tasks.append(asyncio.create_task(getData(url=url, index='%05d'%i, session=session)))
await asyncio.wait(tasks)
if __name__ == '__main__':
asyncio.run(main())
file.close()
速度提升了!但是不是最优解。期待下次王者回归!
|