[Python知识库] Python爬虫从入门到精通:（19）多任务的异步爬虫实践，aiohttp的使用教程

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> Python知识库 -> Python爬虫从入门到精通:（19）多任务的异步爬虫实践，aiohttp的使用教程_Python涛哥 -> 正文阅读

[Python知识库]Python爬虫从入门到精通:（19）多任务的异步爬虫实践，aiohttp的使用教程_Python涛哥

aiohttp，多任务的异步爬虫实践

这节课介绍下多任务的异步爬虫实践。

我们先运行下之前所写的Flask。课程地址：Flask

然后我们写一个多任务爬虫代码：

import requests
import asyncio
import time
from lxml import etree

urls = [
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/tom'
]

async def get_request(url):
    page_text = requests.get(url).text
    return page_text
  
# 解析函数的封装,也就是回调函数
def parse(t):
    # 获取请求到页面的源码数据
    page_text = t.result()
    tree = etree.HTML(page_text)
    parse_text = tree.xpath('//a[@id="feng"]/text()')[0]
    print(parse_text)
    

if __name__ == '__main__':
    start = time.time()
    tasks = []
    for url in urls:
        c = get_request(url)
        task = asyncio.ensure_future(c)
        # 写完后增加回调函数
        task.add_done_callback(parse)
        tasks.append(task)
    loop = asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait(tasks))
    print(time.time() - start)

运行后，我们发现：代码运行时间是6秒（爬取一个页面是2秒），并没有实现异步。。。

在这里插入图片描述

这是什么原因呢？

原来requests本身就是一个不支持异步的模块。

那怎么办呢？

aiohttp

aiohttp就是requests的异步替代版，专门适合asyncio框架.是一个支持异步的网络请求模块.

安装：

pip install aiohttp

使用代码:

先写出一个特大致的架构

async def get_request(url):
    # 实例化好了一个请求对象
    with aiohttp.ClientSession() as sess:
        # 调用get发起请求，返回一个响应对象
        # get/post(url,headers,params/data,proxy="http://ip:port")
        with sess.get(url=url) as response:
            # 获取了字符串形式的响应数据
            page_text = response.text()
            return page_text

补充细节

在阻塞操作前加上await关键字
在每一个with前加上 async 关键字

代码

async def get_request(url):
    # 实例化好了一个请求对象
    async with aiohttp.ClientSession() as sess:
        # 调用get发起请求，返回一个响应对象
        # get/post(url,headers,params/data,proxy="http://ip:port")
        async with await sess.get(url=url) as response:
            # text()是获取了字符串形式的响应数据
            # read() 是获取byte类型的响应数据
            page_text = await response.text()
            return page_text

完整代码如下：

import asyncio
import time
import aiohttp
from lxml import etree

urls = [
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/tom'
]


# async def get_request(url):
#     # requests 是一个不支持异步的模块
#     page_text = requests.get(url).text
#     return page_text

async def get_request(url):
    # 实例化好了一个请求对象
    async with aiohttp.ClientSession() as sess:
        # 调用get发起请求，返回一个响应对象
        # get/post(url,headers,params/data,proxy="http://ip:port")
        async with await sess.get(url=url) as response:
            # text()是获取了字符串形式的响应数据
            # read() 是获取byte类型的响应数据
            page_text = await response.text()
            return page_text


# 解析函数的封装
def parse(t):
    # 获取请求到页面的源码数据
    page_text = t.result()
    tree = etree.HTML(page_text)
    parse_text = tree.xpath('//a[@id="feng"]/text()')[0]
    print(parse_text)


if __name__ == '__main__':
    start = time.time()
    tasks = []
    for url in urls:
        c = get_request(url)
        task = asyncio.ensure_future(c)
        # 写完后增加回调函数
        task.add_done_callback(parse)
        tasks.append(task)
    loop = asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait(tasks))
    print(time.time() - start)