[Python知识库]python爬虫之异步与协程(附带实例)

异步爬虫

• 目的：在爬虫中使用异步实现
• 实现方式：
  1. 多进程，多线程（不建议）
     • 好处：可以为相关阻塞单独开启线程或者进程，阻塞操作就可以异步执行
     • 弊端：无法无限制开启多线程或者多进程
  2. 进程池：（适当使用）
     • 好处：可以减低系统对进程创建和销毁的一个频率，从而很好的减低系统的开销
     • 弊端：进程池线程或进程的数量是有限的
     • 实例：

     import time
     from multiprocessing.dummy import Pool
     start_time=time.time()
     def get_page(str):
         print('正在下载：',str)
         time.sleep(2)
         print('下载成功',str)
     name_list=['aa','bb','cc']
     #实例化线程池对象
     pool=Pool(4)
     #将每一个name_list里面的数据传递给get_page处理
     pool.map(get_page,name_list)
     end_time=time.time()
     print("%d second"%(end_time-start_time))
     

  3. 单线程+异步协程（推荐）
  • event_loop:事侏循环，相当于一个无限循环，我们可以把一些函数注册到这个事件循环上,当满足某些条件的时候,函数就会被循环执行。
  • coroutine:协程对象，我们可以将协程对象注册到事件循环中，它会被事件循环调用。我们可以使用async 关键字来定义一个方法，这个方法在调用时不会立即被执行，而是返回一个协程对象。
  • task:任务，它是对协程对象的进一步封装，包含了任务的各个状态。
  • future:代表将来执行或还没有执行的任务，实际上和task没有本质区别.
  • async定义一个协程.
  • await用来挂起阻塞方法的执行。
  • 协程用法：

  import asyncio
  async def request(url):
      print('正在请求：',url)
      print('请求成功：',url)
      return url
  #asunc修饰的函数，调用之后返回一个协程对象
  c=request('www.baidu.com')
  #创建一个事件循环对象
  # loop=asyncio.get_event_loop()
  # #将协程对象注册到loop中，然后启动loop
  # loop.run_until_complete(c)
  #task使用
  loop=asyncio.get_event_loop()
  #基于loop创建了一个task对象
  # task=loop.create_task(c)
  # print(task)
  # loop.run_until_complete(task)
  #future使用
  # loop=asyncio.get_event_loop()
  # task=asyncio.ensure_future(c)
  # print(task)
  # loop.run_until_complete(task)
  # print(task)
  def callback_func(task):
      #打印协程函数的返回值
      print(task.result())
  #绑定回调
  loop=asyncio.get_event_loop()
  task=asyncio.ensure_future(c)
  # 将回调函数绑定到任务对象中
  task.add_done_callback(callback_func)
  loop.run_until_complete(task)
  
  

  • 协程实例：

  import asyncio
  import time
  
  async  def request(url):
      print('正在下载',url)
      #在异步协程中如果出现了同步模块相关的代码，那么久无法实现异步
      # time.sleep(2)
      #当在asyncio中欲打破阻塞操作时必须进行手动挂起
      await asyncio.sleep(2)
      print('下载完毕',url)
  start=time.time()
  urls=[
      'www.baidu.com',
      'www.sogou.com',
      'www.goubanjia.com'
  ]
  stasks=[]
  for url in urls:
      c=request(url)
      task=asyncio.ensure_future(c)
      stasks.append(task)
  loop=asyncio.get_event_loop()
  #多任务列表要封装wait()
  loop.run_until_complete(asyncio.wait(stasks))
  print(time.time()-start)
  

  • 协程aiohttp模块
    • 模块安装：pip install aiohttp
    • 实现异步爬虫

    import requests
    import asyncio
    import time
    import aiohttp
    # 使用该模块的ClientSession
    start=time.time()
    urls=[
        'http://baidu.com',
        'http://sogou.com',
        'http://baidu.com',
    ]
    async def get_page(url):
        print('正在下载',url)
        # requests模块基于同步
        # aiohttpj基于异步网络请求
        # response=requests.get(url=url)
        async with aiohttp.ClientSession() as session:
            # async  with await session.post(url) as response:post请求
            # UA伪装方式和请求参数处理以及代理ip和requests库一样，但ip赋值为字符串，不再是字典
          async  with await session.get(url) as response:
              # text()返回字符串的响应数据
              # read()返回的是二进制的响应数据
              # json()返回的就是json类型的数据
              # 注意：在获取响应数据之前一定要使用await进行手动挂起
              page_text=await response.text()
        print('下载完毕', page_text)
    tasks=[]
    for url in urls:
        c=get_page(url)
        task=asyncio.ensure_future(c)
        tasks.append(task)
    loop=asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait(tasks))
    print(time.time()-start)