写在开头
celery是一个分布式并行框架,适合一些并行任务。跟web程序结合可以实现web程序和业务代码的解耦合,celery是采用多进程方式进行的,所以能够有效利用多核CPU。
celery对于目录的层级结构要求非常高!要求非常高! 然而在网络上搜到的教程都写的七零八落的,不成体系,随便截个图就当做一篇博客。 为了解决以上问题,于是打算撰写这篇博客。
celery目录结构
学习celery从这里学。
目录结构长这样。其中,flasky是flask项目的根目录。当然它也可以是其他web程序的根目录。proj里面放一切有关celery的东西。
记住,celery是celery, flask是flask。celery跟任何程序都可以结合。一定要牢记这一点。
proj里的内容长这样。 其中,__init__.py 是空文件,它的存在就是为了让python把proj视为一个包。
celery.py 长这样:
from celery import Celery
app = Celery('proj',
broker='redis://localhost:6379/0',
backend='redis://localhost:6379/1',
include=['proj.tasks'])
app.conf.update(
result_expires=3600,
)
if __name__ == '__main__':
app.start()
其中,proj代表了当前模块就叫proj,即目录名。 include里面是代表了去哪里找被celery注册了的函数们。
tasks.py 长这样:
from proj.celery import app
import time
@app.task
def add(x, y):
time.sleep(2)
return x + y
@app.task
def mul(x, y):
return x * y
@app.task
def xsum(numbers):
return sum(numbers)
然后看一下main,看看在main函数里我们怎么使用celery。
from flask import Flask
from proj.tasks import add
flask_app = Flask(__name__)
print('**********************************************QIDONG FUWU*************************************************8')
@flask_app.route('/')
def root():
for i in range(100):
add.delay(1, 2)
return 'vth nb'
if __name__ == '__main__':
flask_app.run(host='0.0.0.0', port=7890)
注意啊, 这玩意儿要用到redis的。
总之,以后想要并发的任务写到celery的任务里,注册成celery的任务即可。省时省力,特别适用于计算密集型的任务,因为是多进程的。
|