开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> Python知识库 -> 【Django+Apscheduler 开发定时任务模块】【四】 -> 正文阅读

[Python知识库]【Django+Apscheduler 开发定时任务模块】【四】

<uwsgi>    
   <socket>127.0.0.1:8997</socket> <!-- 内部端口，自定义 --> 
   <chdir>/Users/PycharmProjects/autojob/</chdir> <!-- 项目路径 -->
   <module>autojob.wsgi</module>  <!-- automan为wsgi.py所在目录名-->
   <processes>4</processes> <!-- 进程数 -->
   <daemonize>uwsgi.log</daemonize> <!-- 日志文件 -->
   <enable-threads>True</enable-threads>
   <preload>True</preload>
   <lazy-apps>True</lazy-apps>
</uwsgi>

可以看到，uwsgi的配置中进程数写了4，这种情况下，如果正常启动我们的项目并且同时启动定时任务，那么每个启动的任务都会在同时执行4次；
也就是说，每个线程中都存在定时任务对象，我们要解决的也正是这个问题。
若是将进程数改为1，这个问题解决了，又迎来新的问题，只有一个进程，项目遇到高并发或者阻塞请求的时候还能够正常运行吗！
我想到的解决方案是使用redis锁来实现多进程下的Apscheduler定时任务，讲一下思路再继续：
	项目启动时同时启动定时任务，还是4个进程；若是有状态为启动的任务，就将任务添加到池子中，也就是每个进程中都有一个池子。
	假设有一个任务test为启动状态，四个进程都有这个任务，频率为每分钟执行一次，相当于四个相同的任务，运行时都会调同一个函数。
	我们写个装饰器，在调用函数之前根据任务触发器和id添加redis锁，抢到锁的进程可以继续执行，没有抢到的进程中将该任务从任务池中删掉，只保留一个，若有多个任务同理；
	到这里还是有问题的，后面再说

3、给任务函数添加装饰器 job_before：

def job_before(func):
    def wrapper(*args, **kwargs):
        from app.job_new import JobAction
        job_state = job_list.objects.filter(id=int(args[1])).values('job_state')[0]['job_state']
        if job_state == 1:
            job_value = cache.get(args[0])
            if job_value:
                JobAction.modify_job(args[0], job_value)
                cache.delete(args[0])
            if get_lock(args[0]):
                if args[2] == 'date' or (job_value and job_value[0] == 'date'):
                    job_list.objects.filter(id=int(args[1])).update(job_state=0)
                func(*args, **kwargs)
            else:
                logger.info('该线程未取到锁，停止该任务！')
                JobAction.stop_job(args[0])
        else:
            JobAction.stop_job(args[0])
    return wrapper

def get_lock(lock_name):
    lock = cache.lock('lock.' + lock_name, timeout=5)
    return lock.acquire(blocking=False)

解释一下这个装饰器，
每次运行任务时都要先查看该任务在数据库的状态，若是停止状态那就不执行，直接从池中删除；
(因为4个进程，不可能每次操作都能准确的使用到有该任务的进程，若在该进程就直接停止了，若不在会在下次执行的时间节点停止；)
若是运行状态还是要检查redis是否有该任务的修改策略，有的话先修改池中任务的策略，并且执行本次任务；
(这里可以根据个人情况修改；若想尽快执行任务，也可以直接将该条任务置为停止，在添加一条数据使用该任务触发器；)
date类型的任务执行完成后默认就不会再执行了，所以这了写了date类型任务直接将数据改为了停止状态，并且运行本次任务；
锁的超时时间根据个人情况修改

4、修改任务函数

	给函数添加装饰器

	@job_before
	def test(*args):
    	# 此处就是你需要执行的任务
    	now = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    	print(now + '__这是一个测试的定时任务:' + args[0])