IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> PHP知识库 -> php - 解决百万级全站用户消息推送问题 -> 正文阅读

[PHP知识库]php - 解决百万级全站用户消息推送问题

问题场景描述

基于Swoole的WebSocket服务对站内的消息进行的推送,有个全站进行站内消息的推送很棘手,因为峰值的用户服务1600+/QPS,服务器的配置2核8G(的配置)。

难点在于:

  • Http的服务是接收主站的请求,需要及时返回,响应时间不能久。
  • Redis的执行时间不能太久,(Redis是单进程)慢请求会卡主其他的使用。
  • 百万级用户场景,全站用户发送时间不定
  • 旧版本是Crontab实现的,因为后台直接请求websocket服务改动大

以上诸多难题。

解决思路

难题有两个思路,先从业务场景分析,在从技术角度下手,因为全站消息通知是很久才会使用一次,有站内信做兜底,需要以保证业务可用性和性能,需要找到一个适中的策略。

需要在接收消息、执行任务(Crontab)的时候分别想办法。

1.Http接收服务中加分布式锁,粒度15分钟,15分钟不管提交多少次,都执行有且只有一次。

public function systemMessage(){
    //验证参数...略
    
    $lock = \EasySwoole\RedisPool\RedisPool::invoke(function (\EasySwoole\Redis\Redis $redis){
        $lock = $redis->get('systemMessageLock');
        return $lock;
    },self::REDIS_CONN_NAME );

    if($lock){
        return $this->writeJson(Status::CODE_OK,[],Status::getReasonPhrase(Status::CODE_OK));
    }
    //没有锁,继续下面的操作
}

2.Crontab 的执行粒度是1分钟,也就是说最大延迟59s是可以接收的,这里的难于处理的在于第一次没有执行完毕,又执行了第二次,以此类推,这样是不可控的,下面是测试的结果,debug超出内存大小限制了。

[2022-02-22 03:00:23][debug][error] : [Allowed memory size of 134217728 bytes exhausted

还有task重复执行的问题,说明第一次没有执行完,又执行了下一次…果然和之前设想的一样…

$taskId:5workIndex:1
$taskId:3workIndex:2
$taskId:3workIndex:2
$taskId:8workIndex:0
$taskId:8workIndex:0
$taskId:1workIndex:3

解决思路:对脚本执行时间和使用内存进行设置,以防止执行任务时处于可控中,业务代码中加锁,以防止计算任务的重复执行。

对锁回收进行补偿处理,如果15分钟没有回收,锁主动释放,附上Demo。

function run( $taskId, $workerIndex)
    {
        ini_set('memory_limit', '1024M');
        set_time_limit(0);
        //读取队列中的数据
        $redis = \EasySwoole\RedisPool\RedisPool::defer('redis');
        $taskIdLock = $redis->get($this->taskLock);
        if($taskIdLock){
            return ;
        }

        $json = $redis->lPop(self::PUSH_MSG_NOTICE_SYSTEM);
        if($json && !$taskIdLock){
            $redis->setEx($this->taskLock,900,$taskId);
        }

        if(isset($json) && !empty($json)){
                $server = ServerManager::getInstance()->getSwooleServer();
                $start_fd = 0;

                while(true)
                {
                    $conn_list = $server->getClientList( $start_fd, $this->limit );
                    if ($conn_list===false || count($conn_list) === 0 || empty($conn_list))
                    {
                        //删除锁
                        \EasySwoole\RedisPool\RedisPool::invoke(function (\EasySwoole\Redis\Redis $redis) {
                           $redis->del($this->taskLock);
                        }, self::REDIS_CONN_NAME);
                        break;
                    }
                    $start_fd = end($conn_list);
                    foreach ($conn_list as $fd){
                        $server->push($fd, json_encode($this->pushMsg));
                    }
                }
        }
    }
  PHP知识库 最新文章
Laravel 下实现 Google 2fa 验证
UUCTF WP
DASCTF10月 web
XAMPP任意命令执行提升权限漏洞(CVE-2020-
[GYCTF2020]Easyphp
iwebsec靶场 代码执行关卡通关笔记
多个线程同步执行,多个线程依次执行,多个
php 没事记录下常用方法 (TP5.1)
php之jwt
2021-09-18
上一篇文章      下一篇文章      查看所有文章
加:2022-02-26 11:10:13  更:2022-02-26 11:10:45 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 10:53:05-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码