使用时间轮实现“延时任务”

延时任务,顾名思义:过一段时间后才执行的任务 。例如用户开启计划后 24 小时发一条推送,提醒用户坚持练习;电商业务中,成单后72 小时未评价,自动打5分等场景 。那么这些 延时任务怎么优雅的实现呢?
首先我们想到的是 crontab: 启动一个crontab定时任务,每小时跑一次,给开启计划超过24小于25小时的用户发送push 。
$userList = select uid from program_schedule where create_time >= now_time - 25 * 3600 and create_time < now_time - 24 * 3600;foreach ($userList as $uid){(new Service_Push())->sendPush($uid, '练习提醒','亲,今天记得练习,不要偷懒哦 ^^');}优点:
简单、快速实现
缺点:1、数据量大的时候,效率比较低 。
2、每次需要全量查询一次,可能会重复计算
3、时效性不够,因为是一个小时一次,极端情况,这个用户就是当前小时的第一秒开启的,那就要延迟一个小时收到推送 。当然可以通过修改 crontab 的轮询频次(改成一分钟或者1秒钟),这样放大了 1、2 步的缺点 。
所以这类业务一定要保证时效性,可以采用时间轮实现:
不太会用画图工具,只能采用农耕文明的手段了,哈哈,凑合看 。

使用时间轮实现“延时任务”

文章插图
 
包括两个数据结构:1、环形队列:一个小时对应 3600秒,一秒一个槽,避免转的过快和过慢
2、任务队列: 环上每个槽都是一个 队列
当前指针就是 当前时间戳 % 3600, 每个槽都是一个队列,队列的每个cell包含两个数据结构:1. cycle_num: 循环次数,表示第几圈,比如 48 小时后执行,那 cycle_num = 47 (下标从 0 开始)
2. data: 自定义参数,包含任务名称(task_function_name)和参数列表(params)
比如现在游标在1,现在有个业务是7219s后执行,首先找游标,(7219 + 1) % 3600 = 20, 那就是插入下标 = 20 的槽 对应的队列,cycle_num : floor((7219 + 1) / 3600) = 2
数据插入后,启用 crontab 或者 go cron 实现 一个 timer,轮询频率是 一秒一次,每次取当前秒对应的时间槽,这是一个队列,从队列中取 cycle_num =0 的 cell, 解析数据后,直接扔给 对应的 task 执行,timer 不涉及具体的业务逻辑,然后 修改 其他的 cell, cycle_num -= 1, 表示转了一圈了,依次循环执行下去 。
demo: 使用redis 队列作为存储
//产生时间轮:private function createTimerData() {//一天 24 个小时for ($i = 0; $i < 23; $i++) {//一个小时按秒算for ($j = 0; $j < 3600; $j++) {$key = 'task_' . $j;$data = https://www.isolves.com/it/cxkf/sf/2020-08-10/['method' => 'send_msg','params' => ['uid' => $i .'--'.$j,'msg' => 'No:' . $i .'--'.$j],'cycle_num' => $i];Util::redisRPush($key, json_encode($data));}}} //timer:private function executeTask() {for ($i = 0; $i < 3600; $i++) {$key = 'task_' . $i;$len =Util::redisLLen($key);for ($j = 0; $j < $len; $j++) {$data = Util::redisLIndex($key, $j);$data = json_decode($data, true);if ($data['cycle_num'] == 0) {//调用 svr-task 处理具体业务//从列表中删除此下标数据Util::redisLSet($key, $j, 'delete');} else {--$data['cycle_num'];Util::redisLSet($key, $j, json_encode($data));}}Util::redisLRem($key, 0, 'delete');}}这里使用了 redis 实现,为了保证数据一致性,可以落盘到数据库,redis 重启后,从数据库 loading 到 redis。
ps: 还有个小惊喜,redis 队列不支持 按照对应下标删除,用了两个命令实现
1. 将队列中待删除的下标的值 标记为 特殊字符串
$redis->lSet($key, $index, 'delete');2. 删除此字符串对应的下标
$redis->lRem($key, 0, 'delete');lrem(key, count, value)根据参数 count 的值,移除列表中与参数 value 相等的元素 。count 的值可以是以下几种:
count > 0 : 从表头开始向表尾搜索,移除与 value 相等的元素,数量为 count。
count < 0 : 从表尾开始向表头搜索,移除与 value 相等的元素,数量为 count 的绝对值 。
count = 0 : 移除表中所有与 value 相等的值 。

【使用时间轮实现“延时任务”】


    推荐阅读