[Необходимо для собеседований] Расскажите о высокопроизводительных приложениях с отложенной очередью

Java
[Необходимо для собеседований] Расскажите о высокопроизводительных приложениях с отложенной очередью

Сценарии применения очереди с задержкой:

После оформления заказа заказ будет автоматически аннулирован, если оплата не будет произведена в течение 30 минут;
После оплаты, если нет комментариев в течение 24 часов, он будет автоматически похвален;
В нашем фактическом процессе разработки есть много сценариев приложений ...

На основе реализации Redis Zset

Принцип реализации

Благодаря собственной структуре данных Zset Redis также может реализовывать отложенные операции.
Суть Zset заключается в том, что в структуру Set добавляется функция сортировки, которая, помимо добавления значения данных, также предоставляет еще одну оценку атрибута, которую можно указать при добавлении элементов.После каждой указанной оценки Zset автоматически перенастраивает порядок в соответствии с новым значением..

  1. Если оценка представляет желаемое время выполненияотметка времени, вставить его в коллекцию Zset в определенное время, он будет отсортирован по размеру метки времени, то есть до и после времени выполнения.
> ZADD delay_queue 1581309229  taskId_1
(integer) 1
> ZADD delay_queue 1581309129  taskId_2
(integer) 1
> ZADD delay_queue 1581309329  taskId_3
(integer) 1
  1. Непрерывно брать первое ключевое значение, если текущее时间戳Socre, который больше или равен значению ключа, будет извлечен для потребления и удаления, что может достичь цели отложенного выполнения. Обратите внимание, что нет необходимости просматривать всю коллекцию Zset, чтобы избежать потери производительности.
> ZRANGE delay_queue 0 -1 withscores
1) "taskId_2"
2) "1581309129"
3) "taskId_1"
4) "1581309229"
5) "taskId_3"
6) "1581309329"

Будьте осторожны

  • Логика обхода, логика удаления, обратите внимание на использованиеRedis LuaИнкапсуляция для обеспечения атомарных операций. больше вниманияRedis LuaПроблема с псевдокластером в Redis Cluster.
  • Если язык JAVA можно использовать напрямуюredisson, инкапсулированныйDelayedQueueреализация.

исходная логикаorg/redisson/RedissonDelayedQueue.java

Очередь сообщений Beanstalkd

Beanstalkd, высокопроизводительная, легкая распределенная система очередей в памяти. Поддержал приложение Facebook Causes с 9,5 миллионами пользователей. Позже он был открыт, и теперь PostRank развернут и используется в больших масштабах, обрабатывая миллионы задач каждый день.

развернуть с помощью

  • Установка Linux || развертывание докера
yum install beanstalkd

||

docker run -d -p 11300:11300 pig4cloud/beanstalkd
  • Использование клиента, зависимость pom
<!--封装了 官方的 java sdk，只支持 springboot 2.X-->
<dependency>
    <groupId>com.pig4cloud.beanstalk</groupId>
    <artifactId>beanstalkd-client-spring-boot-starter</artifactId>
    <version>0.0.1</version>
</dependency>
  • распределение по умолчанию

  • использование кода
@Autowired
private JobProducer producer;

/**
 * @param delay    是一个整形数，表示将job放入ready队列需要等待的秒数
 * @param ttr      time to run—是一个整形数，表示允许一个worker执行该job的秒数。这个时间将从一个worker 获取一个job开始计算。
 *                 如果该worker没能在<ttr> 秒内删除、释放或休眠该job，这个job就会超时，服务端会主动释放该job。
 *                 最小ttr为1。如果客户端设置了0，服务端会默认将其增加到1。
 * @param priority 优先级 0~2**32的整数，最高优先级是0
 */
@Test
public void testSend() {
	String taskId = "1";// 业务对象信息
    producer.putJob(0, 10, 10, taskId.getBytes());
}

@Component
public class DemoJobConsumer extends AbstractTubeConsumerListener {

    @Override
    public void work(JobConsumer consumer) {
        // 阻塞多少秒获取一次 Job
        Job job = consumer.reserveJob(1000L);

        // 消费此Job
        consumer.deleteJob(job.getId());

        // 执行延时的业务逻辑
        String biz = new String(job.getData());
    }
}

расширять

  • База данных реализована с использованием запланированного опроса задач и узкого места производительности собрания бизнес-объема.
  • Другие реализации очередей задержки, такие как rabbitmq, могут быть реализованы с использованием функции ttl. Отменить поставленные в очередь данные невозможно, при ее использовании обратите особое внимание на настройку очереди недоставленных сообщений.
  • Вы также можете реализовать его самостоятельно по алгоритму колеса времени.
  • Короче говоря, все должно иметь логику компенсации, независимо от того, запускается ли она вручную бизнес-персоналом или компенсируется автоматически.

Категории