Механизм конвейера обучения Redis

Redis задняя часть сервер Эксплуатация и техническое обслуживание

Оригинальный адрес блога:блог Пимайка

предисловие

Ниже приведена запись об обучении механизма конвейера Redis.

Введение в конвейер

Клиент Redis выполняет команду:

  • отправить команду
  • очередь команд
  • Выполнение заказа
  • вернуть результат

Отправка команд и возврат результатов могут называться Round Trip Time (RTT, время туда и обратно). Команды пакетных операций, такие как mget, mset и т. д., предусмотрены в Redis, что эффективно экономит RTT. Но большинство команд не поддерживают пакетные операции.

Для этого Redis предоставляетТрубопроводМеханизм собирает набор команд Redis, передает их в Redis через RTT, а затем последовательно доставляет результаты выполнения этих команд Redis клиенту. Даже если команда выполняется n раз с использованием конвейера, весь процесс требует только одного RTT.

Тестирование производительности пайплайна

Мы используемredis-benchmarkВыполнение тестирования производительности в конвейере. Инструмент предоставляет параметр -P. Этот параметр указывает, что механизм конвейера используется для обработки n запросов Redis. Значение по умолчанию — 1. Тест выглядит следующим образом:

# 不使用管道执行get set 100000次请求
[root@iz2zeaf3cg1099kiidi06mz ~]# redis-benchmark -t get,set -q -n 100000
SET: 55710.31 requests per second
GET: 54914.88 requests per second
# 每次pipeline组织的命令个数 为 100
[root@iz2zeaf3cg1099kiidi06mz ~]# redis-benchmark -P 100 -t get,set -q -n 100000
SET: 1020408.19 requests per second
GET: 1176470.62 requests per second
# 每次pipeline组织的命令个数 为 10000
[root@iz2zeaf3cg1099kiidi06mz ~]# redis-benchmark -P 10000 -t get,set -q -n 100000
SET: 321543.41 requests per second
GET: 241545.89 requests per second

Из приведенного выше теста видно, что количество запросов, обрабатываемых Redis в секунду с конвейером, намного больше, чем без конвейера.

Конечно, количество команд, организованных конвейером, не может быть бесконтрольным, иначе объем данных, собранных в одном конвейере, будет слишком большим, что с одной стороны увеличит время ожидания клиента, а с другой - вызовет определенную перегрузку сети. с другой стороны.

Из вышеприведенного теста также видно, что если количество команд, организованных конвейером, равно 10 000, но соответствующий ему QPS меньше, чем количество команд в конвейере, равно 100. Таким образом, количество команд для организации конвейера не является максимально возможным.Вы можете разделить конвейер, содержащий большое количество команд, на несколько меньших конвейеров для завершения.

Примечание Pipeline о RTT

На официальном сайте есть описание:

redis-pipeline

Это примерно означает:

Механизм конвейера Pipeline — это не только способ уменьшить RTT, но и значительно улучшить QPS Redis. Причина в том, что без использования конвейерного механизма обслуживание каждой команды очень дешево с точки зрения доступа к структурам данных и получения ответов. Но с точки зрения базового сокета это очень затратно, поскольку включает системные вызовы read() и write(), переключение из пользовательского режима в режим ядра, и эти накладные расходы на переключение контекста огромны. В случае Pipeline обычно используется один системный вызов read() для чтения множества команд, а затем используется один системный вызов write() для передачи нескольких ответов, что улучшает QPS.

Пакетная команда против конвейера

  • Пакетная команда является атомарной, Pipeline не является атомной.
  • Пакетная команда — это одна команда с несколькими ключами, а Pipeline поддерживает несколько команд.
  • Пакетные команды реализуются сервером Redis, а Pipeline должен реализовываться как сервером, так и клиентом.

Выполнить конвейер с джедаями

public class JedisUtils {
    private static final JedisUtils jedisutils = new JedisUtils();

    public static JedisUtils getInstance() {
        return jedisutils;
    }

    public JedisPool getPool(String ip, Integer port) {
        JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
        jedisPoolConfig.setMaxIdle(RedisConfig.MAX_IDLE);
        jedisPoolConfig.setMaxTotal(RedisConfig.MAX_ACTIVE);
        jedisPoolConfig.setMaxWaitMillis(RedisConfig.MAX_WAIT);
        jedisPoolConfig.setTestOnBorrow(true);
        jedisPoolConfig.setTestOnReturn(true);
        JedisPool pool = new JedisPool(jedisPoolConfig, ip, port,RedisConfig.TIMEOUT,RedisConfig.PASSWORD);
        return pool;
    }

    public Jedis getJedis(String ip, Integer port) {
        Jedis jedis = null;
        int count = 0;
        while (jedis == null && count < RedisConfig.RETRY_NUM) {
            try {
                jedis = getInstance().getPool(ip, port).getResource();
            } catch (Exception e) {
                System.out.println("get redis failed");
            }
            count++;
        }
        return jedis;
    }

    public void closeJedis(Jedis jedis) {
        if (jedis != null) {
            jedis.close();
        }
    }

    public static void main(String[] args) throws InterruptedException {
        Jedis jedis = JedisUtils.getInstance().getJedis("127.0.0.1", 6379);
        Pipeline pipeline = jedis.pipelined();
        pipeline.set("hello", "world");
        pipeline.incr("counter");
        System.out.println("还没执行命令");
        Thread.sleep(100000);
        System.out.println("这里才开始执行");
        pipeline.sync();
    }
}

Глядя на Redis при спящем состоянии на 100 с, можно увидеть, что команды в конвейере в это время не выполняются, а команды помещаются в очередь на выполнение:

127.0.0.1:6379> get hello
(nil)
127.0.0.1:6379> get counter
(nil)

После завершения сна используйте pipe.sync() для завершения вызова объекта конвейера.

127.0.0.1:6379> get hello
"world"
127.0.0.1:6379> get counter
"1"

Pipeline.sync() должен быть выполненЧтобы наконец выполнить команду, конечно, вы можете использоватьpipeline.syncANdReturnAllВозвращена команда ответа механизма обратного вызова конвейера.

Ссылки и благодарности

Категории