Консольные утилиты

Celery beat

Процесс планирования периодических задач.

Позволяет планировать и исполнять задачи по расписанию.

  • Команда:

    aos-scheduler-beat

  • Имя службы systemd:

    aos-scheduler-beat.service
Аргументы утилиты
Наименование Описание Значение по умолчанию
--debug Аргумент позволяет запустить сервис в режиме DEBUG. False
--logfile Путь к файлу для логирования. /var/log/aos/scheduler/beat.log

Отказоустойчивость Celery beat

В случае запуска нескольких beat-процессов (в том числе на разных серверах), настроенных на одну и ту же базу данных и сервер RabbitMQ, будет работать следующий алгоритм синхронизации задач:

  1. Один из beat-процессов определяет, что задача готова по расписанию к отправке в очередь для обработки worker процессами;
  2. Beat-процесс создает в брокере сообщений очередь с атрибутом exclusive (данный атрибут включает запрет подключения к очереди более одного клиента и автоматически удаляет очередь после закрытия подключения). Название очереди соответствует данному экземпляру задачи - celery_beat_{task_id}_{run_count_id}.mutex. Где:
    • task_id - ID задачи;
    • run_count_id - Количество выполненных запусков задачи. Если задача не выполнялась значение параметра 0.
  3. Если в данный момент эту же задачу пытается обработать другой beat-процесс, то по ошибке подключения к exclusive-очереди определяется, что задача уже находится в обработке и данная задача не отправляется повторно в очередь;
  4. Первый beat-процесс отправляет экземпляр задачи в очередь обработки, делает принудительную синхронизацию с базой данных для того, чтобы обновить у задачи значение total_run_count - количество запусков задачи и закрывает подключение к exclusive-очереди;
  5. Если после этого какой-либо другой beat-процесс попытается обработать эту же задачу, то он сверяет run_count_id с текущим сохраненным в базу данных total_run_count и не обрабатывает повторно задачу, если она уже выполнялась с текущим для данного beat процесса run_count_id.

Celery worker

Процесс обработки периодических задач. Следит за появлением задач в очереди запланированных задач и исполняет их.

  • Команда:

    aos-scheduler-worker

  • Имя службы systemd:

    aos-scheduler-worker.service
Аргументы утилиты
Наименование Описание Значение по умолчанию
--debug Аргумент позволяет запустить сервис в режиме DEBUG. False
--logfile Путь к файлу для логирования. /var/log/aos/scheduler/worker.log