Очереди на Gearman и PHP

Ігор Грегорченко

14.02.2021 16:29

Gearman – это простая система очередей. Имеет кучу клиентов, в том числе и для PHP. Позволяет масштабироваться на несколько серверов, а также имеет возможность приоритизации задач.

Внедрение в приложение

Построим простое решение по асинхронной отправке почты в приложении с помощью Gearman и PHP. Решение должно включать в себя сервер, клиент и воркер:

Сервер – это сам Gearman, который принимает сообщения от клиента
Клиент – это основное PHP приложение, которое отправляет сообщение на сервер
Воркер – это PHP скрипт, который получает сообщение с сервера задач и выполняет какие-то действия

Сообщение

Что такое сообщение? Сообщение – это любая информация, которую клиент отправляет на сервер очередей. Потом эта же информация передается на обработчик (воркер). Если мы хотим перенести отправку почты на систему очередей, мы должны будем отправлять такое сообщение:

адрес получателя
тело письма
заголовок письма

Сервер

Для Debian установка очень простая:

apt-get install gearman-job-server php-gearman

После установки необходимо запустить сервер:

/etc/init.d/gearmand start

Клиент

В нашем клиенте (основное приложение) отправка email сообщений будет работать через систему очередей. Поэтому вместо фактической отправки письма, шлем сообщение на Gearman:

<?
$mail = array(
  'to' => 'test@gmail.com',
  'subject' => 'Привет',
  'body' => 'Это тестовое сообщение',
);


# Подключаемся к серверу Gearman
$client = new GearmanClient();
$client->addServer('127.0.0.1', '4730');


# Шлем сообщение
$client->doBackground('sendmail', json_encode($mail));

sendmail – это тип задачи (выбираем произвольно), $mail– данные для письма

Обратите внимание, что нужно использовать json_encode(), т.к. клиент принимает только текстовые значения. Метод doBackground() – самая важная часть работы. Этот метод отправляет сообщение с переданными данными на сервер Gearman.

Обработчик задачи

Обработчик (worker) – это отдельный PHP скрипт, который постоянно проверяет сервер на наличие новых задач. Как только задача приходит – он выполняет связанную с ней логику (в нашем случае это будет фактическая доставка письма). Создадим worker.php:

<?
$worker = new GearmanWorker();
$worker->addServer();

$worker->addFunction('sendmail', 'send_mail');

while (1)
{
  $worker->work();
  if ($worker->returnCode() != GEARMAN_SUCCESS) break;
}

function send_mail($job)
{
  $workload = $job->workload();
  $data = json_decode($workload, true);

  mail($data['to'], $data['subject'], $data['body']);
}

Данный воркер будет проверять сообщения на сервере типа “sendmail”, а для их обработки будет использовать функцию send_mail(), объявленную ниже.

Далее мы просто запускаем этот скрипт в командной строке, чтобы он выполнялся постоянно:

php worker.php &

Детальнее про то, как запустить фоновый процесс в PHP.

Приоритизация

Gearman поддерживает приоритизацию задач. Это позволяет быстрее выполнять важные задачи, если в очереди находится множество сообщений. Приоритеты используются так:

<?
$client->doHighBackground ('sendmail', json_encode($mail));

## высокий приоритет, будет обрабатываться в первую очередь

<?
$client->doLowBackground ('sendmail', json_encode($mail));

## низкий приоритет, будет обрабатываться в последнюю очередь

Масштабирование и отказоустойчивость

Gearman поддерживает работу с несколькими серверами, Это позволит быстро расширяться с ростом нагрузки. Для этого следует запустить несколько Gearman серверов, а в приложении подключаться к ним таким образом:

<?
$client->addServers("10.0.0.1:4730,10.0.0.2:4730");

Самое важное

Gearman очень простое и надежное решение для реализации асинхронной работы медленных частей приложения. Встроенная поддержка масштабирования позволит использовать его для систем с большой нагрузкой.

Этот текст был написан несколько лет назад. С тех пор упомянутые здесь инструменты и софт могли получить обновления. Пожалуйста, проверяйте их актуальность.