Фейловер задач в Gearman

Система очередей Gearman по умолчанию использует только оперативную память для хранения задач. Это означает, что при перезагрузке или внезапном выключении сервера, все задачи из очереди будут утеряны.

Постоянное хранилище

Gearman позволяет использовать постоянное хранилище для того, чтобы решить проблему потери задач при сбоях. Работает это следующим образом:

• В момент получения новой задачи, Gearman сохраняет ее данные в постоянное хранилище с уникальным идентификатором.
• После обработки задачи воркером, Gearman удаляет ее данные из постоянного хранилища используя уникальный идентификатор.
• При загрузке, Gearman проверит постоянное хранилище. Если там будут обнаружены задачи, он загрузит их в очередь.

Это значит, что при любом сбое, все задачи уже будут сохранены на диск. И при следующей загрузке они будут восстановлены. Таким простым способом можно реализовать защиту от потери задач.

MySQL

Gearman поддерживает несколько хранилищ, в т.ч. MySQL. Сначала необходимо создать отдельную базу и таблицу специальной структуры:

CREATE TABLE `queue` (

`unique_key` varchar(64) DEFAULT NULL,

`function_name` varchar(255) DEFAULT NULL,

`priority` int(11) DEFAULT NULL,

`data` longblob,

`when_to_run` bigint(20) DEFAULT NULL,

UNIQUE KEY `unique_key` (`unique_key`,`function_name`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8
## Таблица, в которую Gearman будет сохранять задачи

unique_key определяет уникальный идентификатор задачи. Ее длину определяет константа GEARMAN_UNIQUE_SIZE (по умолчанию равна 64). function_name – название очереди. Оба этих параметра определяют уникальную задачу в таблице queue.

После этого необходимо запустить сервер Gearman с параметрами:

gearmand --queue-type=MySQL --mysql-host=localhost --mysql-port=3306 
         --mysql-user=gearman --mysql-password=frCBRFup4QzAD4wP 
         --mysql-db=gearman --mysql-table=queue

## Предполагаем, что таблица queue хранится в базе данных gearman

Все остальное Gearman сделает сам. Данные в таблице queue будут иметь такую структуру:

mysql> select * from queue limit 5;
+--------------------------------------+---------------+----------+-------------+-------------+
| unique_key                           | function_name | priority | data        | when_to_run |
+--------------------------------------+---------------+----------+-------------+-------------+
| 1d337490-3c01-11e4-a3d8-040118037e01 | sendmail      |        1 | ["bla bla"] |           0 |
| 366a1eac-3c04-11e4-a3d8-040118037e01 | sendmail      |        1 | ["bla bla"] |           0 |
| 366aa570-3c04-11e4-a3d8-040118037e01 | sendmail      |        1 | ["bla bla"] |           0 |
| 366b1da2-3c04-11e4-a3d8-040118037e01 | sendmail      |        1 | ["bla bla"] |           0 |
| 366b90de-3c04-11e4-a3d8-040118037e01 | sendmail      |        1 | ["bla bla"] |           0 |
+--------------------------------------+---------------+----------+-------------+-------------+
5 rows in set (0.00 sec)

В правильном варианте использования размер таблицы queue должен стремиться к нулю. Т.е. воркеры должны максимально оперативно обрабатывать поступающие задачи.

Самое важное

Используйте постоянное хранилище для обеспечения сохранности задач в Gearman. Кроме MySQL поддерживаются также PostgreSQL и SQLite. Не забывайте оптимизировать базы данных, чтобы не снижать производительность системы очередей.