Sphinxsearch – объединение индексов (index merging)

В сфинксе (sphinx-search) существует очень хорошее решение для оптимизации процесса индексации.

Суть решения рассмотрена в статье Дельта индекс в Sphinx. Дельта индексы существенно снижают ресурсоемкость постоянной переиндексации, позволяя делать ее чаще и иметь более актуальные данные в результатах поиска.

Использование дельта индексов тем не менее требует периодичного обновления основного индекса, чтобы обновить изменившиеся и выбросить удаленные сущности. Да и сам по себе дельта индекс растет со временем, требуя все больше ресурсов для переиндексации (что делает его неэффективным).

Самое простое решение этой задачи – полная переиндексация в непиковые часы (или дни). Это не самый оптимальный подход, т.к. полная переиндексация может занимать часы, а иногда и дни. Существует другое решение для обновления основного индекса, которое может сэкономить множество ресурсов – объединение индексов (index merging).

Что такое index merging?

У индексатора сфинкса есть возможность объединять два индекса в один. Во многих случаях это намного эффективнее, чем полная переиндексация. В этом случае не нагружается сам источник данных (СУБД – выборки для индексации обычно тяжелые, т.к. содержат огромные объемы данных).

В схеме индексации “основной + дельта индекс” у Вас есть два индекса, один из которых малый, постоянно обновляемый (дельта), а второй – основной, содержащий все данные (но не включая самые последние – доступные из дельта индекса). В этом случае намного предпочтительнее использовать объединение индексов (чем полную переиндексацию), т.к. размер дельта индекса обычно составляет доли процента от размера основного индекса, и их объединение выполняется эффективно.

Как пользоваться?

Индексатор имеет опцию объединения идексов:

indexer --merge DSTINDEX SRCINDEX [--rotate]

• • DSTINDEX – основной индекс, который будет обновлен после операции объединения

• • SRCINDEX – индекс, содержимое которого будет объеденено с основным (сам индекс не изменится) – дельта индекс

Например:

indexer --merge main delta --rotate

Атрибуты документов малого (дельта) индекса перезапишут атрибуты основного, если во время объединения встретятся одинаковые документы.

Процесс объединения подразумевает добавление новых текстовых ключей к старым. Допустим У вас определенный документ в основном индексе находился по ключу “старый”, а в дельта индексе находится по ключу “новый”. После объединения этот документ будет доступен и по ключу “старый”, и по ключу “новый”.

Если необходимо удалять (или обновлять) старые документы, необходимо фильтры объединения:

Удаление и обновление документов в основном индексе

Если существует необходимость удалить невалидные документы из основного индекса, то необходимо воспользоваться опцией “–merge-dst-range”:

indexer --merge main delta --merge-dst-range ATTR_NAME START END

Эта опция позволяет наложить фильтр на индекс назначения, т.е. основной индекс, и убрать из него конкретные документы. Например, чтобы убрать из индекса удаленные документы, можно отфильтровать их по атрибуту “deleted”:

indexer --merge main delta --merge-dst-range deleted 0 0

В этом случае в новый индекс войдут только документы, имеющие значение атрибута deleted = 0. Внимание! атрибут “deleted” – это пользовательский атрибут, т.е. его нужно создать руками при описании индекса:

source src_news : src_basic_index
{
 sql_query = SELECT id, title, body, deleted FROM news

sql_attr_uint = deleted

}

Обновление атрибутов документов необходимо делать синхронно с удалением самого документа. Для того, чтобы обновить атрибуты документа в индексе необходимо использовать метод “UpdateAttributes()” клиентского API.

Для обновления документов в основном индексе можно использовать тот же подход: устанавливаете атрибут “updated_on” (который, например, указывает дату обновления в unix_timestamp). При объединении индексов устанавливаете фильтр, который выбросит из основного индекса все обновленные документы, например:

indexer --merge main delta --merge-dst-range deleted 0 12345345

Тут 12345345 – это максимальная дата обновления документа на момент последнего объединения (или создания) основного индекса. Т.е. в него не войдут документы, обновлявшиеся после этой даты. Естественно, все обновленные документы должны входить в дельта индекс.