Полнотекстовый поиск

Простой поиск

Для простого поиска в тексте можно использовать оператор LIKE. Он ищет записи, в которых встречается слово, соответствующее заданному шаблону (pattern). В pattern можно использовать _ — для обозначения любого одиночного символа и % — для обозначения любой последовательности символов. Например, шаблон me_t будет соответствовать meet, meat, melt и так далее, а шаблон %tion будет соответствовать tion, condition, creation и так далее (вместо % может быть любая последовательность символов, в том числе и их отсутствие).

Примеры команд для простого поиска в Reindexer:

• Go
• SQL

query := db.Query("items").
		Where("field", reindexer.LIKE, "pattern")

SELECT * FROM items WHERE fields LIKE 'pattern'

Чтобы с помощью LIKE искать информацию в нескольких полях, нужно использовать несколько операторов, например:

SELECT * FROM items WHERE fields LIKE 'pattern' OR titles LIKE 'second_pattern'

Это ведет к увеличению нагрузки на сервер. Кроме того, LIKE использует метод полного сканирования поля. С учетом этого его рекомендуется использовать для отладки или внутри запросов с другими хорошими выборочными условиями.

Оператор LIKE поддерживается в запросах к текстовым полям с типом значения string с типами индексов hash и tree. Для индексов типа text он неприменим.

Для полнотекстового поиска с высокой скоростью рекомендуется использовать полнотекстовые индексы.

Полнотекстовый поиск

В Reindexer имеется встроенный движок fast для полнотекстового поиска на базе суффиксного массива (suffixarray) и алгоритма инвертированных индексов. Он характеризуется минимальными требованиями по памяти, а также поддержкой морфологии, опечаток, транслита и поиска с неправильной раскладкой клавиатуры. Размер индекса обычно равен 30-80% от исходного текста, но может выходить за пределы этого диапазона в некоторых случаях. Полнотекстовый поиск реализован с поддержкой стеммеров для расширения поисковых запросов за счет естественного поиска слова по его основе. Например, запросу users также будет соответствовать значение user. Стеммеры специфичны для каждого языка, поэтому при их использовании необходимо указывать язык. По умолчанию в Reindexer используются русский и английский языки (ru, en).

Полнотекстовый поиск возможен по text-индексам для одиночных полей типа string и по композитным (composite) text-индексам, объединяющим несколько string-полей.

Примеры объявления структур с индексами на Go:

• Тип значения `string`
• Тип значения `composite`

type Item struct {
	ID          int64  `reindex:"id,,pk"`
	Description string `reindex:"description,text"` // Индекс `description` с поддержкой полнотекстового поиска
}

type Item struct {
	ID          int64  `reindex:"id,,pk"`
	Name        string `reindex:"name,-"`
	Description string `reindex:"description,-"`
	_ struct{}         `reindex:"name+description=text_search,text,composite` // Композитный (составной) индекс с псевдонимом`text_search` для полнотекстового поиска по полям `name` и `description`
}

Также в Reindexer имеется встроенный триграммный движок для полнотекстового поиска (fuzzy), работающий с индексами типа fuzzytext. Он дает лучшее качество поиска, но при этом работает медленнее и требует больше памяти. На данный момент он находится в экспериментальном статусе. В большинстве случаев для организации полнотекстового поиска лучше использовать движок fast

Особенности реализации полнотекстового поиска в Reindexer

1. Полнотекстовый поиск в Reindexer нечувствителен к регистру.
2. Исходный текст при поиске токенизируется до набора слов.
3. Под словом понимается последовательность любых букв в кодировке UTF-8, цифр или символов: +, -, /.
4. Первый символ в слове — буква или цифра.
5. Результаты выполнения запросов для полнотекстового поиска сортируются по релевантности, если не задан другой критерий сортировки.

Запросы к полнотекстовым индексам

Запросы к полнотекстовым индексам строятся через обычный интерфейс запросов по имени индекса. Примеры:

• Go
• SQL

query := db.Query ("items").
		Match ("name+description","text query","<stemmers>") // Запрос для поиска по индексам name+description

SELECT * FROM items WHERE description = '*tor'

Или с использованием псевдонимов (пример на Go):

query := db.Query ("items").
		Match ("text_search","text query","<stemmers>") // Запрос для поиска по композитному (составному) индексу с псевдонимом`text_search` для полнотекстового поиска по индексам `name` и `description`

Здесь:

• text query — запрос, по которому будет происходить полнотекстовый поиск,
• <stemmers> — список стеммеров, с использованием которых будет выполняться поиск по основе слова. Значение по умолчанию — "en","ru".

Кроме того, запросы к полнотекстовым индексам можно комбинировать с условиями выбора по другим полям неймспейса.

В таком случае все условия выбора по другим полям (where-фильтры) выполнятся после поиска по полнотекстовым индексам.

Примеры:

• Go
• SQL

query := db.Query ("items").
		Match ("description","text query"). // Запрос для поиска по индексу `description`
		WhereInt("year",reindexer.GT,2010) // Условие выбора по полю `year`

SELECT * FROM items WHERE description = '*tor' AND id > 3

Результат каждого запроса при полнотекстовом поиске имеет степень (ранг) соответствия (совпадения). Это — целое число, диапазон значений которого от 0 (минимальное соответствие запросу) до 255 (максимальное соответствие). При взаимодействии с Reindexer через Go-коннектор для получения ранга полученного результата можно воспользоваться методом итератора запроса Rank(). Пример:

	query := db.Query("items").
		Match("description", "*text query*")
	
	iterator := query.Exec()
	defer iterator.Close()

	if err := iterator.Error(); err != nil {
		panic(err)
	}

	for iterator.Next() {
		rank := iterator.Rank() // Получение степени соответствия соответствия результата запросу
		fmt.Println(rank)
	}

В SQL также есть функция rank(), которая позволяет получить ранг в ответ на запрос или может быть использована в сортировке. Пример:

SELECT rank(), * FROM items WHERE description = '*tor' ORDER BY 'rank()'

Формат запросов для полнотекстового поиска в Reindexer

В Reindexer используется следующий формат запросов для полнотекстового поиска:

query := [@[+]field[^boost][,field2[^boost]]] [=][*]term1[*][~][^boost] [+|-][*]term2[*][~][@][^boost] ...

Выбор полей при поиске по составным индексам

В фрагменте [@[+]field[^boost][,field2[^boost]]] указываются параметры для полнотекстового поиска по композитным (составным) индексам. Здесь используются следующие специальные символы:

Вычисление итогового ранга слова при полнотекстовом поиске по нескольким индексам

Итоговый ранг совпадения слова при полнотекстовом поиске по нескольким индексным полям вычисляется следующим образом:

1. Значения рангов совпадения слова из нескольких индексных полей сортируются от большего к меньшему.
2. Каждое из этих значений умножается на коэффициент SumRanksByFieldsRatio, возведенный в степень номер значения минус 1 (отсчет значений ведется от 1). Коэффициент SumRanksByFieldsRatio задается в конфигурации для каждого полнотекстового индекса. Таким образом, чем меньше ранг совпадения слова для индекса, тем меньше его вклад в итоговый ранг.

Пример расчета итогового ранга слова

Дано: Коэффициент SumRanksByFieldsRatio для полнотекстовых индексов равен 0.5 (в примере обозначим его как K). Совпадения для слова найдены в 3 индексных полях с рангами:

• R1=20,
• R2=90,
• R3=40.

Суммарный ранг будет следующим:

R=(K^0)*R2 + (K^1)*R3 + (K^2)*R1 = 1*90 + 0.5*40 + 0.5*0.5*20 = 115

Минимальное значение этого коэффициента SumRanksByFieldsRatio равно 0.0, что означает использовать только одно максимальное совпадение. Максимальное значение — 1 (простая сумма рангов совпадений из всех полей). По умолчанию значение SumRanksByFieldsRatio для полнотекстового индекса равно 0.

Шаблоны (паттерны) для слов при полнотекстовом поиске

В фрагменте запроса [=][*]term1[*][~][^boost] [+|-][*]term2[*][~][@][^boost] указываются шаблоны (паттерны) слов для полнотекстового поиска. Здесь используются следующие специальные символы:

Бинарные операторы в запросах для полнотекстового поиска в Reindexer

С помощью бинарных операторов в запросах для полнотекстового поиска указываются паттерны, которые должны обязательно присутствовать или отсутствовать в результатах. В Reindexer используются следующие бинарные операторы:

• + - следующий за оператором паттерн должен присутствовать в найденных документах для их включения в результат поиска,
• - - следующий за оператором паттерн не должен присутствовать в найденных документах для их включения в результат поиска.

Экранирование символов в запросах для полнотекстового поиска

Экранирование с помощью \ позволяет добавлять специальные символы +,-,@,*,^ и ~ в запросы для полнотекстового поиска. Например при наличии в запросе паттерна \*crisis будет искаться слово *crisis, а не все слова, заканчивающиеся на crisis.

Поиск фразы

Операндом может быть фраза. Фраза задается в форме

“word1 word2 …"~N word1, word2, … - слова фразы в заданной последовательности (последовательность “word2 word1” не найдется если ищется “word1 word2”) ~N - максимальное расстояние между словами соседними словами фразы (если не задано, то расстояние принимается за 1)

Синонимы из нескольких слов не поддерживаются во фразе.

Примеры паттернов для полнотекстового поиска в Reindexer

Ниже представлены примеры паттернов для полнотекстового поиска, построенных по рассмотренному формату:

1. termina* -genesis — поиск документов, включающих слово, начинающееся с termina (terminator, terminal и т.д.). Документы содержащие слово genesis, в результаты поиска включены не будут.

2. black~ — поиск документов со словами, соответствующими шаблону black с одной ошибкой или опечаткой. В результаты попадут block, blck, blask и т.д.

3. tom jerry cruz^2 — поиск документов, включающих хотя бы одно из слов tom jerry или cruz. При этом результаты, содержание cruz, будут иметь больший ранг: tom cruz будет ранжироваться выше, чем tom jerry.

4. fox +fast — в результаты поиска будут включены варианты, содержание оба слова (fast должно обязательно присутствовать в документе для включения в результат поиска).

5. "one two" — поиск документов, содержащих фразу "one two".

6. "one two"~5 — поиск документов, содержащих слова one и two, которые могут быть расположены на расстоянии до 5 (<5) слов друг от друга.

7. @name rush — поиск документов со словом rush будет вестись только по индексу name.

8. @name^1.5,* rush — поиск документов, содержащих слово rush с бустом ранга совпадения для индекса name, равным 1.5.

9. =windows — поиск документов, содержащих точное вхождение слова windows.

10. one -"phrase example" - поиск документов содержащих слово one и не содержащих фразу “phrase example”.

11. one "phrase example" - поиск документов содержащих слово one или фразу “phrase example” или оба операнда.

12. +one +"phrase example" - поиск документов содержащих слово one и фразу “phrase example”.

Объединение результатов полнотекстового поиска

Reindexer поддерживает объединение результатов нескольких запросов и их сортировку.

Пример на Go:

	query := db.Query ("items").
		Match ("description","text query1")
	q2 := db.Query ("another_items").
		Match ("description","text query2")
	query.Merge (q2)
    iterator = query.Exec ()
	// Проверка на наличие ошибки
	if err := iterator.Error(); err != nil {
		panic(err)
	}
	// Перебор результатов поиска
	for iterator.Next() {
		// Получение результатов, их добавление в Iterator, вывод результатов
		switch elem := iterator.Object().(type) {
			case Item:
				fmt.Printf ("%v,rank=%d\n",*elem,iterator.Rank())
			case AnotherItem:
				fmt.Printf ("%v,rank=%d\n",*elem,iterator.Rank())
		}
	}

В Reindexer не поддерживается использование более одного метода Match() в одном запросе. Для поиска по нескольким индексным полям используйте композитные индексы или объединяйте результаты нескольких запросов с помощью Merge().

Использование функций для модификации результатов поиска

В Reindexer возможно использование функций выбора для обработки и модификации результатов поиска. С их помощью вы сможете добавлять теги для подсветки результатов и удалять из них лишние символы, адаптируя под введенный запрос.

На данный момент такая возможность доступна только для простых текстовых индексов. Функции не поддерживаются при полнотекстовом поиске по композитным индексам.

Функция highlight

Пример на Go:

highlight(first,second)

Используется для выделения текстовой области из состава поискового запроса.

Принимает 2 обязательных аргумента:

• first — строка, которая будет вставлена перед найденной текстовой областью,
• second — строка, которая будет вставлена после найденной текстовой области.

Примеры использования:

• Go
• HTTP

b.Query("items").Match("field", "some").Limit(limit).Offset(offset).Functions("field.highlight(<b>,</b>)")

curl --location --request POST 'http://127.0.0.1:9088/api/v1/db/fulltext/query' \
--header 'Content-Type: application/json' \
--data-raw '{
  "namespace": "items",
  "offset": 0,
  "limit": 3,
  "sort": {
    "field": "",
    "desc": true
  },
  "filters": [
    {
      "Field": "field",
      "Cond": "EQ",
      "Value": [
        "some"
      ]
    }
  ],
  "select_functions": [
    "field.highlight(<b>,</b>)"
  ]
}'

При выполнении запросов из приведенных выше примеров в результатах поиска по запросу “some” слово будет обрамлено html-тегами <b> </b>.

Результат выполнения запроса: “some”.

Функция snippet

Формат функции:

snippet(first,second,third,fourth,fifth,sixth)

Используется для выделения текстовой области из состава поискового запроса и удаления окружающего ее текста.

Функция принимает 6 аргументов:

• first — строка, которая будет вставлена перед найденной текстовой областью;
• second — строка, которая будут вставлена после найденной текстовой области;
• third — количество символов окружающего текста, которые будут размещены в результатах поиска перед найденной текстовой областью из запроса;
• fourth — количество символов окружающего текста, которые будут размещены в результатах поиска после найденной текстовой области из запроса;
• fifth (необязательный, по умолчанию какой-либо символ отсутствует) — разделитель перед найденной текстовой областью;
• sixth (необязательный, значение по умолчанию — пробел) — разделитель после найденной текстовой области.

Пример использования:

• Go
• HTTP

b.Query("items").Match("field", "text").Limit(limit).Offset(offset).Functions("field.snippet(<b>,</b>,2,0)")

curl --location --request POST 'http://127.0.0.1:9088/api/v1/db/fulltext/query' \
--header 'Content-Type: application/json' \
--data-raw '{
  "namespace": "items",
  "offset": 0,
  "limit": 3,
  "sort": {
    "field": "",
    "desc": true
  },
  "filters": [
    {
      "Field": "field",
      "Cond": "EQ",
      "Value": [
        "text"
      ]
    }
  ],
  "select_functions": [
    "field.snippet(<b>,</b>,2,0)"
  ]
}'

При выполнении запросов из приведенных выше примеров слово “text” будет обрамлено html-тегами <b> </b> и перед ним будет добавлено 2 символа из окружающего текста.

Например, если для индекса field будет найдено сочетание some text, результат выполнения запроса получится: “e text”.

Функция snippet_n

Формат функции:

snippet_n(first,second,third,fourth[,pre_delim='value1'][,post_delim='value2'][,with_area=0][,left_bound='value3'][,right_bound='value4'])

Используется для выделения текстовой области из состава поискового запроса и удаления окружающего ее текста. Отличается от snippet наличием именованных аргументов. Функция принимает 9 аргументов: 4 позиционных (обязательные) и 5 именованных (необязательные). Именованные аргументы следуют в любом порядке после позиционных:

• first — строка, которая будет вставлена перед найденной текстовой областью;
• second — строка, которая будут вставлена после найденной текстовой области;
• third — количество символов окружающего текста, которые будут размещены в результатах поиска перед найденной текстовой областью из запроса;
• fourth — количество символов окружающего текста, которые будут размещены в результатах поиска после найденной текстовой области из запроса;
• pre_delim — (по умолчанию какой-либо символ отсутствует) — разделитель перед найденной текстовой областью;
• post_delim — (значение по умолчанию — пробел) — разделитель после найденной текстовой области;
• with_area — (значение по умолчанию — 0, не выводить) Выводить начало и конец фрагмент относительно начала документа в символах (UTF-8) в формате [B,E] после pre_delim;
• left_bound — (значение по умолчанию — пустая строка, параметр не используется в вычислениях) Набор символов UTF-8. Началом фрагмента выступает символ из строки left_bound если он встретится раньше third;
• right_bound — (значение по умолчанию — пустая строка, параметр не используется в вычислениях) Набор символов UTF-8. Концом фрагмента выступает символ из строки right_bound если он встретится раньше fourth.

Строковые параметры задаются в одинарных кавычках. Имена параметров задаются либо без кавычек либо в двойных кавычках. Числовые параметры задаются либо без кавычек либо в одинарных кавычках.

Пример использования:

• Go
• HTTP

b.Query("items").Match("text", query).Limit(limit).Offset(offset).Functions("text.snippet_n('<b>','</b>',2,2,pre_delim='{',post_delim='}',with_area=1)")

b.Query("items").Match("text", query).Limit(limit).Offset(offset).Functions("text.snippet_n('<b>','</b>',5,5,pre_delim='{',post_delim='}',left_bound='o',right_bound='i')")

curl --location --request POST 'http://127.0.0.1:9088/api/v1/db/fulltext/query' \
--header 'Content-Type: application/json' \
--data-raw '{
  "namespace": "items",
  "offset": 0,
  "limit": 3,
  "sort": {
    "field": "",
    "desc": true
  },
  "filters": [
    {
      "Field": "field",
      "Cond": "EQ",
      "Value": [
        "text"
      ]
    }
  ],
  "select_functions": [
    "field.snippet_n(<b>,</b>,2,0,pre_delim=!,post_delim=!)"
  ]
}'

При выполнении запросов из приведенных выше примеров слово “text” будет обрамлено html-тегами <b> </b> и перед ним будет добавлено 2 символа из окружающего текста.

Например, если для индекса field будет найден документ some text, результат выполнения запроса получится: “!e text!”.

Поиск с учетом ошибок и опечаток

В Reindexer реализован алгоритм поиска совпадений при сравнении поискового запроса и результатов поиска с удаленными из них символами. Алгоритм является языконезависимым и работает со словами просто как с наборами символов. Общее количество символов, которые могут быть удалены из обоих слов (запрос и результат поиска), настраивается с помощью параметра полнотекстового индекса MaxTypos. Из каждого слова при сравнении может быть удалено до MaxTypos/2 символов с округлением до большего значения.

Не рекомендуется задавать значение MaxTypos больше 2, т.к. это существенно увеличивает потребление оперативной памяти и снижает скорость поиска.

Для более точной настройки работы алгоритма можно использовать TyposDetailedConfig. Он содержит следующий набор параметров:

• MaxMissingLetters. Максимальное количество символов, которое может быть удалено из первоначального поискового терма для получения результирующего слова. Например, задав MaxMissingLetters = 0 и MaxTypos = 2 можно получить поведение, при котором допустима либо только замена одного символа, либо только добавления одной буквы к исходному терму. Заданное значение будет учитывать ограничения, наложенные MaxTypos. Диапазон значений: [-1,2].

• MaxExtraLetters. Максимальное количество символов, которое может быть добавлено к первоначальному поискового терма для получения результирующего слова. Например, задав MaxMissingLetters = 0, MaxExtraLetters = 0 и MaxTypos = 2 можно получить поведение, при котором допустима только замена одного символа в терме, но не разрешено добавление/удаление символов. Заданное значение будет учитывать ограничения, наложенные MaxTypos. Диапазон значений: [-1,2].

• MaxTypoDistance. Максимальная дистанция между заменяемыми символами при обработке опечатки (актуально только при MaxTypos >= 2). Например, при MaxTypoDistance = -1 (обзначает отсутвие ограничений по этому параметру) и MaxTypos = 2 запрос dword~ сможет найти слова sword и words (в первом случае символ ’d’ был заменён на ’s’, а во втором не только заменён, но и сдвинут в конец итогового слова). В то же время при при MaxTypoDistance = 0 (значение по умолчанию) и MaxTypos = 2 позиции первоначального и итогового символа должны будут совпадать. В результате запрос dword~ вернёт только слово sword, но не вернёт слово words. Диапазон возможных значений: [-1,100].

• MaxSymbolPermutationDistance. Максимальное расстояние, на которое может быть перемещён один и тот же символ при обработке опечатки. Этот параметр используется в паре с MaxTypoDistance для ослабления накладываемых им ограничений в случаях перестановки одного и того же символа. Например, с MaxSymbolPermutationDistance = 0, MaxTypoDistance = 0 и MaxTypos = 2 запрос wsord~ не найдёт слово sword, потому что для такого преобразования требуется заменить 2 буквы в исходном терме, либо же просто поменять их местами. Задав MaxSymbolPermutationDistance = 1 (значение по умолчанию), можно как раз получить требуюмую перестановку двух соседних букв, и запрос wsord~ вернёт слово sword. При этом MaxTypoDistance = 0 всё ещё не позволит при такой перестановке заменить одну из этих букв на какую-то другую и, например, по тому же запросу ~wsord не будет возвращено слово dword.

Принципы работы поиска с учетом ошибок и опечаток при различных значениях MaxTypos

Ниже рассмотрены принципы работы поиска с учетом ошибок и опечаток при различных параметра текстового индекса MaxTypos:

Управление параметрами индексов

В Reindexer реализована возможность управления параметрами индексов. Это возможно при подключении к БД различными способами. Задать конфигурацию индекса можно при его добавлении или изменении.

Ниже представлены примеры конфигурирования индексов для полнотекстового поиска разными способами:

• Go
• HTTP

...
    ftconfig := reindexer.DefaultFtFastConfig()
	// Настройка конфигурации
	ftconfig.LogLevel = reindexer.TRACE
	// Настройка других параметров конфигурации
	// ...
	// Создание определения индекса
	indexDef := reindexer.IndexDef {
		Name: "info",
		JSONPaths: []string{"description"},
		IndexType: "text",
		FieldType: "string",
		Config: ftconfig,
	}
	// Добавление индекса с заданной конфигурацией
	return db.AddIndex ("items",indexDef)

curl --location --request PUT 'http://127.0.0.1:9088/api/v1/db/testdb/namespaces/items/indexes' \
--header 'Content-Type: text/plain' \
--data-raw '{
  "name": "info",
  "field_type": "string",
  "index_type": "text",
  "is_pk": false,
  "is_array": false,
  "is_dense": false,
  "is_sparse": false,
  "collate_mode": "none",
  "sort_order_letters": "",
  "expire_after": 0,
  "config": {
    "bm25_boost": 1,
    "bm25_weight": 0.5,
    "position_boost": 1,
    "position_weight": 0.1,
    "distance_boost": 1,
    "distance_weight": 0.5,
    "enable_kb_layout": true,
    "enable_preselect_before_ft": false,
    "enable_numbers_search": false,
    "enable_translit": true,
    "enable_warmup_on_ns_copy": false,
    "min_relevancy": 0.05,
    "term_len_boost": 1,
    "term_len_weight": 0.3,
    "max_typos": 2,
    "max_typo_len": 15,
    "typos_detailed_config": {
      "max_typo_distance": 0,
      "max_symbol_permutation_distance": 1,
      "max_missing_letters": 2,
      "max_extra_letters": 2
    },
    "base_ranking": {
      "full_match_proc": 100,
      "prefix_min_proc": 50,
      "suffix_min_proc": 10,
      "base_typo_proc": 85,
      "typo_proc_penalty": 15,
      "stemmer_proc_penalty": 15,
      "kblayout_proc": 90,
      "translit_proc": 90,
      "synonyms_proc": 95
    },
    "bm25_config": {
      "bm25_k1": 2,
      "bm25_b": 0.75,
      "bm25_type": "rx_bm25"
    },
    "max_rebuild_steps": 50,
    "max_step_size": 4000,
    "merge_limit": 20000,
    "stemmers": [
      "en",
      "ru"
    ],
    "log_level": 0,
    "extra_word_symbols": "-/+",
    "full_match_boost": 1,
    "partial_match_dercrease": 15,
    "sum_ranks_by_fields_ratio": 0,
    "fields": [],
    "synonyms": [
      {
        "tokens": [],
        "alternatives": []
      }
    ]
  },
  "json_paths": [
    "info"
  ]
}'

Список параметров индекса полнотекстового поиска:

Структура с расширенными настройками алгоритма поиска с опечатками (FtTyposDetailedConfig)

Структура с настройками параметров базовой релевантности слова в разных формах (FtBaseRanking)

Базовая оценка релевантности документа

Для базовой оценки релевантности документа используются следующие алгоритмы:

• bm25
• rx_bm25
• word_count

Формула для вычисления bm25:

R = (log(totalDocCount / (matchedDocCount + 1)) + 1) * termCountInDoc / wordsInDoc * (k1 + 1.0) / (termCountInDoc / wordsInDoc + k1 * (1.0 - b_ + b_ * wordsInDoc / avgDocLen))

Формула для вычисления rx_bm25:

R = (log(totalDocCount / (matchedDocCount + 1)) + 1) * termCountInDoc * (k1 + 1.0) / (termCountInDoc + k1 * (1.0 - b_ + b_ * wordsInDoc / avgDocLen))

Формула для вычисления word_count:

R = termCountInDoc

• totalDocCount - общее колличество документов
• matchedDocCount - число документов в которых встретилась подформа исходного слова запроса
• termCountInDoc - число слов в документе, которые соответствуют подформе исходного слова запроса
• wordsInDoc - число слов в документе
• k1 - Свободный коэффициент. Данный параметр задает порог насыщения по частоте терма. Чем больше коэффициент, тем выше порог и меньше скорость насыщения.
• b - Свободный коэффициент. Данный параметр усиливает отношение длины документа к средней длине документа.

Структура с настройками функции оценки релевантности документа (Bm25Config)

Производительность и использование памяти при полнотекстовом поиске

В Reindexer по умолчанию реализована «ленивая» индексация: операция Upsert не перестраивает индекс. Он перестраивается при первом запросе к text полю. При «ленивой» индексации используется несколько потоков, что обеспечивает эффективное расходование ресурсов современного многоядерного процессора. В результате удается добиться очень высокой скорости индексации. На современном оборудовании она равна ~50Мб/сек.

Но при слишком больших размерах текста «ленивая» индексация может серьезно замедлить первый запрос к текстовому индексу. Избежать этого эффекта поможет прогревание индекса с помощью «фиктивного» запроса после последней операции Upsert. Пример такого запроса:

• Go
• SQL

query := db.Query("items").
        Match("description","*text").
        Limit(1) // Запрос для поиска по индексу `description` с минимальной выдачей

SELECT * FROM items WHERE descripton ='*text' LIMIT 1