Компактная и быстрая NoSQL in-memory база данных общего назначения

Это красивое, уникальное, бесплатное решение с открытым исходным кодом, которое сочетает в себе лучшие качества сложных баз данных и обеспечивает лучшую производительность

А ещё reindexer помогает сэкономить средства на аппаратном обеспечении без дополнительных затрат на разработку на уровне приложений благодаря высокоуровневому API и удобному пользовательскому интерфейсу

Возможности

Производительность

Производительность - наш главный приоритет. Эксперименты показывают, что Reindexer работает до 2 раз быстрее по сравнению с другими схожими решениями

Утилизация памяти

Reindexer стремится потреблять как можно меньше памяти. Большинство запросов обрабатываются без динамического выделения памяти

Полнотекстовый поиск

Наша отличительная особенность - полнотекстовый поиск, встроенный в систему

Поддержка гибких json-запросов

Reindexer поддерживает различные типы JOIN и MERGE, а также способен комбинировать их при помощи логических операций в рамках одного запроса

Кластеризация

Поддерживает асинхронную репликацию и синхронную кластеризацию, основанную на RAFT

Постоянное хранилище

Reindexer может хранить и загружать документы с диска, используя LevelDB или RocksDB в качестве постоянного хранилища

Геопространственные индексы

Поддерживает фильтрацию по вхождению точек в область с несколькими различные движками

Современный интерфейс

Reindexer имеет графический интерфейс, который позволяет легко конфигурировать и мониторить ваши базы данных

Установка

Docker

Самый простой путь установки Reindexer — это скачать и запустить Docker-образ с DockerHub, используя команду

docker run -p9088:9088 -p6534:6534 -it reindexer/reindexer
Linux
- Redos
- Centos
- Fedora
- Ubuntu
- Debian
- AltLinux
Выполните следующие команды:

rpm --import https://repo.reindexer.io/RX-KEY.GPG
dnf config-manager --add-repo https://repo.reindexer.io/redos-7/x86_64/
dnf update
dnf install reindexer-server

Выполните следующие команды:

yum install -y epel-release yum-utils
rpm --import https://repo.reindexer.io/RX-KEY.GPG
yum-config-manager --add-repo https://repo.reindexer.io/centos-7/x86_64/
yum update
yum install reindexer-server
Выберите дистрибутив:

fedora 38

fedora 39

Выполните следующие команды:

yum install -y epel-release yum-utils
rpm --import https://repo.reindexer.io/RX-KEY.GPG
yum-config-manager --add-repo https://repo.reindexer.io/fedora-38/x86_64/
yum update
yum install reindexer-server

Выполните следующие команды:

yum install -y epel-release yum-utils
rpm --import https://repo.reindexer.io/RX-KEY.GPG
yum-config-manager --add-repo https://repo.reindexer.io/fedora-39/x86_64/
yum update
yum install reindexer-server
Выберите дистрибутив:

ubuntu jammy

ubuntu focal

Выполните следующие команды:

curl https://repo.reindexer.io/RX-KEY.GPG | apt-key add
echo "deb https://repo.reindexer.io/ubuntu-jammy /" >> /etc/apt/sources.list
apt update
apt install reindexer-server

Выполните следующие команды:

curl https://repo.reindexer.io/RX-KEY.GPG | apt-key add
echo "deb https://repo.reindexer.io/ubuntu-focal /" >> /etc/apt/sources.list
apt update
apt install reindexer-server
Выберите дистрибутив:

debian bullseye

debian bookworm

Выполните следующие команды:

curl https://repo.reindexer.io/RX-KEY.GPG | apt-key add
echo "deb https://repo.reindexer.io/debian-bullseye /" >> /etc/apt/sources.list
apt update
apt install reindexer-server

Выполните следующие команды:

curl https://repo.reindexer.io/RX-KEY.GPG | apt-key add
echo "deb https://repo.reindexer.io/debian-bookworm /" >> /etc/apt/sources.list
apt update
apt install reindexer-server
Выберите дистрибутив:

P10

Для использования https-репозитория требуется предварительная установка пакетов ca-certificates и apt-https.
Выполните следующие команды:

echo "rpm https://repo.reindexer.io/altlinux p10/x86_64 reindexer" > /etc/apt/sources.list.d/reindexer.list
apt-get update
apt-get install reindexer-server
macOS

Reindexer может быть установлен с помощью Homebrew

brew tap restream/reindexer
brew install reindexer
Windows

Скачайте установочный файл:
Вам нужно скачать и установить 64-битную или 32-битную версии
Из исходника

Зависимости
Ядро Reindexer написано на C++ 17 и использует LevelDB в качестве бэкенда для хранения данных. Поэтому перед установкой Reindexer необходимо установить Cmake, набор инструментов C++ 17 и LevelDB. Для сборки Reindexer требуется g++ 8+, clang 7+ или MSVC 2019+. Зависимости могут быть установлены автоматически с помощью скрипта:

curl -L https://github.com/Restream/reindexer/raw/master/dependencies.sh | bash -s

Сборка и установка
Выполните следующие шаги для сборки и конфигурации Reindexer:

git clone https://github.com/Restream/reindexer
cd reindexer
mkdir -p build && cd build
cmake ..
make -j4
# install to system
sudo make install

Коннекторы

Go
Reindexer for Go является официальным коннектором и поддерживается командой разработчиков Reindexer. Он поддерживает как встроенный, так и автономный режимы. Чтобы включить поддержку встроенного режима, необходимо установить reindexer-dev
- Поддерживаемые режимы: standalone, builtin, builtinserver
- Используемые API: binary ABI, cproto
- Зависимость от библиотеки reindexer (пакет reindexer-dev): да, для builtin и builtinserver
Загрузить коннектор:
go get -a github.com/restream/reindexer

Установка для режимов builtin/buitinserver:

bash $GOPATH/src/github.com/restream/reindexer/dependencies.sh
go generate github.com/restream/reindexer/bindings/builtin
go generate github.com/restream/reindexer/bindings/builtinserver
C++
C++ коннектор интегрирован в основную кодовую базу reindexer и будет устанановлен вместе с пакетом reindexer-dev
- Поддерживаемые режимы: автономный, встроенный
- Используемые API: бинарный ABI, cproto
- Зависимость от библиотеки reindexer (пакет reindexer-dev): да
https://github.com/Restream/reindexer/tree/master/samples/cpp
Java коннектор
Reindexer для Java является официальным коннектором и поддерживается командой разработчиков Reindexer. Он поддерживает как встроенный, так и автономный режимы. Для включения поддержки встроенного режима необходимо установить reindexer-dev (версия >= 3.1.0). Подробности смотрите в инструкции по установке
- Поддерживаемые режимы: standalone, builtin, builtinserver
- Используемые API: бинарный ABI, cproto
- Зависимость от библиотеки reindexer (пакет reindexer-dev): да, для builtin и builtinserver
Чтобы запустить установку:
<dependency>
    <groupId>com.github.restream</groupId>
    <artifactId>rx-connector</artifactId>
    <version>[LATEST_VERSION]</version>
</dependency>

https://github.com/Restream/reindexer-java
Примечание: требуется версия Java >= 1.8
Python коннектор
Pyreindexer является официальным коннектором и поддерживается командой Reindexer. Он поддерживает как встроенный, так и автономный режимы. Перед установкой необходимо установить reindexer-dev (версия >= 2.10).
Подробности смотрите в инструкции по установке
- Поддерживаемые режимы: автономный, встроенный
- Используемые API: binary ABI, cproto
- Зависимость от библиотеки reindexer (пакет reindexer-dev): да
Чтобы запустить установку:
pip3 install pyreindexer

https://github.com/Restream/reindexer-py
https://pypi.org/project/pyreindexer/
Примечание: требуется версия Python >=3.6
HTTP REST API

Самый простой способ использовать reindexer с любым языком программирования - это использование REST API.
Полная документация по REST API находится здесь. Или изучите интерактивную версию документации Reindexer в формате swagger
GRPC API
GPRC - это современный высокопроизводительный фреймворк RPC с открытым исходным кодом, разработанный компанией Google, который может работать в любой среде. Он может эффективно соединять сервисы как в одном, так и между разными дата-центрами благодаря подключаемой поддержке балансировки нагрузки, трассировке, проверке работоспособности и аутентификации. Он использует HTTP/2 для транспорта, Protocol Buffers в качестве языка описания интерфейса и является более эффективным (а также более простым) в использовании, чем HTTP API. Reindexer поддерживает GRPC API с версии 3.0

GRPC API Reindexer определяется в файле reindexer.proto

Чтобы работать с reindexer через GRPC:
1. Соберите reindexer_server с опцией cmake -DENABLE_GRPC
  (предсобранные пакеты из репозиториев reindexer, а также reindexer server, поставляемый в официальном докер-образе, уже собраны с этой опцией)
2. Запустите reindexer_server с флагом --grpc
3. Соберите GRPC-клиент из файла reindexer.proto для вашего языка https://grpc.io/docs/languages/
4. Подключите GRPC-клиент к серверу reindexer, работающему на порту 16534
Обратите внимание на методы, которые имеют параметры потока:
rpc ModifyItem(stream ModifyItemRequest) returns(stream ErrorResponse) {}
rpc SelectSql(SelectSqlRequest) returns(stream QueryResultsResponse) {}
rpc Select(SelectRequest) returns(stream QueryResultsResponse) {}
rpc Update(UpdateRequest) returns(stream QueryResultsResponse) {}
rpc Delete(DeleteRequest) returns(stream QueryResultsResponse) {}
rpc AddTxItem(stream AddTxItemRequest) returns(stream ErrorResponse) {}

Концепция потоковой передачи данных описана здесь.
Лучшим примером является операция массовой вставки, которая реализуется через метод Modify с mode = INSERT. В HTTP-сервере она реализуется как JSON-документ, содержащий все элементы вместе, а при потоковой передаче GRPC вы отправляете каждый элемент по отдельности, друг за другим. В большинстве случаев второй подход является более удобным, безопасным, эффективным и быстрым.
PHP
Community
https://github.com/Smolevich/reindexer-client
- Поддерживаемые режимы: автономный, встроенный
- Используемые API: binary ABI, cproto
- Зависимость от библиотеки reindexer (пакет reindexer-dev): да
Rust
Community
https://github.com/coinrust/reindexer-rs
- Поддерживаемые режимы: автономный, встроенный
- Используемые API: binary ABI, cproto
- Зависимость от библиотеки reindexer (пакет reindexer-dev): да
.NET
Community
https://github.com/oruchreis/ReindexerNet
- Поддерживаемые режимы: встроенный
- Используемые API: binary ABI
- Зависимость от библиотеки reindexer (пакет reindexer-dev): да

О нас

Наша цель - обеспечить быстрый поиск по сложным запросам. Мы не были довольны ни одним готовым решением, и создали Reindexer как более производительную альтернативу.

Reindexer - это встраиваемая документоориентированная in-memory база данных с высокоуровневым интерфейсом построения запросов

История

2016

Начало разработки
2017

Первая стабильная версия
2018

Полнотекстовые индексы и улучшенная функция "JOIN"
2019

Репликация и поддержка выражений со специальными символами
2020

Новый интерфейс, служба GRPC, геопространственные индексы
2021

Поддержка синхронной RAFT-кластеризации
2022

Поддержка шардирования
2023

Поддержка вложенных подзапросов и фильтрации по агрегациям, бинарный тип для UUID, поддержка до 255 индексов на каждый неймспейс

О нас пишут

Как мы выбирали между Elastic и Tarantool, а сделали свою (самую быструю) in-memory БД. С Join и полнотекстовым поиском

Habr.ru

Поиск по сайту с Reindexer — это просто. Или как сделать "instant search" по всему Хабрахабр-у

Habr.ru

История портирования Reindexer'а – как покорить Эльбрус за 11 дней

Habr.ru

Редизайн Reindexer

vc.ru

Database benchmark

Hodo.dev

Устройство репликации в Reindexer

Youtube.com

Reindexer - очень быстрая in-memory БД с полнотекстовым поиском

Youtube.com

Опыт использования Reindexer

Youtube.com

Будем лучше вместе

Мы будем очень признательны, если вы примете участие в нашем опросе.
Вместе мы сможем сделать продукт лучше

Хочу участвовать

Компактная и быстрая NoSQL in-memory база данных общего назначения

Возможности

Производительность

Утилизация памяти

Полнотекстовый поиск

Поддержка гибких json-запросов

Кластеризация

Постоянное хранилище

Геопространственные индексы

Современный интерфейс

Установка

Зависимости

Сборка и установка

Коннекторы

О нас

История

О нас пишут

Будем лучше вместе