In Memory Database. Кто нибудь пользует?

[valchkou]

У кого нибудь есть опыт использования какой нибудь In Memory базы данных.
Сразу уточню не кэш key-value, а именно полноценной базы, которую можно квырить повсякому,
но чтобы данные полностью в памяти.
База желательно должны быть распределенной или как минимум иметь redundancy,
т.е иметь fault-tolerant architecture

В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Данных пока 300 гигов, дальше будет больше
хостится скорее всего будет в GCP, но думаю это не важно. У самого GCP такого решения нет.

p.s.
на гугле не забанен, вопрос конкретно про личный опыт и общие впечатления, если они есть

[tessob]

Игрался с SAP HANA. Не впечатлило.

Идею реляционной in-memory базы не воспринимаю. Хранить в памяти оверхед только ради того, чтоб использовать SQL - бред. Если уж памяти хоть опой жуй, то, на мой взгляд, рациональнее использовать нативные средства языка программирования - классы, например.

[valchkou]

База не обязательно должна быть реляционной, например монго. Но наличие sql сильно упрощает всем жизнь.
в идеале в базу должен быть доступ как из приложений с разными технологиями типа питон, жава, нода,
так и с какого нибудь UI.

[tessob]

А сетевой интерфейс будет реализован на новых физических принципах? Просто я что-то сомневаюсь, что I/O к файлам самое узкое место у современных баз. И потом, у вас все запросы настолько уникальны, что кеш не спасает.

Просто не понимаю ради чего весь этот гиморой. Вы же помните про то, что всю эту память нужно еще как-то аккуратно складывать на диск и загружать обратно. Отказы железа всегда случаются в самый не подходящий момент.

[alex_127]

In-Memory Only RDBMS нужны когда другие не подходят по каким-либо причинам. Например есть hard requirement for max latency. Они нужны ооочень маленькому контингенту, но он готов за них платить злобные бабки. а для отказов есть hot standby.

[tessob]

Я думал для max latency есть перфокарты. Ну на худой конец магнитные ленты.

[Vladimir Kr.]

mysql with ndb

[alex_127]

Я думал для max latency есть перфокарты. Ну на худой конец магнитные ленты.

я с удовольствием куплю ваши перфоридеры - заменю 3dxpoint в своем desktop

[tessob]

Нивапрос. Куда высылать? Я вам бонусом ещё узелковое письмо пришлю собственной выделки. Там пока узелки перезавяжешь...

[alex_127]

hard requirement for max latency could be say 300 microseconds. беру вас в комплекте с вашими узелками!

[-helloworld-]

В данный момент играемся с MongoDB in memory, есть некоторые проблемки.

Подробнее?

Никто linux tmpfs не отменял, можно любую базу хранить, только резервировать почаще

У нас большой redis (master-slave) как key-value.

[valchkou]

В данный момент играемся с MongoDB in memory, есть некоторые проблемки.

Подробнее?

Никто linux tmpfs не отменял, можно любую базу хранить, только резервировать почаще

У нас большой redis (master-slave) как key-value.

с чтением данных проблем нет,
есть некоторые проблемки с fail-over, возможно всего лишь кофигурация и запись слишком медленная.
вобщем продукт довольно новый, и пока не понятно где наши косяки а где самой монги.

[Sergunka]

https://www.aerospike.com/

[Dmitry67]

MemSQL

[valchkou]

MemSQL

спасибо, попробую

https://www.aerospike.com/

уже смотрел, не подходит по ряду причин.

[Marie Clair]

Игрались с Redis and Hazelcast. Redis не плохо, довольно прилично developed, много документации, супорт, и много use cases покрыто, делали union and intersection с датой, быстро, но не слишком, single threaded C code. Не пошли с ними, было дорого хранить на cloud, размер был 245G of data. Hazelcast and Memcached не помню, другие делали PoC, тоже не выбрали. Советую взглянуть на Hazelcast Jet иx новый продукт.

[iDesperado]

я бы попробовал apache ignite. сбербанк пытается слезть с оракла именно на платный вариант apache ignite, кластер на 2000 серверов. говорят что там есть SQL, redundancy, fault-tolerant, consistent read и прочая.

[mskmel]

я бы попробовал apache ignite. сбербанк пытается слезть с оракла именно на платный вариант apache ignite, кластер на 2000 серверов. говорят что там есть SQL, redundancy, fault-tolerant, consistent read и прочая.

Вот на это они слазят, говорят что успешно https://www.gridgain.com/

[iDesperado]

Вот на это они слазят, говорят что успешно https://www.gridgain.com/

да, apache ignite это опенсоурс вариант gridgain

[XpoH]

Части нашей системы плотно сидят на гридгейне

[mskmel]

Части нашей системы плотно сидят на гридгейне

Какой порядок цен?

[XpoH]

Части нашей системы плотно сидят на гридгейне

Какой порядок цен?

без понятия, я к тем частям отношения не имею.

[valchkou]

Игрались с Redis and Hazelcast. Redis не плохо, довольно прилично developed, много документации, супорт, и много use cases покрыто, делали union and intersection с датой, быстро, но не слишком, single threaded C code. Не пошли с ними, было дорого хранить на cloud, размер был 245G of data. Hazelcast and Memcached не помню, другие делали PoC, тоже не выбрали. Советую взглянуть на Hazelcast Jet иx новый продукт.

Hazelcast мы активно используем. Он хорош для своих задач
Hazelcast and Memcached это кэши, а не базы дынных.
Hazelcast уже воткнул возможность использовать sql для фильтраций данных, но нет joins, group by.
т.е что бы выполнить нечто типа select 1,2,3 from a,b where xx=yy group by zz, нужно так нехило раскарячиться.

[valchkou]

я бы попробовал apache ignite. сбербанк пытается слезть с оракла именно на платный вариант apache ignite, кластер на 2000 серверов. говорят что там есть SQL, redundancy, fault-tolerant, consistent read и прочая.

Вот на это они слазят, говорят что успешно https://www.gridgain.com/

о спасибо, выглядит довольно перспективно и почти то что нужно

[Sergunka]

Игрались с Redis and Hazelcast. Redis не плохо, довольно прилично developed, много документации, супорт, и много use cases покрыто, делали union and intersection с датой, быстро, но не слишком, single threaded C code. Не пошли с ними, было дорого хранить на cloud, размер был 245G of data. Hazelcast and Memcached не помню, другие делали PoC, тоже не выбрали. Советую взглянуть на Hazelcast Jet иx новый продукт.

Hazelcast мы активно используем. Он хорош для своих задач
Hazelcast and Memcached это кэши, а не базы дынных.
Hazelcast уже воткнул возможность использовать sql для фильтраций данных, но нет joins, group by.
т.е что бы выполнить нечто типа select 1,2,3 from a,b where xx=yy group by zz, нужно так нехило раскарячиться.

Я редис как базу данных не воспринимаю - больше всеж это как для кеша он хорошо интегрирован в спринг фреймворк.