In Memory Database. Кто нибудь пользует?

Аватара пользователя
valchkou
Уже с Приветом
Сообщения: 4195
Зарегистрирован: Вт апр 26, 2011 10:43 pm
Откуда: Сергели ->Chicago
Контактная информация:

In Memory Database. Кто нибудь пользует?

Сообщение valchkou »

У кого нибудь есть опыт использования какой нибудь In Memory базы данных.
Сразу уточню не кэш key-value, а именно полноценной базы, которую можно квырить повсякому,
но чтобы данные полностью в памяти.
База желательно должны быть распределенной или как минимум иметь redundancy,
т.е иметь fault-tolerant architecture

В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Данных пока 300 гигов, дальше будет больше
хостится скорее всего будет в GCP, но думаю это не важно. У самого GCP такого решения нет.

p.s.
на гугле не забанен, вопрос конкретно про личный опыт и общие впечатления, если они есть
tessob
Уже с Приветом
Сообщения: 549
Зарегистрирован: Чт янв 07, 2016 7:04 am

Re: In Memory Database. Кто нибудь пользует?

Сообщение tessob »

Игрался с SAP HANA. Не впечатлило.

Идею реляционной in-memory базы не воспринимаю. Хранить в памяти оверхед только ради того, чтоб использовать SQL - бред. Если уж памяти хоть опой жуй, то, на мой взгляд, рациональнее использовать нативные средства языка программирования - классы, например.
Аватара пользователя
valchkou
Уже с Приветом
Сообщения: 4195
Зарегистрирован: Вт апр 26, 2011 10:43 pm
Откуда: Сергели ->Chicago
Контактная информация:

Re: In Memory Database. Кто нибудь пользует?

Сообщение valchkou »

База не обязательно должна быть реляционной, например монго. Но наличие sql сильно упрощает всем жизнь.
в идеале в базу должен быть доступ как из приложений с разными технологиями типа питон, жава, нода,
так и с какого нибудь UI.
tessob
Уже с Приветом
Сообщения: 549
Зарегистрирован: Чт янв 07, 2016 7:04 am

Re: In Memory Database. Кто нибудь пользует?

Сообщение tessob »

А сетевой интерфейс будет реализован на новых физических принципах? Просто я что-то сомневаюсь, что I/O к файлам самое узкое место у современных баз. И потом, у вас все запросы настолько уникальны, что кеш не спасает.

Просто не понимаю ради чего весь этот гиморой. Вы же помните про то, что всю эту память нужно еще как-то аккуратно складывать на диск и загружать обратно. Отказы железа всегда случаются в самый не подходящий момент.
alex_127
Уже с Приветом
Сообщения: 7723
Зарегистрирован: Ср мар 29, 2000 4:01 am
Откуда: Kirkland,WA

Re: In Memory Database. Кто нибудь пользует?

Сообщение alex_127 »

In-Memory Only RDBMS нужны когда другие не подходят по каким-либо причинам. Например есть hard requirement for max latency. Они нужны ооочень маленькому контингенту, но он готов за них платить злобные бабки. а для отказов есть hot standby.
tessob
Уже с Приветом
Сообщения: 549
Зарегистрирован: Чт янв 07, 2016 7:04 am

Re: In Memory Database. Кто нибудь пользует?

Сообщение tessob »

Я думал для max latency есть перфокарты. Ну на худой конец магнитные ленты.
Аватара пользователя
Vladimir Kr.
Уже с Приветом
Сообщения: 541
Зарегистрирован: Ср мар 24, 2004 1:31 am
Откуда: Krasnoyrsk -> -> Chicago

Re: In Memory Database. Кто нибудь пользует?

Сообщение Vladimir Kr. »

mysql with ndb
моя родина СССР!
alex_127
Уже с Приветом
Сообщения: 7723
Зарегистрирован: Ср мар 29, 2000 4:01 am
Откуда: Kirkland,WA

Re: In Memory Database. Кто нибудь пользует?

Сообщение alex_127 »

tessob писал(а): Ср янв 10, 2018 2:47 pm Я думал для max latency есть перфокарты. Ну на худой конец магнитные ленты.
я с удовольствием куплю ваши перфоридеры - заменю 3dxpoint в своем desktop :-)
tessob
Уже с Приветом
Сообщения: 549
Зарегистрирован: Чт янв 07, 2016 7:04 am

Re: In Memory Database. Кто нибудь пользует?

Сообщение tessob »

Нивапрос. Куда высылать? Я вам бонусом ещё узелковое письмо пришлю собственной выделки. Там пока узелки перезавяжешь...
alex_127
Уже с Приветом
Сообщения: 7723
Зарегистрирован: Ср мар 29, 2000 4:01 am
Откуда: Kirkland,WA

Re: In Memory Database. Кто нибудь пользует?

Сообщение alex_127 »

hard requirement for max latency could be say 300 microseconds. беру вас в комплекте с вашими узелками!
Аватара пользователя
-helloworld-
Уже с Приветом
Сообщения: 2102
Зарегистрирован: Чт дек 02, 2010 8:46 pm
Откуда: Intermountain West

Re: In Memory Database. Кто нибудь пользует?

Сообщение -helloworld- »

valchkou писал(а): Ср янв 10, 2018 1:22 pm В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Подробнее?

Никто linux tmpfs не отменял, можно любую базу хранить, только резервировать почаще :umnik1:

У нас большой redis (master-slave) как key-value.
Аватара пользователя
valchkou
Уже с Приветом
Сообщения: 4195
Зарегистрирован: Вт апр 26, 2011 10:43 pm
Откуда: Сергели ->Chicago
Контактная информация:

Re: In Memory Database. Кто нибудь пользует?

Сообщение valchkou »

-helloworld- писал(а): Ср янв 10, 2018 3:30 pm
valchkou писал(а): Ср янв 10, 2018 1:22 pm В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Подробнее?

Никто linux tmpfs не отменял, можно любую базу хранить, только резервировать почаще :umnik1:

У нас большой redis (master-slave) как key-value.
с чтением данных проблем нет,
есть некоторые проблемки с fail-over, возможно всего лишь кофигурация и запись слишком медленная.
вобщем продукт довольно новый, и пока не понятно где наши косяки а где самой монги.
Аватара пользователя
Sergunka
Уже с Приветом
Сообщения: 34164
Зарегистрирован: Вс дек 03, 2000 4:01 am
Откуда: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: In Memory Database. Кто нибудь пользует?

Сообщение Sergunka »

"A patriot must always be ready to defend his country against his government." Edward Abbey
Аватара пользователя
Dmitry67
Уже с Приветом
Сообщения: 28294
Зарегистрирован: Вт авг 29, 2000 4:01 am
Откуда: SPB --> Gloucester, MA, US --> SPB --> Paris
Контактная информация:

Re: In Memory Database. Кто нибудь пользует?

Сообщение Dmitry67 »

MemSQL
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
Аватара пользователя
valchkou
Уже с Приветом
Сообщения: 4195
Зарегистрирован: Вт апр 26, 2011 10:43 pm
Откуда: Сергели ->Chicago
Контактная информация:

Re: In Memory Database. Кто нибудь пользует?

Сообщение valchkou »

Dmitry67 писал(а): Чт янв 11, 2018 12:26 amMemSQL
спасибо, попробую
Sergunka писал(а): Ср янв 10, 2018 11:10 pm https://www.aerospike.com/
уже смотрел, не подходит по ряду причин.
Ответить

Вернуться в «Работа и Карьера в IT»