In Memory Database. Кто нибудь пользует?

User avatar
valchkou
Уже с Приветом
Posts: 4195
Joined: 27 Apr 2011 03:43
Location: Сергели ->Chicago

In Memory Database. Кто нибудь пользует?

Post by valchkou »

У кого нибудь есть опыт использования какой нибудь In Memory базы данных.
Сразу уточню не кэш key-value, а именно полноценной базы, которую можно квырить повсякому,
но чтобы данные полностью в памяти.
База желательно должны быть распределенной или как минимум иметь redundancy,
т.е иметь fault-tolerant architecture

В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Данных пока 300 гигов, дальше будет больше
хостится скорее всего будет в GCP, но думаю это не важно. У самого GCP такого решения нет.

p.s.
на гугле не забанен, вопрос конкретно про личный опыт и общие впечатления, если они есть
tessob
Уже с Приветом
Posts: 549
Joined: 07 Jan 2016 13:04

Re: In Memory Database. Кто нибудь пользует?

Post by tessob »

Игрался с SAP HANA. Не впечатлило.

Идею реляционной in-memory базы не воспринимаю. Хранить в памяти оверхед только ради того, чтоб использовать SQL - бред. Если уж памяти хоть опой жуй, то, на мой взгляд, рациональнее использовать нативные средства языка программирования - классы, например.
User avatar
valchkou
Уже с Приветом
Posts: 4195
Joined: 27 Apr 2011 03:43
Location: Сергели ->Chicago

Re: In Memory Database. Кто нибудь пользует?

Post by valchkou »

База не обязательно должна быть реляционной, например монго. Но наличие sql сильно упрощает всем жизнь.
в идеале в базу должен быть доступ как из приложений с разными технологиями типа питон, жава, нода,
так и с какого нибудь UI.
tessob
Уже с Приветом
Posts: 549
Joined: 07 Jan 2016 13:04

Re: In Memory Database. Кто нибудь пользует?

Post by tessob »

А сетевой интерфейс будет реализован на новых физических принципах? Просто я что-то сомневаюсь, что I/O к файлам самое узкое место у современных баз. И потом, у вас все запросы настолько уникальны, что кеш не спасает.

Просто не понимаю ради чего весь этот гиморой. Вы же помните про то, что всю эту память нужно еще как-то аккуратно складывать на диск и загружать обратно. Отказы железа всегда случаются в самый не подходящий момент.
alex_127
Уже с Приветом
Posts: 7723
Joined: 29 Mar 2000 10:01
Location: Kirkland,WA

Re: In Memory Database. Кто нибудь пользует?

Post by alex_127 »

In-Memory Only RDBMS нужны когда другие не подходят по каким-либо причинам. Например есть hard requirement for max latency. Они нужны ооочень маленькому контингенту, но он готов за них платить злобные бабки. а для отказов есть hot standby.
tessob
Уже с Приветом
Posts: 549
Joined: 07 Jan 2016 13:04

Re: In Memory Database. Кто нибудь пользует?

Post by tessob »

Я думал для max latency есть перфокарты. Ну на худой конец магнитные ленты.
User avatar
Vladimir Kr.
Уже с Приветом
Posts: 541
Joined: 24 Mar 2004 07:31
Location: Krasnoyrsk -> -> Chicago

Re: In Memory Database. Кто нибудь пользует?

Post by Vladimir Kr. »

mysql with ndb
моя родина СССР!
alex_127
Уже с Приветом
Posts: 7723
Joined: 29 Mar 2000 10:01
Location: Kirkland,WA

Re: In Memory Database. Кто нибудь пользует?

Post by alex_127 »

tessob wrote: 10 Jan 2018 20:47 Я думал для max latency есть перфокарты. Ну на худой конец магнитные ленты.
я с удовольствием куплю ваши перфоридеры - заменю 3dxpoint в своем desktop :-)
tessob
Уже с Приветом
Posts: 549
Joined: 07 Jan 2016 13:04

Re: In Memory Database. Кто нибудь пользует?

Post by tessob »

Нивапрос. Куда высылать? Я вам бонусом ещё узелковое письмо пришлю собственной выделки. Там пока узелки перезавяжешь...
alex_127
Уже с Приветом
Posts: 7723
Joined: 29 Mar 2000 10:01
Location: Kirkland,WA

Re: In Memory Database. Кто нибудь пользует?

Post by alex_127 »

hard requirement for max latency could be say 300 microseconds. беру вас в комплекте с вашими узелками!
User avatar
-helloworld-
Уже с Приветом
Posts: 2102
Joined: 03 Dec 2010 02:46
Location: Intermountain West

Re: In Memory Database. Кто нибудь пользует?

Post by -helloworld- »

valchkou wrote: 10 Jan 2018 19:22 В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Подробнее?

Никто linux tmpfs не отменял, можно любую базу хранить, только резервировать почаще :umnik1:

У нас большой redis (master-slave) как key-value.
User avatar
valchkou
Уже с Приветом
Posts: 4195
Joined: 27 Apr 2011 03:43
Location: Сергели ->Chicago

Re: In Memory Database. Кто нибудь пользует?

Post by valchkou »

-helloworld- wrote: 10 Jan 2018 21:30
valchkou wrote: 10 Jan 2018 19:22 В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Подробнее?

Никто linux tmpfs не отменял, можно любую базу хранить, только резервировать почаще :umnik1:

У нас большой redis (master-slave) как key-value.
с чтением данных проблем нет,
есть некоторые проблемки с fail-over, возможно всего лишь кофигурация и запись слишком медленная.
вобщем продукт довольно новый, и пока не понятно где наши косяки а где самой монги.
User avatar
Sergunka
Уже с Приветом
Posts: 34164
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: In Memory Database. Кто нибудь пользует?

Post by Sergunka »

"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: In Memory Database. Кто нибудь пользует?

Post by Dmitry67 »

MemSQL
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
User avatar
valchkou
Уже с Приветом
Posts: 4195
Joined: 27 Apr 2011 03:43
Location: Сергели ->Chicago

Re: In Memory Database. Кто нибудь пользует?

Post by valchkou »

Dmitry67 wrote: 11 Jan 2018 06:26MemSQL
спасибо, попробую
Sergunka wrote: 11 Jan 2018 05:10 https://www.aerospike.com/
уже смотрел, не подходит по ряду причин.

Return to “Работа и Карьера в IT”