In Memory Database. Кто нибудь пользует?
-
- Уже с Приветом
- Posts: 4195
- Joined: 27 Apr 2011 03:43
- Location: Сергели ->Chicago
In Memory Database. Кто нибудь пользует?
У кого нибудь есть опыт использования какой нибудь In Memory базы данных.
Сразу уточню не кэш key-value, а именно полноценной базы, которую можно квырить повсякому,
но чтобы данные полностью в памяти.
База желательно должны быть распределенной или как минимум иметь redundancy,
т.е иметь fault-tolerant architecture
В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Данных пока 300 гигов, дальше будет больше
хостится скорее всего будет в GCP, но думаю это не важно. У самого GCP такого решения нет.
p.s.
на гугле не забанен, вопрос конкретно про личный опыт и общие впечатления, если они есть
Сразу уточню не кэш key-value, а именно полноценной базы, которую можно квырить повсякому,
но чтобы данные полностью в памяти.
База желательно должны быть распределенной или как минимум иметь redundancy,
т.е иметь fault-tolerant architecture
В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Данных пока 300 гигов, дальше будет больше
хостится скорее всего будет в GCP, но думаю это не важно. У самого GCP такого решения нет.
p.s.
на гугле не забанен, вопрос конкретно про личный опыт и общие впечатления, если они есть
-
- Уже с Приветом
- Posts: 549
- Joined: 07 Jan 2016 13:04
Re: In Memory Database. Кто нибудь пользует?
Игрался с SAP HANA. Не впечатлило.
Идею реляционной in-memory базы не воспринимаю. Хранить в памяти оверхед только ради того, чтоб использовать SQL - бред. Если уж памяти хоть опой жуй, то, на мой взгляд, рациональнее использовать нативные средства языка программирования - классы, например.
Идею реляционной in-memory базы не воспринимаю. Хранить в памяти оверхед только ради того, чтоб использовать SQL - бред. Если уж памяти хоть опой жуй, то, на мой взгляд, рациональнее использовать нативные средства языка программирования - классы, например.
-
- Уже с Приветом
- Posts: 4195
- Joined: 27 Apr 2011 03:43
- Location: Сергели ->Chicago
Re: In Memory Database. Кто нибудь пользует?
База не обязательно должна быть реляционной, например монго. Но наличие sql сильно упрощает всем жизнь.
в идеале в базу должен быть доступ как из приложений с разными технологиями типа питон, жава, нода,
так и с какого нибудь UI.
в идеале в базу должен быть доступ как из приложений с разными технологиями типа питон, жава, нода,
так и с какого нибудь UI.
-
- Уже с Приветом
- Posts: 549
- Joined: 07 Jan 2016 13:04
Re: In Memory Database. Кто нибудь пользует?
А сетевой интерфейс будет реализован на новых физических принципах? Просто я что-то сомневаюсь, что I/O к файлам самое узкое место у современных баз. И потом, у вас все запросы настолько уникальны, что кеш не спасает.
Просто не понимаю ради чего весь этот гиморой. Вы же помните про то, что всю эту память нужно еще как-то аккуратно складывать на диск и загружать обратно. Отказы железа всегда случаются в самый не подходящий момент.
Просто не понимаю ради чего весь этот гиморой. Вы же помните про то, что всю эту память нужно еще как-то аккуратно складывать на диск и загружать обратно. Отказы железа всегда случаются в самый не подходящий момент.
-
- Уже с Приветом
- Posts: 7723
- Joined: 29 Mar 2000 10:01
- Location: Kirkland,WA
Re: In Memory Database. Кто нибудь пользует?
In-Memory Only RDBMS нужны когда другие не подходят по каким-либо причинам. Например есть hard requirement for max latency. Они нужны ооочень маленькому контингенту, но он готов за них платить злобные бабки. а для отказов есть hot standby.
-
- Уже с Приветом
- Posts: 549
- Joined: 07 Jan 2016 13:04
Re: In Memory Database. Кто нибудь пользует?
Я думал для max latency есть перфокарты. Ну на худой конец магнитные ленты.
-
- Уже с Приветом
- Posts: 541
- Joined: 24 Mar 2004 07:31
- Location: Krasnoyrsk -> -> Chicago
-
- Уже с Приветом
- Posts: 7723
- Joined: 29 Mar 2000 10:01
- Location: Kirkland,WA
Re: In Memory Database. Кто нибудь пользует?
я с удовольствием куплю ваши перфоридеры - заменю 3dxpoint в своем desktoptessob wrote: 10 Jan 2018 20:47 Я думал для max latency есть перфокарты. Ну на худой конец магнитные ленты.

-
- Уже с Приветом
- Posts: 549
- Joined: 07 Jan 2016 13:04
Re: In Memory Database. Кто нибудь пользует?
Нивапрос. Куда высылать? Я вам бонусом ещё узелковое письмо пришлю собственной выделки. Там пока узелки перезавяжешь...
-
- Уже с Приветом
- Posts: 7723
- Joined: 29 Mar 2000 10:01
- Location: Kirkland,WA
Re: In Memory Database. Кто нибудь пользует?
hard requirement for max latency could be say 300 microseconds. беру вас в комплекте с вашими узелками!
-
- Уже с Приветом
- Posts: 2102
- Joined: 03 Dec 2010 02:46
- Location: Intermountain West
Re: In Memory Database. Кто нибудь пользует?
Подробнее?valchkou wrote: 10 Jan 2018 19:22 В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Никто linux tmpfs не отменял, можно любую базу хранить, только резервировать почаще

У нас большой redis (master-slave) как key-value.
-
- Уже с Приветом
- Posts: 4195
- Joined: 27 Apr 2011 03:43
- Location: Сергели ->Chicago
Re: In Memory Database. Кто нибудь пользует?
с чтением данных проблем нет,-helloworld- wrote: 10 Jan 2018 21:30Подробнее?valchkou wrote: 10 Jan 2018 19:22 В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Никто linux tmpfs не отменял, можно любую базу хранить, только резервировать почаще![]()
У нас большой redis (master-slave) как key-value.
есть некоторые проблемки с fail-over, возможно всего лишь кофигурация и запись слишком медленная.
вобщем продукт довольно новый, и пока не понятно где наши косяки а где самой монги.
-
- Уже с Приветом
- Posts: 34164
- Joined: 03 Dec 2000 10:01
- Location: Vladivostok->San Francisco->Los Angeles->San Francisco
Re: In Memory Database. Кто нибудь пользует?
"A patriot must always be ready to defend his country against his government." Edward Abbey
-
- Уже с Приветом
- Posts: 28294
- Joined: 29 Aug 2000 09:01
- Location: SPB --> Gloucester, MA, US --> SPB --> Paris
Re: In Memory Database. Кто нибудь пользует?
MemSQL
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
-
- Уже с Приветом
- Posts: 4195
- Joined: 27 Apr 2011 03:43
- Location: Сергели ->Chicago
Re: In Memory Database. Кто нибудь пользует?
спасибо, попробую
уже смотрел, не подходит по ряду причин.