In Memory Database. Кто нибудь пользует?
- valchkou
- Уже с Приветом
- Сообщения: 4195
- Зарегистрирован: Вт апр 26, 2011 10:43 pm
- Откуда: Сергели ->Chicago
- Контактная информация:
In Memory Database. Кто нибудь пользует?
У кого нибудь есть опыт использования какой нибудь In Memory базы данных.
Сразу уточню не кэш key-value, а именно полноценной базы, которую можно квырить повсякому,
но чтобы данные полностью в памяти.
База желательно должны быть распределенной или как минимум иметь redundancy,
т.е иметь fault-tolerant architecture
В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Данных пока 300 гигов, дальше будет больше
хостится скорее всего будет в GCP, но думаю это не важно. У самого GCP такого решения нет.
p.s.
на гугле не забанен, вопрос конкретно про личный опыт и общие впечатления, если они есть
Сразу уточню не кэш key-value, а именно полноценной базы, которую можно квырить повсякому,
но чтобы данные полностью в памяти.
База желательно должны быть распределенной или как минимум иметь redundancy,
т.е иметь fault-tolerant architecture
В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Данных пока 300 гигов, дальше будет больше
хостится скорее всего будет в GCP, но думаю это не важно. У самого GCP такого решения нет.
p.s.
на гугле не забанен, вопрос конкретно про личный опыт и общие впечатления, если они есть
-
- Уже с Приветом
- Сообщения: 549
- Зарегистрирован: Чт янв 07, 2016 7:04 am
Re: In Memory Database. Кто нибудь пользует?
Игрался с SAP HANA. Не впечатлило.
Идею реляционной in-memory базы не воспринимаю. Хранить в памяти оверхед только ради того, чтоб использовать SQL - бред. Если уж памяти хоть опой жуй, то, на мой взгляд, рациональнее использовать нативные средства языка программирования - классы, например.
Идею реляционной in-memory базы не воспринимаю. Хранить в памяти оверхед только ради того, чтоб использовать SQL - бред. Если уж памяти хоть опой жуй, то, на мой взгляд, рациональнее использовать нативные средства языка программирования - классы, например.
- valchkou
- Уже с Приветом
- Сообщения: 4195
- Зарегистрирован: Вт апр 26, 2011 10:43 pm
- Откуда: Сергели ->Chicago
- Контактная информация:
Re: In Memory Database. Кто нибудь пользует?
База не обязательно должна быть реляционной, например монго. Но наличие sql сильно упрощает всем жизнь.
в идеале в базу должен быть доступ как из приложений с разными технологиями типа питон, жава, нода,
так и с какого нибудь UI.
в идеале в базу должен быть доступ как из приложений с разными технологиями типа питон, жава, нода,
так и с какого нибудь UI.
-
- Уже с Приветом
- Сообщения: 549
- Зарегистрирован: Чт янв 07, 2016 7:04 am
Re: In Memory Database. Кто нибудь пользует?
А сетевой интерфейс будет реализован на новых физических принципах? Просто я что-то сомневаюсь, что I/O к файлам самое узкое место у современных баз. И потом, у вас все запросы настолько уникальны, что кеш не спасает.
Просто не понимаю ради чего весь этот гиморой. Вы же помните про то, что всю эту память нужно еще как-то аккуратно складывать на диск и загружать обратно. Отказы железа всегда случаются в самый не подходящий момент.
Просто не понимаю ради чего весь этот гиморой. Вы же помните про то, что всю эту память нужно еще как-то аккуратно складывать на диск и загружать обратно. Отказы железа всегда случаются в самый не подходящий момент.
-
- Уже с Приветом
- Сообщения: 7723
- Зарегистрирован: Ср мар 29, 2000 4:01 am
- Откуда: Kirkland,WA
Re: In Memory Database. Кто нибудь пользует?
In-Memory Only RDBMS нужны когда другие не подходят по каким-либо причинам. Например есть hard requirement for max latency. Они нужны ооочень маленькому контингенту, но он готов за них платить злобные бабки. а для отказов есть hot standby.
-
- Уже с Приветом
- Сообщения: 549
- Зарегистрирован: Чт янв 07, 2016 7:04 am
Re: In Memory Database. Кто нибудь пользует?
Я думал для max latency есть перфокарты. Ну на худой конец магнитные ленты.
- Vladimir Kr.
- Уже с Приветом
- Сообщения: 541
- Зарегистрирован: Ср мар 24, 2004 1:31 am
- Откуда: Krasnoyrsk -> -> Chicago
-
- Уже с Приветом
- Сообщения: 7723
- Зарегистрирован: Ср мар 29, 2000 4:01 am
- Откуда: Kirkland,WA
Re: In Memory Database. Кто нибудь пользует?
я с удовольствием куплю ваши перфоридеры - заменю 3dxpoint в своем desktoptessob писал(а): Ср янв 10, 2018 2:47 pm Я думал для max latency есть перфокарты. Ну на худой конец магнитные ленты.

-
- Уже с Приветом
- Сообщения: 549
- Зарегистрирован: Чт янв 07, 2016 7:04 am
Re: In Memory Database. Кто нибудь пользует?
Нивапрос. Куда высылать? Я вам бонусом ещё узелковое письмо пришлю собственной выделки. Там пока узелки перезавяжешь...
-
- Уже с Приветом
- Сообщения: 7723
- Зарегистрирован: Ср мар 29, 2000 4:01 am
- Откуда: Kirkland,WA
Re: In Memory Database. Кто нибудь пользует?
hard requirement for max latency could be say 300 microseconds. беру вас в комплекте с вашими узелками!
- -helloworld-
- Уже с Приветом
- Сообщения: 2102
- Зарегистрирован: Чт дек 02, 2010 8:46 pm
- Откуда: Intermountain West
Re: In Memory Database. Кто нибудь пользует?
Подробнее?valchkou писал(а): Ср янв 10, 2018 1:22 pm В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Никто linux tmpfs не отменял, можно любую базу хранить, только резервировать почаще

У нас большой redis (master-slave) как key-value.
- valchkou
- Уже с Приветом
- Сообщения: 4195
- Зарегистрирован: Вт апр 26, 2011 10:43 pm
- Откуда: Сергели ->Chicago
- Контактная информация:
Re: In Memory Database. Кто нибудь пользует?
с чтением данных проблем нет,-helloworld- писал(а): Ср янв 10, 2018 3:30 pmПодробнее?valchkou писал(а): Ср янв 10, 2018 1:22 pm В данный момент играемся с MongoDB in memory, есть некоторые проблемки.
Никто linux tmpfs не отменял, можно любую базу хранить, только резервировать почаще![]()
У нас большой redis (master-slave) как key-value.
есть некоторые проблемки с fail-over, возможно всего лишь кофигурация и запись слишком медленная.
вобщем продукт довольно новый, и пока не понятно где наши косяки а где самой монги.
- Sergunka
- Уже с Приветом
- Сообщения: 34164
- Зарегистрирован: Вс дек 03, 2000 4:01 am
- Откуда: Vladivostok->San Francisco->Los Angeles->San Francisco
Re: In Memory Database. Кто нибудь пользует?
"A patriot must always be ready to defend his country against his government." Edward Abbey
- Dmitry67
- Уже с Приветом
- Сообщения: 28294
- Зарегистрирован: Вт авг 29, 2000 4:01 am
- Откуда: SPB --> Gloucester, MA, US --> SPB --> Paris
- Контактная информация:
Re: In Memory Database. Кто нибудь пользует?
MemSQL
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
- valchkou
- Уже с Приветом
- Сообщения: 4195
- Зарегистрирован: Вт апр 26, 2011 10:43 pm
- Откуда: Сергели ->Chicago
- Контактная информация:
Re: In Memory Database. Кто нибудь пользует?
спасибо, попробую
уже смотрел, не подходит по ряду причин.