Репликация базы данных и файлов

shadow7256
Уже с Приветом
Posts: 9383
Joined: 18 Mar 2004 15:11
Location: New York -> FL

Репликация базы данных и файлов

Post by shadow7256 »

Уважаемые,

Есть софт наш, пишет в базу данных и на файлы на диск. Пишет не особо много, ну где то около 1500 записей в час в базу и столько же файлов на диск. Каждый пусть к файлу на диске сохраняется в записи в базе данных (одно из полей записи содержит абсолютный путь к файлу).

Нужно организовать им Disaster recovery систему, то бишь реплицировать данные из основной базы в secondary ну и как то копировать файлы на другую удаленную машину. Хотелось бы сделать как можно проще, но одновременно правильно. База данных - SQL Server. Я в курсе там есть SQL Server Replication механизм. Его хватит вполне? Конечно плюс backups пусть делают каждый вечер или ночь, как им удобно. Нужно чтобы в случае "утери" основной базы можно было как можно быстрее переключится на вторичную и продолжать работать.

По поводу файлов на диске.. пусть может создадут какой нибудь скрипт (powershell какой нибудь) и тупо копируют файлы из одноо места на удаленную машину. Файлов может быть много, до 1.5 миллионов (не в одной папке конечно, но общее количество где то такое). Файлы сами небольшие - порядка 20К каждый.
User avatar
Mark
Уже с Приветом
Posts: 1980
Joined: 10 Oct 2000 09:01
Location: New England

Re: Репликация базы данных и файлов

Post by Mark »

shadow7256
Уже с Приветом
Posts: 9383
Joined: 18 Mar 2004 15:11
Location: New York -> FL

Re: Репликация базы данных и файлов

Post by shadow7256 »

слишком заморочено для кастомера будет. Нужен подход, который бы работал на Винде, без всяких дополнительных приблуд.
zVlad
Уже с Приветом
Posts: 15263
Joined: 30 Apr 2003 16:43

Re: Репликация базы данных и файлов

Post by zVlad »

shadow7256 wrote: 11 Apr 2021 21:40 Уважаемые,

Есть софт наш, пишет в базу данных и на файлы на диск. Пишет не особо много, ну где то около 1500 записей в час в базу и столько же файлов на диск. Каждый пусть к файлу на диске сохраняется в записи в базе данных (одно из полей записи содержит абсолютный путь к файлу).

Нужно организовать им Disaster recovery систему, то бишь реплицировать данные из основной базы в secondary ну и как то копировать файлы на другую удаленную машину. Хотелось бы сделать как можно проще, но одновременно правильно. База данных - SQL Server. Я в курсе там есть SQL Server Replication механизм. Его хватит вполне? Конечно плюс backups пусть делают каждый вечер или ночь, как им удобно. Нужно чтобы в случае "утери" основной базы можно было как можно быстрее переключится на вторичную и продолжать работать.

По поводу файлов на диске.. пусть может создадут какой нибудь скрипт (powershell какой нибудь) и тупо копируют файлы из одноо места на удаленную машину. Файлов может быть много, до 1.5 миллионов (не в одной папке конечно, но общее количество где то такое). Файлы сами небольшие - порядка 20К каждый.
Насколько я знаю в MS SQL есть тип данных LOB, что собственно и есть те Ваши файлы на дисках. Упаковав все в базу данных Вы сможете покрыть проблему HA и HADR используя штатную репликацию. Иначе Вы всегда будет иметь проблемы консистенци данных.
User avatar
liamkin
Уже с Приветом
Posts: 2603
Joined: 19 Jun 2003 20:22
Location: USA

Re: Репликация базы данных и файлов

Post by liamkin »

shadow7256 wrote: 11 Apr 2021 22:14
слишком заморочено для кастомера будет. Нужен подход, который бы работал на Винде, без всяких дополнительных приблуд.
В комплекте бесплатного SSH идет rsync - зеркалирует файлы между двумя компьютерами.
Репликация базенки - средствами вендора.
shadow7256
Уже с Приветом
Posts: 9383
Joined: 18 Mar 2004 15:11
Location: New York -> FL

Re: Репликация базы данных и файлов

Post by shadow7256 »

liamkin wrote: 12 Apr 2021 14:34 В комплекте бесплатного SSH идет rsync - зеркалирует файлы между двумя компьютерами.
для винды надо
User avatar
veey+
Уже с Приветом
Posts: 2150
Joined: 29 Jul 2019 17:34
Location: Нуёкщина -> Притампье

Re: Репликация базы данных и файлов

Post by veey+ »

есть rsync для винды, а есть и родные robocopy и xcopy
This world is totally fugazi.
User avatar
liamkin
Уже с Приветом
Posts: 2603
Joined: 19 Jun 2003 20:22
Location: USA

Re: Репликация базы данных и файлов

Post by liamkin »

veey+ wrote: 12 Apr 2021 19:34 есть rsync для винды, а есть и родные robocopy и xcopy
rsync лучше. он висит как демон и копирует файлы по мере изменения. :fr:
User avatar
veey+
Уже с Приветом
Posts: 2150
Joined: 29 Jul 2019 17:34
Location: Нуёкщина -> Притампье

Re: Репликация базы данных и файлов

Post by veey+ »

для винды я видел тока просто exe. хотя, не претендую...
This world is totally fugazi.
User avatar
Mark
Уже с Приветом
Posts: 1980
Joined: 10 Oct 2000 09:01
Location: New England

Re: Репликация базы данных и файлов

Post by Mark »

еще вот этим пользовался - вполне себе работает https://www.2brightsparks.com/ - SyncBackPro вполне справлялся с sync фолдеров с несколькими тысячами файлов в каждой (для тех кто знает я его использовал чтоб синкать log/out for concurrent managers for Oracle EBS)
User avatar
katit
Уже с Приветом
Posts: 23749
Joined: 05 Jul 2003 22:34
Location: Брест -> St. Louis, MO

Re: Репликация базы данных и файлов

Post by katit »

Я пользуюсь SyncTrayzor. Но не знаю насколько это "enterprise-friendly" штука. Для меня работает отлично.
Лучше водки — хуже нет! ©
StrangerR
Уже с Приветом
Posts: 37986
Joined: 14 Dec 2006 20:13
Location: USA

Re: Репликация базы данных и файлов

Post by StrangerR »

Для самой базы, просто зеркало асинхронное или синхронное сконфигурить и все, в MS SQL. Там все довольно просто делается.

По файлам конечно проблема. Через LOB большие файло хранилища делать - ой моя мама!

У нас сделано еще хитрее

- база бэкапится раз в 10 минут,
- файлы живут на линуксе и бэкапы базы живут на линуксе
- линуксы реплицируют данные через rsync (там на сегодня есть и репликация в реальном времени)
- есть скрипт который синхронизует базу на DR сайте в режиме recovery -

но это слегка навороченно. Для чисто видусятников я бы посмотрел зеркалирования базы в асинк режиме и репликацию файлов через робокопи.

Return to “Вопросы и новости IT”