MySQL под Solaris - есть знатоки?

[Privet]

Такой вопрос еще, пусть у нас база 50 Гигов например. при таком обьеме, какое количество активных постов разумно брать, ну тех когда на одного пишушего, 30 читаюших? Борис когда-то писал что в день количество постов зашкаливало за 10.000, что примерно 600 в час в час-пик, наверное. Т.е для 10 минутного (для начала) теста нам надо допустим 100 пишуших и 3000 читаюших. Так вроде получаеться? Многовато.

Ну и в догонку, 10.000 постов, ето наверное около 150-200 топиков. Насколько велик будет уход от реальности если вместо такого количества постить только в 20 топиков, например.

База гораздо меньше 50G - впрочем для теста это не важно.
Я не думаю, что число уникальных юзеров и даже топиков имеет значение - по-моему только темп постов и чтений.
То- есть получается десять чтений в секунду и пост - каждые 3.
Надо еще у Бориса переспросить, а то я оторвался несколько.

10000 в день - многовато. Вы столько не напишите

Я бы сказал, примерно 1000 постов в день, но они распределены крайне неравномерно.

Разумный тест будет, наверное таким:

Средний темп чтения - 3 запроса в секунду. (index.php,viewforum.php,viewtopic.php)
Посылка топиков - 2 в минуту. (posting.php)
Редактирование топиков - 1 в минуту. (posting.php)
Поиск - 2 в минуту (search.php)

Достаточно большая часть сообщений редактируется как минимум раз.

Надо ещё добавить дополнительную нагрузку - просмотр картинок и небольшой трафик по другим сайтам и страницам, которые живут на Привете.

http://bugor.com (замкнут на privet.com/forum)
http://haifa.privet.com
http://kedry.privet.com
http://interballetschool.com

Объём базы (общий) 2ГБ.

Кстати, Яндекс "полюбил" почему-то Бугор и часто приходит его сканировать. Сканер у них нахальный и генерит очень большую нагрузку. У меня стоят ограничители нагрузки, поэтому, "забить" сайт не так просто.

Иногда некоторые орлы запускают автоматические скачивалки. Они частично режутся, но всё равно, могут создать приличную нагрузку. Некоторые браузеры создают нагрузку, схужую со скачивалками, но на короткий период времени. От этой нагрузки я тоже частично отбиваюсь. Узкий канал в этом случае играет положительную роль

Все эти вещи тоже хорошо бы учесть в идеальном тесте. Вообще, пока нагрузка штатная - проблем особых нет. Когда накладываются друг на друга несколько тяжелях запросов, что при такой активности весьма вероятно, могут возникнуть проблемы.

Обычно, перегружается БД. Количество необработанных запросов растёт, время обработки каждого запроса, соответственно, тоже увеличивается. IIS настроен на определённое число запросов, точнее threads. Как только их количество превышает порог - сервер в коме. Он просто не отвечает. Если этот порог поднять, то в кому первым уходит MySQL, а клиенту выдаётся critical error. Это неприятнее. Поэтому, порог стоит ниже этого предела.

Всё это очень кратко. Если у кого-то из админов есть идеи по оптимизации системы - welcome, можем обсудить.

Сегодня завтра создам тестовую двухсерверную конфигурацию. Может быть, даже запущу её в работу. Теоретически, согласно моим познаниям, это должно помочь, особенно, с увеличением дисковой ёмкости. Посмотрим...

[Каскыр]

Народ, я гашу сервер - надо освободить место для празднования Валентайнс Дэй.
Борис, какой IP адрес ему ставить?

[vovap]

Сегодня завтра создам тестовую двухсерверную конфигурацию. Может быть, даже запущу её в работу. Теоретически, согласно моим познаниям, это должно помочь, особенно, с увеличением дисковой ёмкости. Посмотрим...

Неплохо было бы затестить до и после.

[VladStar]

Так что, можно считать, что самого правильного апача собрано не будет?

А что за проблемы с SSL ? Модуль, что-ли не компилится ?
Или SSL пытаетесь прямо в демона вкомпилить ?

Другими словами - всё равно заюзан тот - же объём памяти, и всё равно юзается своп, не смотря на то, что 800 с лишним мег памяти свободно. И от процессора юзается всего 0.2 процента ресурсов (когда ты на той машине компилял, загрузка доходила аж до шести процентов)

А /tmp, случаем, не в swap-партицию смотрит ?

[Каскыр]

Так что, можно считать, что самого правильного апача собрано не будет?

А что за проблемы с SSL ? Модуль, что-ли не компилится ?
Или SSL пытаетесь прямо в демона вкомпилить ?

Есть желание помочь Волчаре?
У меня Apache 2 собрался без проблем, со всеми необходимыми модулями. Но Волчара решил собрать свой вариант, более правильный по его мнению. Если Вы разделяете его мнение - можете приложить руку, будем только благодарны.

Другими словами - всё равно заюзан тот - же объём памяти, и всё равно юзается своп, не смотря на то, что 800 с лишним мег памяти свободно. И от процессора юзается всего 0.2 процента ресурсов (когда ты на той машине компилял, загрузка доходила аж до шести процентов)

А /tmp, случаем, не в swap-партицию смотрит ?

Естественно, туда - это значительно ускоряет операции, связанные с временными файлами по сравнению с конфигурацией, при которой /tmp размещается на обычной UFS. И в /tmp было достаточно много накачано сорцов с FTP серверов, так что подмеченное Волчарой использование свопа не факт, что продиктовано нехваткой памяти. Да даже если бы своп активно использовался, это фигня, и погоды не делает: всё равно каждый запрос к вебу генерирует использование диска как самим веб - сервером, так и сервером базы данных. Коенчно, чем больше памяти, тем лучше, иначе при очень интенсивной нагрузке можно довести систему до того, что она будет пузом по полу ёрзать. Но, что важно - оставаться полностью функциональной, хоть и очень медленной.

Что же касается использования свопа, вот что на этот счёт написано в документации:

The Solaris environment is a demand paged virtual memory system. As the system runs, pages are brought into memory as needed. When memory becomes occupied above a certain threshold and demand for memory continues, paging begins. Paging goes through several levels that are controlled by certain variables.

The general paging algorithm is as follows:

A memory deficit is noticed. The page scanner thread runs and begins to walk through memory. A two-step algorithm is employed:

A page is marked as unused.

If still unused after a time interval, the page is viewed as a subject for reclaim.

If the page has been modified, a request is made to the pageout thread to schedule the page for I/O and the scanner continues looking at memory. Pageout causes the page to be written to the page's backing store and placed on the free list. When scanning memory, no distinction is made as to the origin of the page. It may have come from a data file, or it might represent a page from an executable's text, data, or stack.

As memory pressure on the system increases, the algorithm becomes more aggressive in the pages it will consider as candidates for reclamation and in how frequently the paging algorithm runs. (See fastscan and slowscan for more information.) As available memory falls between the range lotsfree and minfree, the system will linearly increase the amount of memory scanned in each invocation of the pageout thread from the value specified by slowscan to the value specified by fastscan. The system uses the desfree variable to control a number of decisions about resource usage and behavior.

The system also attempts to constrain itself to use not more than 4% of one CPU for pageout operations. The algorithm is to look through some amount of memory between slowscan and fastscan, and stop when one of the following occurs:

Enough pages have been found to satisfy the memory shortfall.

The planned number of pages have been looked at.

Too much time has elapsed.

If a memory shortfall is still present when pageout finishes its scan, another scan is scheduled for 1/4 second in the future.

[VladStar]

Есть желание помочь Волчаре?
У меня Apache 2 собрался без проблем, со всеми необходимыми модулями. Но Волчара решил собрать свой вариант, более правильный по его мнению. Если Вы разделяете его мнение - можете приложить руку, будем только благодарны.

Если нужна моя помощь - без проблем. Вопрос - что даст новая версия, по сравнению с имеющейся ? Что входит в понятие "более правильный", и стоит ли вообще овчинка выделки ? Ну и, естественно, что за проблемы возникли со сборкой новой версии ?

Другими словами - всё равно заюзан тот - же объём памяти, и всё равно юзается своп, не смотря на то, что 800 с лишним мег памяти свободно. И от процессора юзается всего 0.2 процента ресурсов (когда ты на той машине компилял, загрузка доходила аж до шести процентов)

А /tmp, случаем, не в swap-партицию смотрит ?

Естественно, туда - это значительно ускоряет операции, связанные с временными файлами по сравнению с конфигурацией, при которой /tmp размещается на обычной UFS.

Да это все понятно, это было моим предположением на фразу "всё равно юзается своп". Я предположил, что в приведенном куске top'а, "swap in use" как раз и отражает использование swap'а для временных файлов в /tmp, нежели для memory paging'а.

[Каскыр]

Есть желание помочь Волчаре?
У меня Apache 2 собрался без проблем, со всеми необходимыми модулями. Но Волчара решил собрать свой вариант, более правильный по его мнению. Если Вы разделяете его мнение - можете приложить руку, будем только благодарны.

Если нужна моя помощь - без проблем. Вопрос - что даст новая версия, по сравнению с имеющейся ? Что входит в понятие "более правильный", и стоит ли вообще овчинка выделки ? Ну и, естественно, что за проблемы возникли со сборкой новой версии ?

Эти все вопросы исключительно к Волчаре.

[Siberian Cableman]

Каскыр, Борис,

Чем история-то закончилась? Кому память слать ?

- Cableman

[Каскыр]

Каскыр, Борис,

Чем история-то закончилась? Кому память слать ?

- Cableman

Шлите Борису - история ещё не закончилась...
Я отъезжал на недельку. Форум поправился, чувствует себя хорошо, потому я и не торопился с отсылкой...