MySQL под Solaris - есть знатоки?

Каскыр · Post by **Каскыр** » 09 Feb 2004 01:46

Все скомпилённое и установленное смахнул в подкаталог Installed.

Остаётся открытый вопрос: есть среди нас спецы, или только всезнайки-нехочухи?

Post by **Privet** » 09 Feb 2004 05:24

vovap wrote:
Siberian Cableman wrote:Между прочим кто работает медленнее: база возврашяет запрос, или phpBB генерит страницу? Может от этого и плясать?

База, конено.
Насколько вроде удалось разобраться моей тупости phpBB сам по себе с точки зрения нагрузки вообще не при чем.
Нагрузка определяется базой и реал-тайм сжатием страниц бибиотекой сжатия. (страници- то посылаются в сжатом виде и если вспомнить на каком канале мы сидим, только благодаря этому сайт и держится)
Наибольшая проблемма в базой - система поиска. Для ее обеспечения каждый пост при посте парсится на слова. они проверяются по таблице уникальных лексических элементов, если нет - заносятся туда. И ID слов заносятся в таблицу соответствия слов-постов. Потом на этом работает поиск.
Разумеется, такой механизм рождает колоссальный оверхед при каждм посте.
Теперешняя версия MySql имеет вроде уже полнотекстовый поск по мемо полям. Но так как PhpBB абстрагирована от специфики конкретной базы - она его не использует. Если бы удалось переделать поиск под этот механозм - это. вероятно, дало бы очень значительный выигрыш в общей производительности базы.

Я не думаю, что сжатие так много занимает процессорного времени. Основные потребители - phpBBи MySQL. Проблема в том, что ISAPI версия php sucks (об этом сразу предупреждается даже в инструкции) и я вынужден пользовать php.exe. Каждый запрос генерит новый процесс. В сумме они потребляют немало.
Сам поиск (select) работает относительно быстро. Большую нагрузку вызывает редактирование. Приходится убирать все ссылки на слова в старом сообщении и вставлять в таблицу ссылку на каждое слово опять.

Таким образом, просто разнос сайта на два сервера должен дать результат.

Каскыр · Post by **Каскыр** » 09 Feb 2004 05:44

Privet wrote:Я не думаю, что сжатие так много занимает процессорного времени. Основные потребители - phpBBи MySQL. Проблема в том, что ISAPI версия php sucks (об этом сразу предупреждается даже в инструкции) и я вынужден пользовать php.exe. Каждый запрос генерит новый процесс. В сумме они потребляют немало.
Сам поиск (select) работает относительно быстро. Большую нагрузку вызывает редактирование. Приходится убирать все ссылки на слова в старом сообщении и вставлять в таблицу ссылку на каждое слово опять.

Таким образом, просто разнос сайта на два сервера должен дать результат.

Тогда может мне действительно не возиться с MySQL, а ограничиться Apache+PHP?

Palych · Post by **Palych** » 09 Feb 2004 07:07

Privet wrote: Проблема в том, что ISAPI версия php sucks (об этом сразу предупреждается даже в инструкции) и я вынужден пользовать php.exe. Каждый запрос генерит новый процесс. В сумме они потребляют немало.
Сам поиск (select) работает относительно быстро. Большую нагрузку вызывает редактирование. Приходится убирать все ссылки на слова в старом сообщении и вставлять в таблицу ссылку на каждое слово опять.

Таким образом, просто разнос сайта на два сервера должен дать результат.

...или сузить проблему.
php.exe конечно нехорошо, нерационально, но судя по Вашему описанию, нагрузка происходит внутри определенных запрсов, когда процесс уже создан и загружен.
К тому же мы имеем дело с интенсивной записью в базу....
Мне видится два варианта:
1. MySQL тратит много сил на выполнение операций (запись, пересчет индексов, и т.д.).
2. Процесс записи реализован в сложном алгоритме, и PHP, будучи интерпретатором, "перегревается" на этом коде.
Борис, можно узнать какие процессы "прыгают" в списке отсортированном по CPU usage?
Глобальное решение проблемы было бы в применении очереди заданий на изменение словаря.
Но в любом случае разнос базы и логики должен помочь.

Что же касается поиска спеца - тут нужно присто кого-то назначить волевым решением. Тот кто в это впряжется уже будет задавать конкретные вопросы коллективному разуму.

И еще - мне кажется "торописса не надо!...",
"Лучше день потратим, а потом за 5 минут долетим".

Надобно определиться:
- Где что будет крутиться;
- Как будут переноситься данные (если будут);
- Какие версии ставить;
- Каковы требования данных версий (что добавлять, где брать)

Последние 2 пункта должен IMHO определять исполнитель при поддержке коллективного разума.

mbabayan · Post by **mbabayan** » 09 Feb 2004 08:05

Privet wrote:Я не думаю, что сжатие так много занимает процессорного времени. Основные потребители - phpBBи MySQL. Проблема в том, что ISAPI версия php sucks (об этом сразу предупреждается даже в инструкции) и я вынужден пользовать php.exe. Каждый запрос генерит новый процесс. В сумме они потребляют немало.
Сам поиск (select) работает относительно быстро. Большую нагрузку вызывает редактирование. Приходится убирать все ссылки на слова в старом сообщении и вставлять в таблицу ссылку на каждое слово опять.

Таким образом, просто разнос сайта на два сервера должен дать результат.

А может сменить веб-сервер на Win32 apache, и использовать модуль PHP ? тогда от оверхеда, связнанного с созданием процесса на каждый запрос, можно было бы избавиться.

Каскыр · Post by **Каскыр** » 09 Feb 2004 08:11

mbabayan wrote:
Privet wrote:Я не думаю, что сжатие так много занимает процессорного времени. Основные потребители - phpBBи MySQL. Проблема в том, что ISAPI версия php sucks (об этом сразу предупреждается даже в инструкции) и я вынужден пользовать php.exe. Каждый запрос генерит новый процесс. В сумме они потребляют немало.
Сам поиск (select) работает относительно быстро. Большую нагрузку вызывает редактирование. Приходится убирать все ссылки на слова в старом сообщении и вставлять в таблицу ссылку на каждое слово опять.

Таким образом, просто разнос сайта на два сервера должен дать результат.

А может сменить веб-сервер на Win32 apache, и использовать модуль PHP ? тогда от оверхеда, связнанного с созданием процесса на каждый запрос, можно было бы избавиться.

Всё, через пол часа будет Apache+php4+MySQL+phpBB под Solaris 8, спасибо prozaik!

Остаётся вопрос - кто в ближайшее время едет из SF Bay Area в Redmond, WA?

Siberian Cableman · Post by **Siberian Cableman** » 09 Feb 2004 08:19

Может проще отправит каким-нибудь UPS Ground. Дойдет на 3-4 дня, и будет стоить 25 долларов

vovap · Post by **vovap** » 09 Feb 2004 13:15

Privet wrote:Я не думаю, что сжатие так много занимает процессорного времени. Основные потребители - phpBBи MySQL.

Я склонен думать, что время уходит именно на сжатие. В максимуме оно жмет примерно 500КB в секунду - это все-таки прилично. Выяснить точно мы не можем - так как это DLL и она работает под главным процессом, то есть показывается как часть загрузки phpBB.
В сущности это не принципиально - важно разделение нагрузок между WEB частью и базой. 40/60 представляется мне хорошей оценкой.

vovap · Post by **vovap** » 09 Feb 2004 13:19

Palych wrote:1. MySQL тратит много сил на выполнение операций (запись, пересчет индексов, и т.д.).

Несомненно. Представьте себе небольшой пост даст штук 50 Insert. Кому же это понравится?

Palych · Post by **Palych** » 09 Feb 2004 16:01

vovap wrote:
Palych wrote:1. MySQL тратит много сил на выполнение операций (запись, пересчет индексов, и т.д.).

Несомненно. Представьте себе небольшой пост даст штук 50 Insert. Кому же это понравится?

Oracle budet schastliv...

Sorry za off-topic... :oops:

f_evgeny · Post by **f_evgeny** » 09 Feb 2004 17:51

mbabayan wrote:А может сменить веб-сервер на Win32 apache, и использовать модуль PHP ? тогда от оверхеда, связнанного с созданием процесса на каждый запрос, можно было бы избавиться.

Я думаю, что если это не апач 2, это не поможет. Так как апач 1.3 все равно на каждого клиента порождает процесс. На Юниксе это нормально, на Win32 нужно то же самое делать на тредах. Вроде Апач 2 так и сделан, хотя я win32 особо не интересуюсь.

mbabayan · Post by **mbabayan** » 09 Feb 2004 19:24

f_evgeny wrote:
mbabayan wrote:А может сменить веб-сервер на Win32 apache, и использовать модуль PHP ? тогда от оверхеда, связнанного с созданием процесса на каждый запрос, можно было бы избавиться.

Я думаю, что если это не апач 2, это не поможет. Так как апач 1.3 все равно на каждого клиента порождает процесс. На Юниксе это нормально, на Win32 нужно то же самое делать на тредах. Вроде Апач 2 так и сделан, хотя я win32 особо не интересуюсь.

Точно уже не помню, но по моему Апач 1.3 на вине делал это тредами.
Апач 2 - точно не порождает новых процессов, недавно его ставил и конфигурил под него РНР, правда для девелопмента, а не продакшн.

f_evgeny · Post by **f_evgeny** » 09 Feb 2004 19:57

mbabayan wrote:Точно уже не помню, но по моему Апач 1.3 на вине делал это тредами.
Апач 2 - точно не порождает новых процессов, недавно его ставил и конфигурил под него РНР, правда для девелопмента, а не продакшн.

В 1.3 - процессы. Я уверен, а завтра еще и проверю на работе.

Каскыр · Post by **Каскыр** » 09 Feb 2004 21:51

f_evgeny wrote:
mbabayan wrote:Точно уже не помню, но по моему Апач 1.3 на вине делал это тредами.
Апач 2 - точно не порождает новых процессов, недавно его ставил и конфигурил под него РНР, правда для девелопмента, а не продакшн.

В 1.3 - процессы. Я уверен, а завтра еще и проверю на работе.

Можете глянуть доки вот здесь http://66.127.248.52/ (пока не снесли)

Siberian Cableman · Post by **Siberian Cableman** » 09 Feb 2004 21:57

Эй, а почему ftp (plain text) открыт? закрыть и использовать только scp

ftp> open 66.127.248.52
Connected to 66.127.248.52.
220 frontend FTP server (SunOS 5.

ready.
User (66.127.248.52:(none)):