Тонкости настройки Apache, PHP, MySQL, Exim, Courier-IMAP

[proxyd]

Добрый день!!! Заранее хотел бы поблагодарить Автора сайта за столь интересный, и информативный ресурс, а также всех участников этого форума которые оказывают неоценимую помощь начинающим. Надеюсь, что и мне Вы не откажите в этой самой помощи.
Передомной была поставлена задача, настроить почтовый сервер, а также организовать виртуальный хостинг для наших клиентов. Все статьи относящиеся к данному вопросу я конечно же читал. Но меня больше беспокоят тонкости настройки, тюнинг, и тд. не рассматриваемые в данных статьях.
Теперь по порядку.
Конфигурация предполагаемого железа:
CPU: AMD Athlon 64 X2 Dual-Core 3600+
Memory: 2x1GB DDR II PC-6400(800MHz)
M/B: ASUS M2A-VM Socket AM2, AMD 690G, HT2000, Dual-Ch.DDR2 800,
PCI-eX16, Dual VGA(DVI/RGB), HD Audio, LAN 1Gb,SATAII 3.0Gb, RAID, EZ Flash 2, CrashFree BIOS 3.
HDD: 2x250GB 7200rpm, 16MB, SATA II-300

Софт:
OS: FreeBSD 7.0-RELEASE (amd64)
Bind 9.4.2
Apache 2.2.8
PHP 5.2.5
MySQL 5.1.23

Exim 4.69
Courier-IMAP 4.3.1

ProFTPD 1.3.1

Канал в мир: 100Mbit/s

Вопрос 1: С какими опциями необходимо перекомпилировать ядро чтобы достичь максимальной производительности данной системы. Если возможно прокомментировать каждую опцию?

Вопрос 2: Как скомпилировать Apache для оптимальной производительности?

Вопрос 3: Как правильно рассчитать значения параметров как: Timeout, MaxKeepAliveRequests, KeepAliveTimeout, StartServers , MinSpareServers, MaxSpareServers, MaxClients, MaxRequestsPerChild, и тд?

Вопрос 4: Как правильно определить объем занимаемой памяти конкретным процессом в моем случае это Apache?

Вопрос 5: Какой в действительности оптимальный размер процесса Apache, и что для этого необходимо сделать?

Вопрос 6: Как скомпилировать PHP для оптимальной производительности?

Вопрос 7: На какие переменные php.ini стоит обратить свое внимание для достижения максимальной производительности?

Вопрос 8: Какие самые часто используемые расширения php, и от каких лучше отказаться?

Вопрос 9: Как скомпилировать MySQL для оптимальной производительности?

Вопрос 10: На какие опции файла my.cnf нужно обратить внимание для увеличения производительности?

Вопрос 11: Какой тип таблиц лучше всего использовать и почему?

Вопрос 12: Для связи с базой данных лучше использовать сокет или порт?

Вопрос 13: С какими трудностями я столкнусь при большой нагрузке на MYSQL?

Вопрос 14: Как скомпилировать Exim для оптимальной производительности?

Вопрос 15: Как лучше всего организовать хранение почты пользователей?

Вопрос 16: Какой самый простой способ управления пользовательскими акаунтами?

Вопрос 17: Есть ли родная структура базы данных для Exim’a?

Вопрос 18: Как скомпилировать Courier-IMAP для оптимальной производительности?

Вопрос 19: Как скомпилировать ProFTPD для оптимальной производительности?

Вопрос 20: Как настроить ProFTPD для оптимальной производительности?

Вопрос 21: Какому пользователю принадлежат права на файлы и каталоги виртуальных пользователей которые находятся в базе данных MySQL. Для системных пользователей есть UID и GID как это дело обстоит у виртуальных пользователей.

Вопрос 22: Как лучше организовать структуру каталогов для виртуального хостинга.
Нужно ли выделять отдельную файловую систему для виртуальных хостов?

Остальные вопросы по мере обсуждения.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Morty]

Код: Выделить всё

Вопрос 1: С какими опциями необходимо перекомпилировать ядро чтобы достичь максимальной производительности данной системы. Если возможно прокомментировать каждую опцию?

SMP - у тебя 2 ядра
maxusers 512 (либо 1024) ограничение в системе должно быть в любом случае, влияет на процессы еще на много чего

Код: Выделить всё

Вопрос 2: Как скомпилировать Apache для оптимальной производительности?

Код: Выделить всё

APACHE_HARD_SERVER_LIMIT=yes
WITH_APACHE_PERF_TUNING=yes
APACHE_HARD_SERVER_LIMIT=512

это как МИНИМУМ должно быть (анологично с яром 512 либо 1024)

Вопрос 3: Как правильно рассчитать значения параметров как: Timeout, MaxKeepAliveRequests, KeepAliveTimeout, StartServers , MinSpareServers, MaxSpareServers, MaxClients, MaxRequestsPerChild, и тд?

будешь смотреть в ходе работы, для начала можно по умолчниаю оставить - не умрет

Вопрос 7: На какие переменные php.ini стоит обратить свое внимание для достижения максимальной производительности?

тоже скорее всего будет видно потом, например если не известно сколько сейчас нада поставить время исполнения скрипта
max_execution_time = ??? если особенно не известно что сайт(ы) ьудут хотеть от пхп

Вопрос 8: Какие самые часто используемые расширения php, и от каких лучше отказаться?

лучше пообщаться с вэб челом - спросить что ему нада , но чаше всего 80 % модулей -))
но fribidi лучше не ставить, хотя бы потому что оно по дурацки собираеться , ну и еще не разу не видел чтобы оно кому то было нада

Вопрос 9: Как скомпилировать MySQL для оптимальной производительности?

собирай с тредами, с какой кодировкой - хз это отдельная тема для обсуждения, но лучше четко решить сразу
дабы потом не ловить камни в свой огород ....
вот мое

Код: Выделить всё

#----- Make conf per lia MYSQL
DEFAULT_MYSQL_VER=50
PORTSDIR?=      /usr/ports
.if ${.CURDIR} == ${PORTSDIR}/databases/mysql50-server
WITH_CHARSET=cp1251
WITH_COLLATION=cp1251_bin
BUILD_OPTIMIZED=yes
BUILD_STATIC=yes
WITH_LINUXTHREADS=yes
WITHOUT_INNODB=yes
.endif
.if ${.CURDIR} == ${PORTSDIR}/databases/mysql50-client
WITH_CHARSET=cp1251
WITH_COLLATION=cp1251_bin
BUILD_OPTIMIZED=yes
.endif
#---- Finito make conf per lia Mysql

Вопрос 10: На какие опции файла my.cnf нужно обратить внимание для увеличения производительности?

всё что buffer
так же посик по слову CPU и выставляешь ....

Вопрос 12: Для связи с базой данных лучше использовать сокет или порт?

сущесвтует мнение что через сокет - резче , но хз, у меня МУСЯ на сокете+петля

Вопрос 13: С какими трудностями я столкнусь при большой нагрузке на MYSQL?

может жеско загрузить проц, но если все будет гуд в my.cnf в направлении треды,проц, буферы то не должно,
либо будет блочиться, и все что будет пытаться обращаться в базу будет курить в окопе

Вопрос 22: Как лучше организовать структуру каталогов для виртуального хостинга.
Нужно ли выделять отдельную файловую систему для виртуальных хостов?

лучше каждый вирт хост держать в хомяке пользака который будет туда же черутиться по фтп
Либо ФТП также настривать как и апач - с виртуальными хостами, но тут возможно грабли повылазят

[hizel]

слишком много сервисов
что хорошо для одного сервиса плохо сказывается на другом
я бы их разнес на несколько девайсов
и дальше тонко рулили

и если вы читали статьи\документацию\форумы\списки рассылок
то по каждому вопросу у вас должно было бы уже сформироваться свое мнение

[Morty]

ну разносить или нет это уже нада смотреть на это со стороны ценовой целесообразности,
у меня есть железка намного слабее процом(остальное либо почти такое же либо слабее) и там стоит все это добро что автор спрашивает (кроме Курьера правда)
почтовых ящиков на сегодня около 270, и сайтов гдето до 10 - 15 но они не собо по хитам, 1-2 сайта на нем каждый по
100.000 хитов в день(если верить awstats), остальные по 3.000 - 30.000

и я не вижу не одной причины например разделять этот сервер на подсервреры - он себя окупает, с задачами справляеться,
проблем нет

Тоесть: нужно все прощитать финансовую сторну, нагрузку, поставленные задачи. Не покупать же под 5 сайтов отдельный сервак ? это же смешно

[Morty]

кстати советую в конфиг добавить еще один винт - для бэкапов
либо внутр сервака, либо внешний юсб, довольно удобно особенно если в будущем понадобиться
что-то проверить (протестить на новом)либо пернести снимешь дампы на юсб внешний винт и всю инфу, и спокойно
уйдешь не включая/выключая/перезагружая/разбирая(нужное подчеркнуть) серв имея все данные на винте

[proxyd]

SMP - у тебя 2 ядра
maxusers 512 (либо 1024) ограничение в системе должно быть в любом случае, влияет на процессы еще на много чего

С SMP все понятно для двух ядерного проца опция нужная, но там есть еще вот такой интересный device mptable. Что это такое и с чем его едят. Нужно ли его мне использовать?

А как Вы расчитываете этот maxusers? Читал что посуте это максимальное число запущенных процессов. И еще помоему гдето слышал что если эту опцию не указывать или установить в ноль. Тогда ОС сама определит это значение в зависимости от доступной памяти.

[proxyd]

Еще интересуют вот такие опции:

Код: Выделить всё

options         NMBCLUSTERS # ?
# Три опции ниже определяющие потребление системных ресурсов системы, 
# у когото был опыт использования даных опций в контексте повышения производительности?
options         MAXDSIZ=(1024UL*1024*1024)
options         MAXSSIZ=(128UL*1024*1024)
options         DFLDSIZ=(1024UL*1024*1024)

options         BLKDEV_IOSIZE=8192 # ?
# Наличие данных опций в ядре требует сам Apache2.x, но вот для чего они нужны?
options         ACCEPT_FILTER_DATA
options         ACCEPT_FILTER_HTTP
# С точки зрения безопасности позволяет предотвратить сканирование портов
# но почемуто не рекомендовано использовать для веб-серверов. Почему?
options         TCP_DROP_SYNFIN
# Поводу софт апдейта слышал два противоречивых мнения, одни советуют другие нет
# Я так понимаю с этой опцией увеличивается производительность дисковой подсистемы, а также
# шансы потерять информацию. Что посоветуете?  
options         SOFTUPDATES
# На тот случай если понадобится установить ограничение дискового пространства для пользователей.
options         QUOTA
options         HZ=100 # ?
# Позволяют манипулировать mbuf размера кластера, как это можно использовать
# для настройки максимальной производительности сети?
options         MCLSHIFT=12
options         MSIZE=512

options         MAXFILES=999 # ?
options         MAXMEM=(128*1024) # ?
# Я так понимаю чтото связано с частотой процессора?
device          cpufreq
device          hwpmc # ?
options         IPI_PREEMPTION # ?
options         MP_WATCHDOG # ?

Если кто знает еще какие опции для повышения производительности, пишите!!!

[proxyd]

Если вы читали статьи\документацию\форумы\списки рассылок
то по каждому вопросу у вас должно было бы уже сформироваться свое мнение

Свое мнение у меня сформировано, но поверте лучше учится на чужих ошибках чем на своих.
Что касается разнести сервисы по разным серверам то Morty верно подметил с финансовой точки зрения не целесообразно. С другой стороны работают же довольно таки нагруженные хостинг сервера с таким набором сервисов и нечего. Главное грамотно настроить. Вот собственно за этим я сюда и обратился.

[proxyd]

Лучше каждый вирт хост держать в хомяке пользака который будет туда же черутиться по фтп
Либо ФТП также настривать как и апач - с виртуальными хостами, но тут возможно грабли повылазят

Какие грабли Вы имеете ввиду? В /home монтируем отдельную файловую, или он в составе /usr?

[Morty]

луче /home как отдельный раздел...а глюки - внимательно настраивать чтоб не окозалось что кому-то удалось выйти "за чрут" ...
что-то подобное тут пролетало...давно только
вот это

options TCP_DROP_SYNFIN

чтоб порты не сканили на серваке...но необходимость сомнительна 50%/50%, если у тебя будет
25,110,143,80 - об этом и так все знают , их сканировать не обязательно, можно просто "тыкнуть в них"
Более важны настройки каждого демона висящих на этих портах, чем сканирование портов. Но можно и вкл -)
эти

options ACCEPT_FILTER_DATA
options ACCEPT_FILTER_HTTP

когда то тоже юзал - зачем уже сам не помню, и выключил - за ненадобностью
остальное не юзал

[Morty]

процессы можно щитать по такой формуле
16*maxusers+20 (либо без +20 , как запас)
тоесть 16*512+20=~8212 помоему этого с головой достаточно
у меня 512 юзаеться практически везде - шлюзы, прокси squid c AD авториз, и на почт+сайты серваке
покачто в практике это лучшее занчение, скажем проблем с этим не было

PS: не советую ставить на автопилот maxusers = 0 , а определить потолок

[dikens3]

# Наличие данных опций в ядре требует сам Apache2.x, но вот для чего они нужны?
options ACCEPT_FILTER_DATA
options ACCEPT_FILTER_HTTP

netstat -Lan и смотри на значения (первое и второе). По умолчанию там только нули. Описание не помню что за что отвечает.

[proxyd]

А кто что может сказать по поводу ограничивает размер очереди для приема новых TCP соединений (Переменная: sysctl kern.ipc.somaxconn). В руководстве сказано что значение 128 слишком мало для загруженного Веб-сервера. Как расчитывается данная величина?

[proxyd]

Код: Выделить всё

APACHE_HARD_SERVER_LIMIT=yes
WITH_APACHE_PERF_TUNING=yes
APACHE_HARD_SERVER_LIMIT=512

Что то мне так кажется что эти строчки в /etc/make.conf абсолютно бесполезны для Apache 2.2.8

[paix]

к автору топика, совет:

взять путевую книгу и почитать.
Помните: очень просто потерять то, что не достигнуто собственным трудом на практике.

Какие цели вы преслудете? какая мистическая оптимальная производительность? чушь.
какие оптимизации? юзайте дефолт. дешевле будет себе и людям.
юзайте дефолт, пока не поймете, что вам что-то действительно нужно оптимизировать, пока не поймете зачем оптимизировать и что вы хотите получить. Юзайте дженерик! Наковыряв разных хитроумных опций ядра вы думаете система стала лучше работать? фиг!

зачем, поллинг 100? зачем какието максдирсайз на амд64 ? там и так под кернел спейс 2Гига по дефолту выделено(это столько, сколько у вас всего)
дефолт!!!

зачем оптимизации? для того же мускиля в 7ке оптмизации не актуальны, совет годится для 6ки.
SMP в 7ке тоже в дженерике.

какой апач? для чего? хард сервер лимиты и прочая бодяга...оптимизация мега модного веб сервера? чушь. Поставьте нжинкс! апач тихонько курит в сторонке...
часто вот такие оптимизации заканчиваются совершенно нерабочими сервисами.

Не увлекайтесь оптимизацией. 20% оптимизаций дают 80% результата (правило Паретто). Правильная оптимизация - это выбор правильных технологий!
Еще раз, сделайте все по дефолту, начинайте изучать систему, и когда поймете что что-то нужно оптимизировать - вперед, но самое главное - это стабильность.

(имхо)

[proxyd]

К автору топика, совет:
Какие цели вы преслудете? какая мистическая оптимальная производительность? чушь.
...

Ну давайте порассуждаем о том как корабли бороздят космическое пространство.
Цель: Построить максимально производительную систему, в рамках своего железа и пропускной способности канала.

Наковыряв разных хитроумных опций ядра вы думаете система стала лучше работать? фиг!

Для чего нужна перекомпиляция ядра написано в Хендбуке.
GENERIC это универсальное ядро, а это значит что оно не может лутше работать просто по определению. Зачем мне вкомпиленые устройства которых у меня нет, или которыми я пользоваться не буду. Тем более перекомпелированное ядро во многих случаях меньше дефолтного в двое. И это помоему достаточно весомые аргументы для того чтобы это делать.

какой апач? для чего? хард сервер лимиты и прочая бодяга...

Зачем мне дефолтный Apache, MySQL и т.д. если они не смогут обслужить 100Мбитный канал.

Еще раз, сделайте все по дефолту, начинайте изучать систему, и когда поймете что что-то нужно оптимизировать - вперед

Когда понимаешь что тебе нужна оптимизация, как правило уже слишком поздно. Намного более правильный способ, это предусмотреть все заблаговременно. Расчитать предполагаемую нагрузку, предусмотреть возможность масштабирования и т.д. и т.п.
Ну а если хочется получить много гемора, тогда поставить все по дефолту это самый верный способ.

[Alex Keda]

знаете, чтобы обслужить на динамике 100 мегабитный канал...
вобщем надо очень мощный сервер... санки там, на 52 бошки или типа того...
или картинки рздавать увесистые...
в первом случае - расскажите как вы на санки поставили фряху.
во втором - лучше юзать нгинкс.
во всех остальных случаях - перечитайте что написал Паикс...
=========

Код: Выделить всё

hosting# uname -a
FreeBSD hosting.lissyara.su 7.0-RC1 FreeBSD 7.0-RC1 #0: Mon Dec 24 10:10:07 UTC 2007     root@driscoll.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC  amd64
hosting#   

и мне покласть на оптимизации.
нефига сопли ловить в проценты - я лучше буду на дженерике сидеть.