Высоконагруженный веб-сервер - вопросы установки/настройки

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
BAV_Lug
сержант
Сообщения: 299
Зарегистрирован: 2006-06-02 15:38:28
Откуда: Харьков

Высоконагруженный веб-сервер - вопросы установки/настройки

Непрочитанное сообщение BAV_Lug » 2012-01-12 19:19:01

Добрый вечер всем.
Давненько на форуме не появлялся, да и некогда все.
Встала тут перед мной задача установить и настроить сервак для своих проектов и проектов наших клиентов. Дабы не отпускать клиентов на чужие хостинги (да и вечно проблемы с чужими хостингами, то одного модуля не хватает, то другого).
Собрали следующую конфу под сервак.
Проц Intel Core i5 2500
Память DDR3 16Gb
А теперь самое интересное - дисковая подсистема
2 винта SATA3 на 2 ТБ
2 винта SSD Intel на 120 ГБ
Все собиралось, чтобы получилась поддержка АМТ потому как сервак будет находится в пятистах километрах от меня (прикольная кстати шняга этот AMT, но сейчас речь не об этом).

Изначально планировал, что обычные винты и ссдшки загоню в зеркала и на ссдшное зеркало поставлю систему, а обычные винты отдам под файлы проектов.
А теперь у меня возникла дилема - не лучше ли ссдшки целиком отдать под мускуль (как основное, на мой взгляд, узкое место), а систему и все остальное накатить на обычные винты. Есть ли смысл накатывать систему на ссдшки?
Накатывать планирую на zfs и зеркала ваять с ее же помощью.

Система будет фря 8.2
В качестве веб сервера будет стоять nginx+apache22(itk)+mod_php
В качестве панельки будет выступать syscp.

И да, еще, никогда раньше не настраивал серваки под большие нагрузки, ткните плз что почитать на эту тему. А то все, что мне попадается, такое чувство, что советы тянуться еще из 4 ветки фри и уже давно никто не помнит для чего это делается.
Последний раз редактировалось f_andrey 2012-01-12 19:23:08, всего редактировалось 1 раз.
Причина: Автору, выбирайте пожалуйста раздел соответствуюший тематике вашего сообщения.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

BAV_Lug
сержант
Сообщения: 299
Зарегистрирован: 2006-06-02 15:38:28
Откуда: Харьков

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение BAV_Lug » 2012-01-12 19:26:21

Ну если модератор считает, что это в эту ветку....
Хотя практики, если судить по инету, использования ссд дисков под фрей не много.

Аватара пользователя
Gendos
лейтенант
Сообщения: 801
Зарегистрирован: 2009-02-18 14:30:39
Откуда: АЗиОПА
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение Gendos » 2012-01-12 21:36:01

SSD под мусю или систему - ещё раз подумайте.
Да как удав! Работаю.

GhOsT_MZ
лейтенант
Сообщения: 662
Зарегистрирован: 2011-04-25 11:40:35
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение GhOsT_MZ » 2012-01-12 21:42:31

Ну почему бы и нет? Сейчас вроде как вышло новое поколение ССД, которое уже не так боится операций записи. Где-то читал, но пруф предоставить не смогу, да и на хабре вроде как видел обсуждение.

А вот и ссылочка:
http://www.xakep.ru/post/57813/default.asp

Аватара пользователя
Gendos
лейтенант
Сообщения: 801
Зарегистрирован: 2009-02-18 14:30:39
Откуда: АЗиОПА
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение Gendos » 2012-01-12 21:52:18

GhOsT_MZ писал(а):Ну почему бы и нет? Сейчас вроде как вышло новое поколение ССД, которое уже не так боится операций записи. Где-то читал, но пруф предоставить не смогу, да и на хабре вроде как видел обсуждение.

А вот и ссылочка:
http://www.xakep.ru/post/57813/default.asp
Я бы не рисковал, дорогая хорошая железяка россыпью в магазинах не лежит - простои денег стоят, а то что сейчас есть в продаже массово велком русская рулетка.
Да как удав! Работаю.

BAV_Lug
сержант
Сообщения: 299
Зарегистрирован: 2006-06-02 15:38:28
Откуда: Харьков

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение BAV_Lug » 2012-01-12 21:53:02

Gendos писал(а):SSD под мусю или систему - ещё раз подумайте.
Ну так пара их же. Да и интел щас уже 5 (ПЯТЬ!!!) лет гарантии дает на свои ссд, а это уже о чем-то да говорит. Никакой рейд не сравниться по скорости случайного доступа с ССД. Ну да это уже офтоп.

Аватара пользователя
Gendos
лейтенант
Сообщения: 801
Зарегистрирован: 2009-02-18 14:30:39
Откуда: АЗиОПА
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение Gendos » 2012-01-12 21:58:19

BAV_Lug писал(а):
Gendos писал(а):SSD под мусю или систему - ещё раз подумайте.
Ну так пара их же. Да и интел щас уже 5 (ПЯТЬ!!!) лет гарантии дает на свои ссд, а это уже о чем-то да говорит. Никакой рейд не сравниться по скорости случайного доступа с ССД. Ну да это уже офтоп.
Круто Kia тоже дает АЖ 5 лет гарантии на машины.......я бы подумал..:) Но это мне не о чем не говорит, кроме как о маркетинговом ходе.
Да как удав! Работаю.

GhOsT_MZ
лейтенант
Сообщения: 662
Зарегистрирован: 2011-04-25 11:40:35
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение GhOsT_MZ » 2012-01-12 21:59:08

Gendos писал(а):Я бы не рисковал, дорогая хорошая железяка россыпью в магазинах не лежит - простои денег стоят, а то что сейчас есть в продаже массово велком русская рулетка.
Ну почему? Если начали выпускать серверные решения большого объема, которые предполагают и надежность, и скорость, то поидее есть аналогичные решения для рабочих станций, так как технологии производства примерно одинаковые что у тех, что у других, следовательно, поотзовательские решения позаимствовали надежность серверных решений, или наоборот - серверверные решения позаимствовали ее, но это не суть важно, главное взаимосвязь.
Ну а если не нужны сумашедшие объемы (20 ТБ, как по ссылке), то пойдет и решение для рабочей станции, которого хватит за глаза для небольшого, но нагруженного сервера. Для надежности объединить 2 ССД в зеркало.

Аватара пользователя
Gendos
лейтенант
Сообщения: 801
Зарегистрирован: 2009-02-18 14:30:39
Откуда: АЗиОПА
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение Gendos » 2012-01-12 22:01:19

Не, консерватор я:) Вредный :) Боюсь всего нового необкатанного:)
Да как удав! Работаю.

ev
ст. лейтенант
Сообщения: 1322
Зарегистрирован: 2008-07-27 17:11:30
Откуда: Москва

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение ev » 2012-01-12 22:06:03

Сейчас вроде как вышло новое поколение ССД, которое уже не так боится операций записи.
технология осталась на прежнем уровне - т.е. они все еще "боятся операций записи"
контроллером они размазывают запись по всей памяти, но это усложняет прошивку (одна из причин множественных отказов) и накладывает ограничения на свободный объем

GhOsT_MZ
лейтенант
Сообщения: 662
Зарегистрирован: 2011-04-25 11:40:35
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение GhOsT_MZ » 2012-01-12 22:06:20

Gendos писал(а):Не, консерватор я:) Вредный :) Боюсь всего нового необкатанного:)
Ну это уже другой разговор) А если по теме, то краем уха слышал, что в нашем небольшом городке (Ростов-на-Дону) уже практикуется использование ССД под БД, но что там и как - я не в курсе, ибо не видел и не щупал, а только слышал, и то от большого начальника этой организации. Говорит, что доволен работой, и быстро, и пока косяков с надежностью не было.

GhOsT_MZ
лейтенант
Сообщения: 662
Зарегистрирован: 2011-04-25 11:40:35
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение GhOsT_MZ » 2012-01-12 22:08:26

ev писал(а):
Сейчас вроде как вышло новое поколение ССД, которое уже не так боится операций записи.
технология осталась на прежнем уровне - т.е. они все еще "боятся операций записи"
контроллером они размазывают запись по всей памяти, но это усложняет прошивку (одна из причин множественных отказов) и накладывает ограничения на свободный объем
И более того, это усложняет восстановление данных в случае чего, что конечно же минус. Хотя, с другой стороны, НЖМД тоже не вечны, механика ведь, да и их работа по большому счету непредсказуема, так что, панацеи в плане надежности попросту нету.

ev
ст. лейтенант
Сообщения: 1322
Зарегистрирован: 2008-07-27 17:11:30
Откуда: Москва

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение ev » 2012-01-12 22:10:56

что в нашем небольшом городке (Ростов-на-Дону) уже практикуется использование ССД под БД, но что там и как - я не в курсе, ибо не видел и не щупал, а только слышал
как в анекдоте: так то оно кончно правильно, но только
- не выиграл, а проиграл
- не в лото, а в покер
- не 500 рублей, а 2 тыс
- и не вчера, а 2 недели назад

что за бд? какие обращения? сколько? как долго работает?
если только чтение - то оно и 10 лет может проработать :) а если довольно специфическая запись, то и за месяц умрет :(
И более того, это усложняет восстановление данных в случае чего, что конечно же минус.
резервные копии дешевле ;)

Аватара пользователя
Gendos
лейтенант
Сообщения: 801
Зарегистрирован: 2009-02-18 14:30:39
Откуда: АЗиОПА
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение Gendos » 2012-01-12 22:12:30

GhOsT_MZ писал(а):
Gendos писал(а):Не, консерватор я:) Вредный :) Боюсь всего нового необкатанного:)
Ну это уже другой разговор) А если по теме, то краем уха слышал, что в нашем небольшом городке (Ростов-на-Дону) уже практикуется использование ССД под БД, но что там и как - я не в курсе, ибо не видел и не щупал, а только слышал, и то от большого начальника этой организации. Говорит, что доволен работой, и быстро, и пока косяков с надежностью не было.
Ну подпись у меня соответствующая:)
Да как удав! Работаю.

GhOsT_MZ
лейтенант
Сообщения: 662
Зарегистрирован: 2011-04-25 11:40:35
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение GhOsT_MZ » 2012-01-12 22:13:18

ev писал(а):как в анекдоте: так то оно кончно правильно, но только
- не выиграл, а проиграл
- не в лото, а в покер
- не 500 рублей, а 2 тыс
- и не вчера, а 2 недели назад

что за бд? какие обращения? сколько? как долго работает?
если только чтение - то оно и 10 лет может проработать :) а если довольно специфическая запись, то и за месяц умрет :(
Да в то и дело, слышал краем уха, и то, от управленца, а не от IT-ника, так что, подробностей никаких.
ev писал(а):резервные копии дешевле ;)
Кто ж спорит)

BAV_Lug
сержант
Сообщения: 299
Зарегистрирован: 2006-06-02 15:38:28
Откуда: Харьков

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение BAV_Lug » 2012-01-12 22:20:32

Ну использование ссд это уже дело решенное. Теперь хочу вернуться к вопросам из стартового поста. Как их рациональнее всего использовать на веб-сервере?

Мне тут еще мысля пришла, есть же еще сессии и логи которые пишут те-же нжинкс с апачем на пару. Может их тоже стоит на ссд писать? Бо на прилично загруженном серваке их может быть довольно много и это может(или нет???) стать узким горлышком.

FiL
ст. лейтенант
Сообщения: 1368
Зарегистрирован: 2010-02-05 0:21:40

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение FiL » 2012-01-13 6:26:11

а объемы какие? сколько базы, сколько логов, как много записи, как много чтения...
потому как как ни крути, а много писать на SSD таки не надо. Да и смысла нет, если честно. А вот читать оттуда можно быстро, да.

BAV_Lug
сержант
Сообщения: 299
Зарегистрирован: 2006-06-02 15:38:28
Откуда: Харьков

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение BAV_Lug » 2012-01-13 15:55:27

FiL писал(а):а объемы какие? сколько базы, сколько логов, как много записи, как много чтения...
потому как как ни крути, а много писать на SSD таки не надо. Да и смысла нет, если честно. А вот читать оттуда можно быстро, да.
А вот хз какие по итогу объемы выйдут. Остановился на том, что ссдшки буду использовать только под БД.

RedKid
проходил мимо

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение RedKid » 2012-01-13 16:00:05

Практика hiload подразумевает использование ssd для различного кеша, но никак не для системы и для логов.
Так что идеальное решение в плане дисков zfs raid 10 + ssd под кеширование контента.

У меня работает система довольно нагруженная, пул для данных zfs raid 10, пулл зеркало из 4 слайсов для системы,но без ssd, просто много памяти в которой создан диск на 64гига именно для кеширования, все летает.

BAV_Lug
сержант
Сообщения: 299
Зарегистрирован: 2006-06-02 15:38:28
Откуда: Харьков

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение BAV_Lug » 2012-01-19 23:13:55

С ссд определился.

А по тюнингу самой системы (8.2 amd64) подскажите, что почитать.

arkan
ст. прапорщик
Сообщения: 559
Зарегистрирован: 2008-08-03 19:58:13
Откуда: Новосибирск
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение arkan » 2012-01-20 10:12:03

я использую ssd почти с самого начала появления этих железок
с первыми моделями вдействительности были всякие мелочные траблы, но сейчас все работает не просто хорошо а отлично именно под FreeBSD 8.2-9.0
Саму систему ставить на SSD вообще смысла не вижу, хотя имеется у меня один роутер-IPSEC именно на SSD диске, проблемм нету, и работает на атоме

тут под высоконагруженный сервер все же лучше смотреть в сторону использования дисков в том плане что 2 винта по 2 тера в зеркале особо ни какой производительности и не дадут, а если еще и базы SQL размажутся по всему слайсу в 2 тера то скорость работы будет сразу же заметно падать при обработке
Диски большого обьема закупаю только на файловые сервера под файлопомойки, а там где нужна уже именно скорость то диски малого обьема в 10 Raid или 5 - вот тогда сразу будет заметна производительность
Кстати а SQL под ZFS уже нормально работает ? - давно не пробывал такую связку, а то помню год назад данный ресурс переводили на ZFS и что то было не айс это все

Для высоконагруженного сервера 4 дисков попарно в зеркале больно маловато - хотя у всех разные понятия высоконагруженные сервера

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение manefesto » 2012-01-20 11:35:37

леха тестировал мускуль на zfs, ему не понравилось.
заметный спад производительности.
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение manefesto » 2012-01-20 11:39:01

читай с этого сообщения http://forum.lissyara.su/viewtopic.php?p=216283#p216283
я такой яростный шо аж пиздеЦ
Изображение

arkan
ст. прапорщик
Сообщения: 559
Зарегистрирован: 2008-08-03 19:58:13
Откуда: Новосибирск
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение arkan » 2012-01-20 11:43:19

manefesto писал(а):читай с этого сообщения http://forum.lissyara.su/viewtopic.php?p=216283#p216283
Вот и я о том же
но это же было давненько... может сейчас что либо изменилось по скрещиванию муси и ZFS

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Высоконагруженный веб-сервер - вопросы установки/настрой

Непрочитанное сообщение manefesto » 2012-01-20 11:58:11

а ты попробуй, мало ли
там в размер блока упиралось, вроде как размер блока в zfs и то как читает mysql не совпадают.
хотя я не уверен что понятие блока в zfs присутствует
_http://habrahabr.ru/blogs/mysql/78895/
я такой яростный шо аж пиздеЦ
Изображение