Помогите выбрать железо для файлового сервера
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
-
- рядовой
- Сообщения: 14
- Зарегистрирован: 2009-03-07 13:58:02
- Откуда: Беларусь, Минск
- Контактная информация:
Помогите выбрать железо для файлового сервера
Поставило руководство задачу : сбросить всю нашу информацию, что храниться на оптических дисках, на сервер и раздавать это все по самбе (места много занимает(с)). Посчитав количество дисков получилось что-то около 20 Тб .
Бюджет выделили под это в 8000$.
Так как я приверженец FreeBSD, то сразу же посмотрел в сторону ZFS, посидел в инете почитал, что о ней пишут. Вроде как все должно быть в шоколаде, подводных камней особо нет. Думаю собрать RAID-Z двойной четности.
Только остается определиться с железом. Что лучше купить? Думал взять что нибудь на базе шасси Supermicro SC836E2-R80? Но встают вопросы сколько оперативки ставить на борт(решил что хватит 4 Gb), какие(какой) процессоры (думаю взять два Xeon DP 5504),в качестве материнской платы выбрал SuperMicro X8DTL-iF, контроллер SuperMicro AOC-SASLP-H8iR и 12 HDD 2Tb 7200rpm 64MB SATA Baracuda XT Seagate. Но раз ZFS, то RAID контроллер не нужен, но как тогда подключить все эти винты...
Помогите пожалуйста с выбором конфигурации, никогда не сталкивался с такими задачами.
P.S. А может вообще не заморачиваться и просить деньги на брендовый NAS?
Бюджет выделили под это в 8000$.
Так как я приверженец FreeBSD, то сразу же посмотрел в сторону ZFS, посидел в инете почитал, что о ней пишут. Вроде как все должно быть в шоколаде, подводных камней особо нет. Думаю собрать RAID-Z двойной четности.
Только остается определиться с железом. Что лучше купить? Думал взять что нибудь на базе шасси Supermicro SC836E2-R80? Но встают вопросы сколько оперативки ставить на борт(решил что хватит 4 Gb), какие(какой) процессоры (думаю взять два Xeon DP 5504),в качестве материнской платы выбрал SuperMicro X8DTL-iF, контроллер SuperMicro AOC-SASLP-H8iR и 12 HDD 2Tb 7200rpm 64MB SATA Baracuda XT Seagate. Но раз ZFS, то RAID контроллер не нужен, но как тогда подключить все эти винты...
Помогите пожалуйста с выбором конфигурации, никогда не сталкивался с такими задачами.
P.S. А может вообще не заморачиваться и просить деньги на брендовый NAS?
Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- Alex Keda
- стреляли...
- Сообщения: 35466
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
берите уже чёнить
смотрите тока чтоб железо поддерживаемое было
смотрите тока чтоб железо поддерживаемое было
Убей их всех! Бог потом рассортирует...
-
- рядовой
- Сообщения: 14
- Зарегистрирован: 2009-03-07 13:58:02
- Откуда: Беларусь, Минск
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
Хитрый та какой, берите а потом рассказывайте как с бубном танцевали )).
Подсказал, рассказал бы лучше... Например как сильно грузиться процессор при активном использовании (Хотя мое скромное мнение, что проца и одного хватит с головой и памяти можно поменьше (все-таки это там файлы будут только лежать и раздаваться по сети, никакой обработки...)).
Расскажи, пожалуйста, кто на каком железе собирал свои файловые серверы (хотя бы на 5-7 Тб)?
P.S. Закупка будет в середине лета, так что надо все взвесить, мне ведь потом с этим сервером работать и с меня спрос...
Подсказал, рассказал бы лучше... Например как сильно грузиться процессор при активном использовании (Хотя мое скромное мнение, что проца и одного хватит с головой и памяти можно поменьше (все-таки это там файлы будут только лежать и раздаваться по сети, никакой обработки...)).
Расскажи, пожалуйста, кто на каком железе собирал свои файловые серверы (хотя бы на 5-7 Тб)?
P.S. Закупка будет в середине лета, так что надо все взвесить, мне ведь потом с этим сервером работать и с меня спрос...
- Alex Keda
- стреляли...
- Сообщения: 35466
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
HP пролиант
два двухядрёных оптерона, 4 гига рамы
дисковай полка по SAS подрублена с 12 SAS дисками.
вообще полок три - две SAS и одна SATA - под бэкапы...
всё летает )
и никаких zfs не надо
два двухядрёных оптерона, 4 гига рамы
дисковай полка по SAS подрублена с 12 SAS дисками.
вообще полок три - две SAS и одна SATA - под бэкапы...
всё летает )
Код: Выделить всё
filez1# df -h
Filesystem Size Used Avail Capacity Mounted on
/dev/label/tmpROOT 19G 12G 5.7G 68% /
devfs 1.0K 1.0K 0B 100% /dev
/dev/label/dataFS 1.6T 1.3T 333G 80% /shares/data
/dev/label/backupFS 6.6T 1.0T 5.5T 16% /shares/backup
/dev/label/dataTMP 2.6T 940G 1.7T 35% /shares/second
filez1# mount
/dev/label/tmpROOT on / (ufs, local, soft-updates)
devfs on /dev (devfs, local)
/dev/label/dataFS on /shares/data (ufs, local, soft-updates, acls)
/dev/label/backupFS on /shares/backup (ufs, local, soft-updates, acls)
/dev/label/dataTMP on /shares/second (ufs, local, soft-updates, acls)
filez1#
Убей их всех! Бог потом рассортирует...
-
- рядовой
- Сообщения: 14
- Зарегистрирован: 2009-03-07 13:58:02
- Откуда: Беларусь, Минск
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
Хочется все-таки потестить ZFS ))
Лис, а какой пролиант у вас стоит(поподробнее пожалуйста конфигурацию, особенно контроллер интересует)?
Лис, а какой пролиант у вас стоит(поподробнее пожалуйста конфигурацию, особенно контроллер интересует)?
- hizel
- дядя поня
- Сообщения: 9032
- Зарегистрирован: 2007-06-29 10:05:02
- Откуда: Выборг
Re: Помогите выбрать железо для файлового сервера
Лис меня обошёл
http://forum.lissyara.su/viewtopic.php? ... =0#p241943
обычный контроллер и 6-ть жестяков под БД
не жалуемся
http://forum.lissyara.su/viewtopic.php? ... =0#p241943
обычный контроллер и 6-ть жестяков под БД
Код: Выделить всё
CPU: Intel(R) Core(TM)2 Quad CPU Q9505 @ 2.83GHz (2826.27-MHz K8-class CPU)
atapci1: <Intel ICH9 SATA300 controller> port 0x2408-0x240f,0x2414-0x2417,0x2400-0x2407,0x2410-0x2413,0x2020-0x203f mem 0xe1a21000-0xe1a217ff irq 21 at device 31.2 on pci0
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.
- Alex Keda
- стреляли...
- Сообщения: 35466
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
380 какойтоfirefly писал(а):Хочется все-таки потестить ZFS ))
Лис, а какой пролиант у вас стоит(поподробнее пожалуйста конфигурацию, особенно контроллер интересует)?
контроллер - p800
Убей их всех! Бог потом рассортирует...
-
- проходил мимо
- Сообщения: 5
- Зарегистрирован: 2010-05-31 6:15:28
Re: Помогите выбрать железо для файлового сервера
Тогда - лучше на NexentaStor. Там тот же ZFS.firefly писал(а):P.S. А может вообще не заморачиваться и просить деньги на брендовый NAS?
-
- ст. лейтенант
- Сообщения: 1375
- Зарегистрирован: 2010-02-05 0:21:40
Re: Помогите выбрать железо для файлового сервера
Памяти много не бывает
Вообще софтовый рейд вещь приятная в плане цены, но все-таки несколько более требовательная к админу в плане работы, чем железный рейд.
Но с другой стороны, если вдруг контроллер учудит, то софтовый рейд разгребать проще, чем остатки после сдохшего железного контроллера
В общем, если решение строить именно софтовое решение уже принято, то единственное, на что имеет смысла обратить внимание - это на то, чтобы контроллер (а их все равно покупать, ибо к маме 12 дисков не подключишь) понимал NCQ. Что-то вроде RocketRAID 2320. Исходя из цены вопроса, диски кроме как SATA обычные не поставишь, так хоть их возможности надо использовать на полную. Хотя если в бюджет влезет, то я-бы всетаки советовал WD RE4 (ну или если хочется Seagate, то Constellation ES). Реально разницы мало, но душа будет спокойнее.
20Тб массивы мне пока строить не приходилось, но 10+ несколько штук у меня крутится. В том числе и под софтовым рейдом. Работает себе и работает. Скорость не ахти, но мне вроде и спешить некуда.
Вообще софтовый рейд вещь приятная в плане цены, но все-таки несколько более требовательная к админу в плане работы, чем железный рейд.
Но с другой стороны, если вдруг контроллер учудит, то софтовый рейд разгребать проще, чем остатки после сдохшего железного контроллера
В общем, если решение строить именно софтовое решение уже принято, то единственное, на что имеет смысла обратить внимание - это на то, чтобы контроллер (а их все равно покупать, ибо к маме 12 дисков не подключишь) понимал NCQ. Что-то вроде RocketRAID 2320. Исходя из цены вопроса, диски кроме как SATA обычные не поставишь, так хоть их возможности надо использовать на полную. Хотя если в бюджет влезет, то я-бы всетаки советовал WD RE4 (ну или если хочется Seagate, то Constellation ES). Реально разницы мало, но душа будет спокойнее.
20Тб массивы мне пока строить не приходилось, но 10+ несколько штук у меня крутится. В том числе и под софтовым рейдом. Работает себе и работает. Скорость не ахти, но мне вроде и спешить некуда.
-
- проходил мимо
- Сообщения: 5
- Зарегистрирован: 2010-05-31 6:15:28
Re: Помогите выбрать железо для файлового сервера
Смотря чего использовать как софтовый RAIDFiL писал(а):Памяти много не бывает
Вообще софтовый рейд вещь приятная в плане цены, но все-таки несколько более требовательная к админу в плане работы, чем железный рейд.
Но с другой стороны, если вдруг контроллер учудит, то софтовый рейд разгребать проще, чем остатки после сдохшего железного контроллера
Если RAID-Z, то требовательный он только на этапе первоначального конфигурирования.
-
- ст. лейтенант
- Сообщения: 1375
- Зарегистрирован: 2010-02-05 0:21:40
Re: Помогите выбрать железо для файлового сервера
wishful thinking.umik писал(а): Смотря чего использовать как софтовый RAID
Если RAID-Z, то требовательный он только на этапе первоначального конфигурирования.
При сбое диска в железном рейде надо подойти, выдернуть дохлый диск, вставить новый и идти дальше пить пиво.
При сбое диска в софтовом рейде надо подойти к консоли или терминалу, вывести диск в оффлайн, пойти поменять диск, вернуться к терминалу и вывести диск онлайн, дать команду на замену. И только тогда идти пить пиво. Несколько сложнее
В 9 случаях из 10 пофик. Но в одном из 10 таки рядом с серваком оказывается только человек, которого пускать в консоль никак нельзя. Диск заменить физически он может, а вот кнопки давить некому.
-
- проходил мимо
- Сообщения: 5
- Зарегистрирован: 2010-05-31 6:15:28
Re: Помогите выбрать железо для файлового сервера
Э, нет.FiL писал(а):wishful thinking.umik писал(а): Смотря чего использовать как софтовый RAID
Если RAID-Z, то требовательный он только на этапе первоначального конфигурирования.
При сбое диска в железном рейде надо подойти, выдернуть дохлый диск, вставить новый и идти дальше пить пиво.
При сбое диска в софтовом рейде надо подойти к консоли или терминалу, вывести диск в оффлайн, пойти поменять диск, вернуться к терминалу и вывести диск онлайн, дать команду на замену. И только тогда идти пить пиво. Несколько сложнее
В 9 случаях из 10 пофик. Но в одном из 10 таки рядом с серваком оказывается только человек, которого пускать в консоль никак нельзя. Диск заменить физически он может, а вот кнопки давить некому.
Если железо, к которому подключены диски RAID-Z, допускает горячую замену, то процедура не отличается от железного RAID
-
- ст. лейтенант
- Сообщения: 1375
- Зарегистрирован: 2010-02-05 0:21:40
Re: Помогите выбрать железо для файлового сервера
ну я спорить не буду, сам с raid-z не игрался. Но вроде все мануалы настоятельно утверждают, что ни в коем случае нельзя выдергивать сдохший диск, пока не вывел его в оффлайн. Возможно, что они не рассматривают вариант горячей замены по какой-то причине. не знаю.
-
- ст. прапорщик
- Сообщения: 559
- Зарегистрирован: 2008-08-03 19:58:13
- Откуда: Новосибирск
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
Я на бывшей работе не стал заморачиваться и купил обыкновенное железо десктопное где побольше PCI слотов
и повтыкал туда уже RAID контроллеров (на каждом по 4 винта висит попарно в зеркале)
жесткие диски террабайтники
оперативки 2 гига тогда ставил - потом вроде как еще столько же добавили
процц обыкновенный 2 ядерник на 2.0
и очень даже хорошая файлопомойка получилась
Общаюсь с тамошними системщиками кто там до сих пор работает и говорят ниразу проблемм и небыло за 4 года
и ненадо 8 килобаксов на это выкладывать
и повтыкал туда уже RAID контроллеров (на каждом по 4 винта висит попарно в зеркале)
жесткие диски террабайтники
оперативки 2 гига тогда ставил - потом вроде как еще столько же добавили
процц обыкновенный 2 ядерник на 2.0
и очень даже хорошая файлопомойка получилась
Общаюсь с тамошними системщиками кто там до сих пор работает и говорят ниразу проблемм и небыло за 4 года
и ненадо 8 килобаксов на это выкладывать
- manefesto
- Группенфюррер
- Сообщения: 6934
- Зарегистрирован: 2007-07-20 8:27:30
- Откуда: Пермь
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
терабайтники уже были 4 года назад ???
-
- ст. лейтенант
- Сообщения: 1375
- Зарегистрирован: 2010-02-05 0:21:40
Re: Помогите выбрать железо для файлового сервера
В 2007-м появились.manefesto писал(а):терабайтники уже были 4 года назад ???
С десктопным железом проблема в том, что в него много дисков не напихаешь. штук 8 обычно предел.
Ну и PCI для RAID-a - это очень хреново. У PCI-шины пропускная способность всего 1 гигабит. (33 мегагерца на 32 бита).
А это для массива из 8-и дисков уже маловато.
-
- проходил мимо
Re: Помогите выбрать железо для файлового сервера
ну можна поставить в pci-e и будет тебе пропускная способность....
- Gendos
- лейтенант
- Сообщения: 801
- Зарегистрирован: 2009-02-18 14:30:39
- Откуда: АЗиОПА
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
Что вы так за пролиантами гоняетесь, чем фуджики хуже?
Да как удав! Работаю.
- Alex Keda
- стреляли...
- Сообщения: 35466
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
не счупал даже...Gendos писал(а):Что вы так за пролиантами гоняетесь, чем фуджики хуже?
выложи
Код: Выделить всё
dmesg
Код: Выделить всё
pciconf -lv
Убей их всех! Бог потом рассортирует...
- Gendos
- лейтенант
- Сообщения: 801
- Зарегистрирован: 2009-02-18 14:30:39
- Откуда: АЗиОПА
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
Как всегда ниже пояса. Я про альтернативу.Alex Keda писал(а):не счупал даже...Gendos писал(а):Что вы так за пролиантами гоняетесь, чем фуджики хуже?
выложиКод: Выделить всё
dmesg
да собственные впечаления...Код: Выделить всё
pciconf -lv
У меня то как раз нет, сам посчупать желаю, но долбанные "корпоративные правила" HP HP HP.
У...пробовал я с региональным FS общался на тест железку предлагали, но с условие если ты докажешь, что железка кал, тады можешь отказаться - это субъективно.
Короче воевал я за FS одно время в одной конторе, мол пацаны MTBF будьте добры (думал хрен) паралельно запрос в HP на тоже самое примерно по классу уровню комплектации. Короче от hp красивая бумажка с грифом конфидециально на стандартную комплектуху с сайта - отмазка. FS на третий день от запроса звонит гер. хрен знает как, просит меня к телефону уточнить параметры железа и условия размещения , говорит жди 4-ре дня, присылаюь офицальное письмо где конкретно была расчитанна моя конфигурация. Отношение к потенциальному покупателю радует. Ну да ладно дело прошлого. Потом как то разговорились с приятелем о FS грит железяка аскетична, но надежна, главное его удовлетворяло какчество -грамотно подобранное железо.
Да как удав! Работаю.
- Alex Keda
- стреляли...
- Сообщения: 35466
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
ну, тоесть как на них фря будет жить - ы не знаешь...
про пролианты точно извесно - что жить будет хорошо.
поэтому - выбор очевиден
=========
через месячишко 380 G6 должен приехать почти в максимальной комплектухе.
эти ещё не счупал...
про пролианты точно извесно - что жить будет хорошо.
поэтому - выбор очевиден
=========
через месячишко 380 G6 должен приехать почти в максимальной комплектухе.
эти ещё не счупал...
Убей их всех! Бог потом рассортирует...
- Dorlas
- сержант
- Сообщения: 257
- Зарегистрирован: 2008-07-18 22:17:49
Re: Помогите выбрать железо для файлового сервера
Пример небольшого домашнего файлового сервера (tower):
Корпус:
http://market.yandex.ru/model.xml?model ... &suggest=1
Боксы для винтов:
http://www.klamas.ru/catalog/default.as ... id=8338220
Код: Выделить всё
samba# zpool list
NAME SIZE USED AVAIL CAP HEALTH ALTROOT
tank 10.2T 4.00T 6.23T 39% ONLINE -
Код: Выделить всё
samba# zpool status
pool: tank
state: ONLINE
scrub: none requested
config:
NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
raidz1 ONLINE 0 0 0
ad1 ONLINE 0 0 0
ad2 ONLINE 0 0 0
ad3 ONLINE 0 0 0
ad22 ONLINE 0 0 0
ad24 ONLINE 0 0 0
raidz1 ONLINE 0 0 0
ad4 ONLINE 0 0 0
ad8 ONLINE 0 0 0
ad10 ONLINE 0 0 0
ad14 ONLINE 0 0 0
ad16 ONLINE 0 0 0
errors: No known data errors
http://market.yandex.ru/model.xml?model ... &suggest=1
Боксы для винтов:
http://www.klamas.ru/catalog/default.as ... id=8338220
- Gendos
- лейтенант
- Сообщения: 801
- Зарегистрирован: 2009-02-18 14:30:39
- Откуда: АЗиОПА
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
Ктонибудь вывалите dmesg PRIMERGY RX330 S1 - интерестно, что там.
Да как удав! Работаю.
- Gendos
- лейтенант
- Сообщения: 801
- Зарегистрирован: 2009-02-18 14:30:39
- Откуда: АЗиОПА
- Контактная информация:
Re: Помогите выбрать железо для файлового сервера
Ммммм покапался немного расстроен...если верить что енто там впихнуто
Мать чипсет Broadcom HT1000
Дисковая подсистема LSI 1068
Сеть Broadcom BCM5715
БП 625вт
-----------------------------------------
Хрен знат dmesg нужен
Мать чипсет Broadcom HT1000
Дисковая подсистема LSI 1068
Сеть Broadcom BCM5715
БП 625вт
-----------------------------------------
Хрен знат dmesg нужен
Да как удав! Работаю.
- Den
- рядовой
- Сообщения: 10
- Зарегистрирован: 2010-09-06 12:51:58
- Откуда: Сыктывкар
Re: Помогите выбрать железо для файлового сервера
Уважаемые спецы, проконсультируйте пожалуйста, на счёт следующей конфигурации файлового сервера:
Корпус - Supermicro SC835TQ-R800B
Материнка - Supermicro X8STi-F
Процессор - CPU Intel Xeon E5620 2400/5.8GT/12M S1366
Кулер на проц - Supermicro SNK-P0035AP4
Рэйд-контроллер - 3ware SAS 9750-8e
Винты - HDD 2 Tb SAS 2.0 Seagate Constellation ES
Как оно всё в плане совместимости? Заведётся ли под Фрёй?
Может кто-то обладает такими железками? Буду благодарен за любую информацию
Корпус - Supermicro SC835TQ-R800B
Материнка - Supermicro X8STi-F
Процессор - CPU Intel Xeon E5620 2400/5.8GT/12M S1366
Кулер на проц - Supermicro SNK-P0035AP4
Рэйд-контроллер - 3ware SAS 9750-8e
Винты - HDD 2 Tb SAS 2.0 Seagate Constellation ES
Как оно всё в плане совместимости? Заведётся ли под Фрёй?
Может кто-то обладает такими железками? Буду благодарен за любую информацию