Помогите выбрать железо для файлового сервера

Решение проблем связванных с работой железа. Проблемы программно-аппаратной совместимости.
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
firefly
рядовой
Сообщения: 14
Зарегистрирован: 2009-03-07 13:58:02
Откуда: Беларусь, Минск
Контактная информация:

Помогите выбрать железо для файлового сервера

Непрочитанное сообщение firefly » 2010-05-19 13:25:17

Поставило руководство задачу : сбросить всю нашу информацию, что храниться на оптических дисках, на сервер и раздавать это все по самбе (места много занимает(с)). Посчитав количество дисков получилось что-то около 20 Тб :smile: .
Бюджет выделили под это в 8000$.
Так как я приверженец FreeBSD, то сразу же посмотрел в сторону ZFS, посидел в инете почитал, что о ней пишут. Вроде как все должно быть в шоколаде, подводных камней особо нет. Думаю собрать RAID-Z двойной четности.
Только остается определиться с железом. Что лучше купить? Думал взять что нибудь на базе шасси Supermicro SC836E2-R80? Но встают вопросы сколько оперативки ставить на борт(решил что хватит 4 Gb), какие(какой) процессоры (думаю взять два Xeon DP 5504),в качестве материнской платы выбрал SuperMicro X8DTL-iF, контроллер SuperMicro AOC-SASLP-H8iR и 12 HDD 2Tb 7200rpm 64MB SATA Baracuda XT Seagate. Но раз ZFS, то RAID контроллер не нужен, но как тогда подключить все эти винты...
Помогите пожалуйста с выбором конфигурации, никогда не сталкивался с такими задачами.

P.S. А может вообще не заморачиваться и просить деньги на брендовый NAS?

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35334
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение Alex Keda » 2010-05-19 15:32:06

берите уже чёнить =)
смотрите тока чтоб железо поддерживаемое было
Убей их всех! Бог потом рассортирует...

firefly
рядовой
Сообщения: 14
Зарегистрирован: 2009-03-07 13:58:02
Откуда: Беларусь, Минск
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение firefly » 2010-05-19 16:09:30

Хитрый та какой, берите а потом рассказывайте как с бубном танцевали :))).
Подсказал, рассказал бы лучше... Например как сильно грузиться процессор при активном использовании (Хотя мое скромное мнение, что проца и одного хватит с головой и памяти можно поменьше (все-таки это там файлы будут только лежать и раздаваться по сети, никакой обработки...)).
Расскажи, пожалуйста, кто на каком железе собирал свои файловые серверы (хотя бы на 5-7 Тб)?
P.S. Закупка будет в середине лета, так что надо все взвесить, мне ведь потом с этим сервером работать и с меня спрос...

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35334
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение Alex Keda » 2010-05-19 16:22:15

HP пролиант
два двухядрёных оптерона, 4 гига рамы
дисковай полка по SAS подрублена с 12 SAS дисками.
вообще полок три - две SAS и одна SATA - под бэкапы...
всё летает =))

Код: Выделить всё

filez1# df -h
Filesystem             Size    Used   Avail Capacity  Mounted on
/dev/label/tmpROOT      19G     12G    5.7G    68%    /
devfs                  1.0K    1.0K      0B   100%    /dev
/dev/label/dataFS      1.6T    1.3T    333G    80%    /shares/data
/dev/label/backupFS    6.6T    1.0T    5.5T    16%    /shares/backup
/dev/label/dataTMP     2.6T    940G    1.7T    35%    /shares/second
filez1# mount
/dev/label/tmpROOT on / (ufs, local, soft-updates)
devfs on /dev (devfs, local)
/dev/label/dataFS on /shares/data (ufs, local, soft-updates, acls)
/dev/label/backupFS on /shares/backup (ufs, local, soft-updates, acls)
/dev/label/dataTMP on /shares/second (ufs, local, soft-updates, acls)
filez1#   
и никаких zfs не надо =)
Убей их всех! Бог потом рассортирует...

firefly
рядовой
Сообщения: 14
Зарегистрирован: 2009-03-07 13:58:02
Откуда: Беларусь, Минск
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение firefly » 2010-05-19 16:34:12

Хочется все-таки потестить ZFS :)))
Лис, а какой пролиант у вас стоит(поподробнее пожалуйста конфигурацию, особенно контроллер интересует)?

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение hizel » 2010-05-19 16:46:44

Лис меня обошёл :(

http://forum.lissyara.su/viewtopic.php? ... =0#p241943

обычный контроллер и 6-ть жестяков под БД

Код: Выделить всё

CPU: Intel(R) Core(TM)2 Quad CPU    Q9505  @ 2.83GHz (2826.27-MHz K8-class CPU)
atapci1: <Intel ICH9 SATA300 controller> port 0x2408-0x240f,0x2414-0x2417,0x2400-0x2407,0x2410-0x2413,0x2020-0x203f mem 0xe1a21000-0xe1a217ff irq 21 at device 31.2 on pci0
не жалуемся
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35334
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение Alex Keda » 2010-05-19 19:08:50

firefly писал(а):Хочется все-таки потестить ZFS :)))
Лис, а какой пролиант у вас стоит(поподробнее пожалуйста конфигурацию, особенно контроллер интересует)?
380 какойто
контроллер - p800
Убей их всех! Бог потом рассортирует...

umik
проходил мимо
Сообщения: 5
Зарегистрирован: 2010-05-31 6:15:28

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение umik » 2010-05-31 8:22:07

firefly писал(а):P.S. А может вообще не заморачиваться и просить деньги на брендовый NAS?
Тогда - лучше на NexentaStor. Там тот же ZFS.

FiL
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2010-02-05 0:21:40

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение FiL » 2010-06-01 19:48:13

Памяти много не бывает :)
Вообще софтовый рейд вещь приятная в плане цены, но все-таки несколько более требовательная к админу в плане работы, чем железный рейд.
Но с другой стороны, если вдруг контроллер учудит, то софтовый рейд разгребать проще, чем остатки после сдохшего железного контроллера :)

В общем, если решение строить именно софтовое решение уже принято, то единственное, на что имеет смысла обратить внимание - это на то, чтобы контроллер (а их все равно покупать, ибо к маме 12 дисков не подключишь) понимал NCQ. Что-то вроде RocketRAID 2320. Исходя из цены вопроса, диски кроме как SATA обычные не поставишь, так хоть их возможности надо использовать на полную. Хотя если в бюджет влезет, то я-бы всетаки советовал WD RE4 (ну или если хочется Seagate, то Constellation ES). Реально разницы мало, но душа будет спокойнее.

20Тб массивы мне пока строить не приходилось, но 10+ несколько штук у меня крутится. В том числе и под софтовым рейдом. Работает себе и работает. Скорость не ахти, но мне вроде и спешить некуда.

umik
проходил мимо
Сообщения: 5
Зарегистрирован: 2010-05-31 6:15:28

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение umik » 2010-06-02 5:34:24

FiL писал(а):Памяти много не бывает :)
Вообще софтовый рейд вещь приятная в плане цены, но все-таки несколько более требовательная к админу в плане работы, чем железный рейд.
Но с другой стороны, если вдруг контроллер учудит, то софтовый рейд разгребать проще, чем остатки после сдохшего железного контроллера :)
Смотря чего использовать как софтовый RAID
Если RAID-Z, то требовательный он только на этапе первоначального конфигурирования.

FiL
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2010-02-05 0:21:40

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение FiL » 2010-06-03 0:32:24

umik писал(а): Смотря чего использовать как софтовый RAID
Если RAID-Z, то требовательный он только на этапе первоначального конфигурирования.
wishful thinking.
При сбое диска в железном рейде надо подойти, выдернуть дохлый диск, вставить новый и идти дальше пить пиво.
При сбое диска в софтовом рейде надо подойти к консоли или терминалу, вывести диск в оффлайн, пойти поменять диск, вернуться к терминалу и вывести диск онлайн, дать команду на замену. И только тогда идти пить пиво. Несколько сложнее :)

В 9 случаях из 10 пофик. Но в одном из 10 таки рядом с серваком оказывается только человек, которого пускать в консоль никак нельзя. Диск заменить физически он может, а вот кнопки давить некому.

umik
проходил мимо
Сообщения: 5
Зарегистрирован: 2010-05-31 6:15:28

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение umik » 2010-06-03 12:55:56

FiL писал(а):
umik писал(а): Смотря чего использовать как софтовый RAID
Если RAID-Z, то требовательный он только на этапе первоначального конфигурирования.
wishful thinking.
При сбое диска в железном рейде надо подойти, выдернуть дохлый диск, вставить новый и идти дальше пить пиво.
При сбое диска в софтовом рейде надо подойти к консоли или терминалу, вывести диск в оффлайн, пойти поменять диск, вернуться к терминалу и вывести диск онлайн, дать команду на замену. И только тогда идти пить пиво. Несколько сложнее :)

В 9 случаях из 10 пофик. Но в одном из 10 таки рядом с серваком оказывается только человек, которого пускать в консоль никак нельзя. Диск заменить физически он может, а вот кнопки давить некому.
Э, нет.
Если железо, к которому подключены диски RAID-Z, допускает горячую замену, то процедура не отличается от железного RAID

FiL
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2010-02-05 0:21:40

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение FiL » 2010-06-03 22:09:59

ну я спорить не буду, сам с raid-z не игрался. Но вроде все мануалы настоятельно утверждают, что ни в коем случае нельзя выдергивать сдохший диск, пока не вывел его в оффлайн. Возможно, что они не рассматривают вариант горячей замены по какой-то причине. не знаю.

arkan
ст. прапорщик
Сообщения: 559
Зарегистрирован: 2008-08-03 19:58:13
Откуда: Новосибирск
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение arkan » 2010-06-09 5:09:47

Я на бывшей работе не стал заморачиваться и купил обыкновенное железо десктопное где побольше PCI слотов
и повтыкал туда уже RAID контроллеров (на каждом по 4 винта висит попарно в зеркале)
жесткие диски террабайтники
оперативки 2 гига тогда ставил - потом вроде как еще столько же добавили
процц обыкновенный 2 ядерник на 2.0
и очень даже хорошая файлопомойка получилась
Общаюсь с тамошними системщиками кто там до сих пор работает и говорят ниразу проблемм и небыло за 4 года
и ненадо 8 килобаксов на это выкладывать

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение manefesto » 2010-06-14 21:29:22

терабайтники уже были 4 года назад ???
я такой яростный шо аж пиздеЦ
Изображение

FiL
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2010-02-05 0:21:40

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение FiL » 2010-06-14 23:32:59

manefesto писал(а):терабайтники уже были 4 года назад ???
В 2007-м появились.

С десктопным железом проблема в том, что в него много дисков не напихаешь. штук 8 обычно предел.
Ну и PCI для RAID-a - это очень хреново. У PCI-шины пропускная способность всего 1 гигабит. (33 мегагерца на 32 бита).
А это для массива из 8-и дисков уже маловато.

n00b
проходил мимо

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение n00b » 2010-06-18 19:10:48

ну можна поставить в pci-e и будет тебе пропускная способность....

Аватара пользователя
Gendos
лейтенант
Сообщения: 801
Зарегистрирован: 2009-02-18 14:30:39
Откуда: АЗиОПА
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение Gendos » 2010-06-18 21:45:36

Что вы так за пролиантами гоняетесь, чем фуджики хуже?
Да как удав! Работаю.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35334
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение Alex Keda » 2010-06-19 19:51:32

Gendos писал(а):Что вы так за пролиантами гоняетесь, чем фуджики хуже?
не счупал даже...
выложи

Код: Выделить всё

pciconf -lv
да собственные впечаления...
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Gendos
лейтенант
Сообщения: 801
Зарегистрирован: 2009-02-18 14:30:39
Откуда: АЗиОПА
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение Gendos » 2010-06-19 21:04:32

Alex Keda писал(а):
Gendos писал(а):Что вы так за пролиантами гоняетесь, чем фуджики хуже?
не счупал даже...
выложи

Код: Выделить всё

pciconf -lv
да собственные впечаления...
Как всегда ниже пояса. Я про альтернативу.
У меня то как раз нет, сам посчупать желаю, но долбанные "корпоративные правила" HP HP HP.
У...пробовал я с региональным FS общался на тест железку предлагали, но с условие если ты докажешь, что железка кал, тады можешь отказаться - это субъективно.
Короче воевал я за FS одно время в одной конторе, мол пацаны MTBF будьте добры (думал хрен) паралельно запрос в HP на тоже самое примерно по классу уровню комплектации. Короче от hp красивая бумажка с грифом конфидециально на стандартную комплектуху с сайта - отмазка. FS на третий день от запроса звонит гер. хрен знает как, просит меня к телефону уточнить параметры железа и условия размещения :shock: , говорит жди 4-ре дня, присылаюь офицальное письмо где конкретно была расчитанна моя конфигурация. Отношение к потенциальному покупателю радует. Ну да ладно дело прошлого. Потом как то разговорились с приятелем о FS грит железяка аскетична, но надежна, главное его удовлетворяло какчество -грамотно подобранное железо.
Да как удав! Работаю.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35334
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение Alex Keda » 2010-06-20 10:11:13

ну, тоесть как на них фря будет жить - ы не знаешь...
про пролианты точно извесно - что жить будет хорошо.
поэтому - выбор очевиден
=========
через месячишко 380 G6 должен приехать почти в максимальной комплектухе.
эти ещё не счупал...
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Dorlas
сержант
Сообщения: 257
Зарегистрирован: 2008-07-18 22:17:49

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение Dorlas » 2010-06-20 14:00:41

Пример небольшого домашнего файлового сервера (tower):

Код: Выделить всё

samba# zpool list
NAME   SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
tank  10.2T  4.00T  6.23T    39%  ONLINE  -

Код: Выделить всё

samba# zpool status
  pool: tank
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            ad1     ONLINE       0     0     0
            ad2     ONLINE       0     0     0
            ad3     ONLINE       0     0     0
            ad22    ONLINE       0     0     0
            ad24    ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            ad4     ONLINE       0     0     0
            ad8     ONLINE       0     0     0
            ad10    ONLINE       0     0     0
            ad14    ONLINE       0     0     0
            ad16    ONLINE       0     0     0

errors: No known data errors
dmesg.txt
(10.51 КБ) 22 скачивания
Корпус:
http://market.yandex.ru/model.xml?model ... &suggest=1

Боксы для винтов:
http://www.klamas.ru/catalog/default.as ... id=8338220

Аватара пользователя
Gendos
лейтенант
Сообщения: 801
Зарегистрирован: 2009-02-18 14:30:39
Откуда: АЗиОПА
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение Gendos » 2010-06-20 21:52:52

Ктонибудь вывалите dmesg PRIMERGY RX330 S1 - интерестно, что там.
Да как удав! Работаю.

Аватара пользователя
Gendos
лейтенант
Сообщения: 801
Зарегистрирован: 2009-02-18 14:30:39
Откуда: АЗиОПА
Контактная информация:

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение Gendos » 2010-06-20 22:04:46

Ммммм покапался немного расстроен...если верить что енто там впихнуто
Мать чипсет Broadcom HT1000
Дисковая подсистема LSI 1068
Сеть Broadcom BCM5715
БП 625вт
-----------------------------------------
Хрен знат dmesg нужен
Да как удав! Работаю.

Аватара пользователя
Den
рядовой
Сообщения: 10
Зарегистрирован: 2010-09-06 12:51:58
Откуда: Сыктывкар

Re: Помогите выбрать железо для файлового сервера

Непрочитанное сообщение Den » 2010-09-06 12:59:55

Уважаемые спецы, проконсультируйте пожалуйста, на счёт следующей конфигурации файлового сервера:
Корпус - Supermicro SC835TQ-R800B
Материнка - Supermicro X8STi-F
Процессор - CPU Intel Xeon E5620 2400/5.8GT/12M S1366
Кулер на проц - Supermicro SNK-P0035AP4
Рэйд-контроллер - 3ware SAS 9750-8e
Винты - HDD 2 Tb SAS 2.0 Seagate Constellation ES
Как оно всё в плане совместимости? Заведётся ли под Фрёй?
Может кто-то обладает такими железками? Буду благодарен за любую информацию :drinks: