Помогите выбрать железо для файлового сервера

[firefly]

Поставило руководство задачу : сбросить всю нашу информацию, что храниться на оптических дисках, на сервер и раздавать это все по самбе (места много занимает(с)). Посчитав количество дисков получилось что-то около 20 Тб .
Бюджет выделили под это в 8000$.
Так как я приверженец FreeBSD, то сразу же посмотрел в сторону ZFS, посидел в инете почитал, что о ней пишут. Вроде как все должно быть в шоколаде, подводных камней особо нет. Думаю собрать RAID-Z двойной четности.
Только остается определиться с железом. Что лучше купить? Думал взять что нибудь на базе шасси Supermicro SC836E2-R80? Но встают вопросы сколько оперативки ставить на борт(решил что хватит 4 Gb), какие(какой) процессоры (думаю взять два Xeon DP 5504),в качестве материнской платы выбрал SuperMicro X8DTL-iF, контроллер SuperMicro AOC-SASLP-H8iR и 12 HDD 2Tb 7200rpm 64MB SATA Baracuda XT Seagate. Но раз ZFS, то RAID контроллер не нужен, но как тогда подключить все эти винты...
Помогите пожалуйста с выбором конфигурации, никогда не сталкивался с такими задачами.

P.S. А может вообще не заморачиваться и просить деньги на брендовый NAS?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

берите уже чёнить
смотрите тока чтоб железо поддерживаемое было

[firefly]

Хитрый та какой, берите а потом рассказывайте как с бубном танцевали )).
Подсказал, рассказал бы лучше... Например как сильно грузиться процессор при активном использовании (Хотя мое скромное мнение, что проца и одного хватит с головой и памяти можно поменьше (все-таки это там файлы будут только лежать и раздаваться по сети, никакой обработки...)).
Расскажи, пожалуйста, кто на каком железе собирал свои файловые серверы (хотя бы на 5-7 Тб)?
P.S. Закупка будет в середине лета, так что надо все взвесить, мне ведь потом с этим сервером работать и с меня спрос...

[Alex Keda]

HP пролиант
два двухядрёных оптерона, 4 гига рамы
дисковай полка по SAS подрублена с 12 SAS дисками.
вообще полок три - две SAS и одна SATA - под бэкапы...
всё летает )

Код: Выделить всё

filez1# df -h
Filesystem             Size    Used   Avail Capacity  Mounted on
/dev/label/tmpROOT      19G     12G    5.7G    68%    /
devfs                  1.0K    1.0K      0B   100%    /dev
/dev/label/dataFS      1.6T    1.3T    333G    80%    /shares/data
/dev/label/backupFS    6.6T    1.0T    5.5T    16%    /shares/backup
/dev/label/dataTMP     2.6T    940G    1.7T    35%    /shares/second
filez1# mount
/dev/label/tmpROOT on / (ufs, local, soft-updates)
devfs on /dev (devfs, local)
/dev/label/dataFS on /shares/data (ufs, local, soft-updates, acls)
/dev/label/backupFS on /shares/backup (ufs, local, soft-updates, acls)
/dev/label/dataTMP on /shares/second (ufs, local, soft-updates, acls)
filez1#   

и никаких zfs не надо

[firefly]

Хочется все-таки потестить ZFS ))
Лис, а какой пролиант у вас стоит(поподробнее пожалуйста конфигурацию, особенно контроллер интересует)?

[hizel]

Лис меня обошёл

http://forum.lissyara.su/viewtopic.php? ... =0#p241943

обычный контроллер и 6-ть жестяков под БД

Код: Выделить всё

CPU: Intel(R) Core(TM)2 Quad CPU    Q9505  @ 2.83GHz (2826.27-MHz K8-class CPU)
atapci1: <Intel ICH9 SATA300 controller> port 0x2408-0x240f,0x2414-0x2417,0x2400-0x2407,0x2410-0x2413,0x2020-0x203f mem 0xe1a21000-0xe1a217ff irq 21 at device 31.2 on pci0

не жалуемся

[Alex Keda]

Хочется все-таки потестить ZFS ))
Лис, а какой пролиант у вас стоит(поподробнее пожалуйста конфигурацию, особенно контроллер интересует)?

380 какойто
контроллер - p800

[umik]

P.S. А может вообще не заморачиваться и просить деньги на брендовый NAS?

Тогда - лучше на NexentaStor. Там тот же ZFS.

[FiL]

Памяти много не бывает
Вообще софтовый рейд вещь приятная в плане цены, но все-таки несколько более требовательная к админу в плане работы, чем железный рейд.
Но с другой стороны, если вдруг контроллер учудит, то софтовый рейд разгребать проще, чем остатки после сдохшего железного контроллера

В общем, если решение строить именно софтовое решение уже принято, то единственное, на что имеет смысла обратить внимание - это на то, чтобы контроллер (а их все равно покупать, ибо к маме 12 дисков не подключишь) понимал NCQ. Что-то вроде RocketRAID 2320. Исходя из цены вопроса, диски кроме как SATA обычные не поставишь, так хоть их возможности надо использовать на полную. Хотя если в бюджет влезет, то я-бы всетаки советовал WD RE4 (ну или если хочется Seagate, то Constellation ES). Реально разницы мало, но душа будет спокойнее.

20Тб массивы мне пока строить не приходилось, но 10+ несколько штук у меня крутится. В том числе и под софтовым рейдом. Работает себе и работает. Скорость не ахти, но мне вроде и спешить некуда.

[umik]

Памяти много не бывает
Вообще софтовый рейд вещь приятная в плане цены, но все-таки несколько более требовательная к админу в плане работы, чем железный рейд.
Но с другой стороны, если вдруг контроллер учудит, то софтовый рейд разгребать проще, чем остатки после сдохшего железного контроллера

Смотря чего использовать как софтовый RAID
Если RAID-Z, то требовательный он только на этапе первоначального конфигурирования.

[FiL]

Смотря чего использовать как софтовый RAID
Если RAID-Z, то требовательный он только на этапе первоначального конфигурирования.

wishful thinking.
При сбое диска в железном рейде надо подойти, выдернуть дохлый диск, вставить новый и идти дальше пить пиво.
При сбое диска в софтовом рейде надо подойти к консоли или терминалу, вывести диск в оффлайн, пойти поменять диск, вернуться к терминалу и вывести диск онлайн, дать команду на замену. И только тогда идти пить пиво. Несколько сложнее

В 9 случаях из 10 пофик. Но в одном из 10 таки рядом с серваком оказывается только человек, которого пускать в консоль никак нельзя. Диск заменить физически он может, а вот кнопки давить некому.

[umik]

Смотря чего использовать как софтовый RAID
Если RAID-Z, то требовательный он только на этапе первоначального конфигурирования.

wishful thinking.
При сбое диска в железном рейде надо подойти, выдернуть дохлый диск, вставить новый и идти дальше пить пиво.
При сбое диска в софтовом рейде надо подойти к консоли или терминалу, вывести диск в оффлайн, пойти поменять диск, вернуться к терминалу и вывести диск онлайн, дать команду на замену. И только тогда идти пить пиво. Несколько сложнее

В 9 случаях из 10 пофик. Но в одном из 10 таки рядом с серваком оказывается только человек, которого пускать в консоль никак нельзя. Диск заменить физически он может, а вот кнопки давить некому.

Э, нет.
Если железо, к которому подключены диски RAID-Z, допускает горячую замену, то процедура не отличается от железного RAID

[FiL]

ну я спорить не буду, сам с raid-z не игрался. Но вроде все мануалы настоятельно утверждают, что ни в коем случае нельзя выдергивать сдохший диск, пока не вывел его в оффлайн. Возможно, что они не рассматривают вариант горячей замены по какой-то причине. не знаю.

[arkan]

Я на бывшей работе не стал заморачиваться и купил обыкновенное железо десктопное где побольше PCI слотов
и повтыкал туда уже RAID контроллеров (на каждом по 4 винта висит попарно в зеркале)
жесткие диски террабайтники
оперативки 2 гига тогда ставил - потом вроде как еще столько же добавили
процц обыкновенный 2 ядерник на 2.0
и очень даже хорошая файлопомойка получилась
Общаюсь с тамошними системщиками кто там до сих пор работает и говорят ниразу проблемм и небыло за 4 года
и ненадо 8 килобаксов на это выкладывать

[manefesto]

терабайтники уже были 4 года назад ???

[FiL]

терабайтники уже были 4 года назад ???

В 2007-м появились.

С десктопным железом проблема в том, что в него много дисков не напихаешь. штук 8 обычно предел.
Ну и PCI для RAID-a - это очень хреново. У PCI-шины пропускная способность всего 1 гигабит. (33 мегагерца на 32 бита).
А это для массива из 8-и дисков уже маловато.

[n00b]

ну можна поставить в pci-e и будет тебе пропускная способность....

[Gendos]

Что вы так за пролиантами гоняетесь, чем фуджики хуже?

[Alex Keda]

Что вы так за пролиантами гоняетесь, чем фуджики хуже?

не счупал даже...
выложи

Код: Выделить всё

dmesg

Код: Выделить всё

pciconf -lv

да собственные впечаления...

[Gendos]

Что вы так за пролиантами гоняетесь, чем фуджики хуже?

не счупал даже...
выложи

Код: Выделить всё

dmesg

Код: Выделить всё

pciconf -lv

да собственные впечаления...

Как всегда ниже пояса. Я про альтернативу.
У меня то как раз нет, сам посчупать желаю, но долбанные "корпоративные правила" HP HP HP.
У...пробовал я с региональным FS общался на тест железку предлагали, но с условие если ты докажешь, что железка кал, тады можешь отказаться - это субъективно.
Короче воевал я за FS одно время в одной конторе, мол пацаны MTBF будьте добры (думал хрен) паралельно запрос в HP на тоже самое примерно по классу уровню комплектации. Короче от hp красивая бумажка с грифом конфидециально на стандартную комплектуху с сайта - отмазка. FS на третий день от запроса звонит гер. хрен знает как, просит меня к телефону уточнить параметры железа и условия размещения , говорит жди 4-ре дня, присылаюь офицальное письмо где конкретно была расчитанна моя конфигурация. Отношение к потенциальному покупателю радует. Ну да ладно дело прошлого. Потом как то разговорились с приятелем о FS грит железяка аскетична, но надежна, главное его удовлетворяло какчество -грамотно подобранное железо.

[Alex Keda]

ну, тоесть как на них фря будет жить - ы не знаешь...
про пролианты точно извесно - что жить будет хорошо.
поэтому - выбор очевиден
=========
через месячишко 380 G6 должен приехать почти в максимальной комплектухе.
эти ещё не счупал...

[Dorlas]

Пример небольшого домашнего файлового сервера (tower):

Код: Выделить всё

samba# zpool list
NAME   SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
tank  10.2T  4.00T  6.23T    39%  ONLINE  -

Код: Выделить всё

samba# zpool status
  pool: tank
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            ad1     ONLINE       0     0     0
            ad2     ONLINE       0     0     0
            ad3     ONLINE       0     0     0
            ad22    ONLINE       0     0     0
            ad24    ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            ad4     ONLINE       0     0     0
            ad8     ONLINE       0     0     0
            ad10    ONLINE       0     0     0
            ad14    ONLINE       0     0     0
            ad16    ONLINE       0     0     0

errors: No known data errors

dmesg.txt

(10.51 КБ) 23 скачивания

Корпус:
http://market.yandex.ru/model.xml?model ... &suggest=1

Боксы для винтов:
http://www.klamas.ru/catalog/default.as ... id=8338220

[Gendos]

Ктонибудь вывалите dmesg PRIMERGY RX330 S1 - интерестно, что там.

[Gendos]

Ммммм покапался немного расстроен...если верить что енто там впихнуто
Мать чипсет Broadcom HT1000
Дисковая подсистема LSI 1068
Сеть Broadcom BCM5715
БП 625вт
-----------------------------------------
Хрен знат dmesg нужен

[Den]

Уважаемые спецы, проконсультируйте пожалуйста, на счёт следующей конфигурации файлового сервера:
Корпус - Supermicro SC835TQ-R800B
Материнка - Supermicro X8STi-F
Процессор - CPU Intel Xeon E5620 2400/5.8GT/12M S1366
Кулер на проц - Supermicro SNK-P0035AP4
Рэйд-контроллер - 3ware SAS 9750-8e
Винты - HDD 2 Tb SAS 2.0 Seagate Constellation ES
Как оно всё в плане совместимости? Заведётся ли под Фрёй?
Может кто-то обладает такими железками? Буду благодарен за любую информацию