Как правильнее создать 12Тб массив?

Решение проблем связванных с работой железа. Проблемы программно-аппаратной совместимости.
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
Laa
ст. лейтенант
Сообщения: 1032
Зарегистрирован: 2008-02-21 18:25:33
Откуда: Украина, Россия

Как правильнее создать 12Тб массив?

Непрочитанное сообщение Laa » 2009-09-08 13:03:42

Здравствуйте!

Нужно создать массив raid 1 емкостью в 12Тбайт.
Порекомендуйте толковое и за разумные деньги решение (аппаратное, аппаратно-программное linux/fbsd/win). К этому массиву клиенты из локальной сети будут обращаться скорее всего по netbios (samba?).

Операционная система желательно fbsd/linux. Виндовое решение на самом последнем месте.

Заранее спасибо. :drinks:
exim: помните, что выдавая deny, вы можете недоставить ваше же письмо, зарубив sender-verify удаленного MTA к вашему MTA!!!

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Alex Keda » 2009-09-08 14:41:38

требования опишите? бюджет, опять же...
=======
подозреваю, что SATA контроллер с таким числом каналов найти врятли получиться, а если и найдёте - то стоить это будет нереальных денег.
поэтому тазик с большим числом дисков, или полка под SATA...
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Laa
ст. лейтенант
Сообщения: 1032
Зарегистрирован: 2008-02-21 18:25:33
Откуда: Украина, Россия

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Laa » 2009-09-08 14:58:50

Давайте о бюджете пока не думать вообще, но стремится предлагать варианты за наиболее минимальные деньги. :Search:
Пока надо подготовить пару вариантов, а из них будет заказчик выбирать.
Винты на 1тб уже продаются.
Что такое полка под САТА? Дайте пару моделей, почитаю-посмотрю.
exim: помните, что выдавая deny, вы можете недоставить ваше же письмо, зарубив sender-verify удаленного MTA к вашему MTA!!!

Аватара пользователя
damir_madaga
старшина
Сообщения: 447
Зарегистрирован: 2007-10-01 8:13:38
Откуда: Красноярск
Контактная информация:

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение damir_madaga » 2009-09-08 15:07:16

Ну вот как вариант!
Женщины и софт - должны быть бесплатными!

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Alex Keda » 2009-09-08 15:46:14

хороший кстати, вариант подключение по SAS внешнему, очень шустрая.
у меня две такие под бэкапы стоят
вот тока есть проблема - это HP, в ней неродные винты могут не завестись.

Код: Выделить всё

backup1# dd if=/dev/zero of=file bs=10m count=1024
1024+0 records in
1024+0 records out
10737418240 bytes transferred in 85.947020 secs (124930663 bytes/sec)
backup1#   
тут, правда 10 рейд, диски по 750 гиг - SATA
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Laa
ст. лейтенант
Сообщения: 1032
Зарегистрирован: 2008-02-21 18:25:33
Откуда: Украина, Россия

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Laa » 2009-09-08 16:02:31

damir_madaga писал(а):Ну вот как вариант!
Хороший вариант.
Я так понимаю, что это хранилище включается в SCSI порт сервера и доступно по scsi шине. Так?
exim: помните, что выдавая deny, вы можете недоставить ваше же письмо, зарубив sender-verify удаленного MTA к вашему MTA!!!

Аватара пользователя
Laa
ст. лейтенант
Сообщения: 1032
Зарегистрирован: 2008-02-21 18:25:33
Откуда: Украина, Россия

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Laa » 2009-09-08 16:03:35

lissyara писал(а):хороший кстати, вариант подключение по SAS внешнему, очень шустрая.
у меня две такие под бэкапы стоят
вот тока есть проблема - это HP, в ней неродные винты могут не завестись.

Код: Выделить всё

backup1# dd if=/dev/zero of=file bs=10m count=1024
1024+0 records in
1024+0 records out
10737418240 bytes transferred in 85.947020 secs (124930663 bytes/sec)
backup1#   
тут, правда 10 рейд, диски по 750 гиг - SATA
А если можно, то сообщи аппаратное решение для этого хранилища.
Спасибо!
exim: помните, что выдавая deny, вы можете недоставить ваше же письмо, зарубив sender-verify удаленного MTA к вашему MTA!!!

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Alex Keda » 2009-09-08 16:06:13

а предложенный вариант - аппаратный.
тебе приёдтся брать SAS контроллер, а страйп они почти все умеют.
рекомендую взять SmartArray (к этому массиву - если его брать будешь)
у него прикольная фича - ты в БИОС диски выбираешь которые разбивать собираешься, а они на массиве голубым огоньком светьться. чтоб не промахнуться =)
железка прекрасно мониториться по SMART - ибо в smartd поддержка SmartArray есть.
правда, на файлопойке у меня 28 дисков - запускается чуть ли не минуту -пока smartd диски все опросит =)))
Убей их всех! Бог потом рассортирует...

Аватара пользователя
damir_madaga
старшина
Сообщения: 447
Зарегистрирован: 2007-10-01 8:13:38
Откуда: Красноярск
Контактная информация:

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение damir_madaga » 2009-09-08 16:17:22

lissyara писал(а):а предложенный вариант - аппаратный.
тебе приёдтся брать SAS контроллер, а страйп они почти все умеют.
рекомендую взять SmartArray (к этому массиву - если его брать будешь)
у него прикольная фича - ты в БИОС диски выбираешь которые разбивать собираешься, а они на массиве голубым огоньком светьться. чтоб не промахнуться =)
железка прекрасно мониториться по SMART - ибо в smartd поддержка SmartArray есть.
правда, на файлопойке у меня 28 дисков - запускается чуть ли не минуту -пока smartd диски все опросит =)))
Погодь! А разве для него нужен контролер?? Разве у него в нутри нет своего?
Женщины и софт - должны быть бесплатными!

Аватара пользователя
Laa
ст. лейтенант
Сообщения: 1032
Зарегистрирован: 2008-02-21 18:25:33
Откуда: Украина, Россия

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Laa » 2009-09-08 16:22:02

Блин! :cz2: Ну SmartArray я нашел разные.
Сообщи какой у тебя конкретно стоит. Какая модель. Дальше в него как что воткнуто.
Как для барана :fool: объясни мне, я в этой теме не шарю. Дальше я сам дочитаю, догуглю.
Спасибо!
exim: помните, что выдавая deny, вы можете недоставить ваше же письмо, зарубив sender-verify удаленного MTA к вашему MTA!!!

Аватара пользователя
damir_madaga
старшина
Сообщения: 447
Зарегистрирован: 2007-10-01 8:13:38
Откуда: Красноярск
Контактная информация:

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение damir_madaga » 2009-09-08 16:36:18

Ну по моему все просто! Брешь HP StorageWorks MSA20 в нее вставляешь диски сколько тебе нужно, в сервак докупаешь вот этот Контроллер HP Smart Array 642 ну или аналог плюс внешний кабель! Вот тебе и ситема на 12 Тб!
Женщины и софт - должны быть бесплатными!

Аватара пользователя
damir_madaga
старшина
Сообщения: 447
Зарегистрирован: 2007-10-01 8:13:38
Откуда: Красноярск
Контактная информация:

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение damir_madaga » 2009-09-08 16:52:40

Полка 78000
Контроллер 25000
Кабель 4000
Диски 7000*20=140000
Итог: 250000 рублей!
Забавно 1 Тб стоит 21000 руб!
Это так больше для себя! :smile:
Женщины и софт - должны быть бесплатными!

Аватара пользователя
Laa
ст. лейтенант
Сообщения: 1032
Зарегистрирован: 2008-02-21 18:25:33
Откуда: Украина, Россия

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Laa » 2009-09-08 17:36:04

damir_madaga писал(а):Ну по моему все просто! Брешь HP StorageWorks MSA20 в нее вставляешь диски сколько тебе нужно, в сервак докупаешь вот этот Контроллер HP Smart Array 642 ну или аналог плюс внешний кабель! Вот тебе и ситема на 12 Тб!
Видит ли это железо Freebsd? Если, да, то как какие устройства?
exim: помните, что выдавая deny, вы можете недоставить ваше же письмо, зарубив sender-verify удаленного MTA к вашему MTA!!!

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Fastman » 2009-09-08 17:52:47

Laa писал(а):Здравствуйте!
Нужно создать массив raid 1 емкостью в 12Тбайт.
Порекомендуйте толковое и за разумные деньги решение (аппаратное, аппаратно-программное linux/fbsd/win). К этому массиву клиенты из локальной сети будут обращаться скорее всего по netbios (samba?).
Операционная система желательно fbsd/linux. Виндовое решение на самом последнем месте.
Заранее спасибо. :drinks:
Читаем внимательно raid 1 емкостью в 12Тбайт.
Значит общая емкость массива должна быть 24Tb чтобы сделать 12Tb (не считаю пока потери на HotSpare)
Ну хозяин - барин.. Я бы не выпендривался и сделал все таки RAID6 если так надежность важна + HotSpare
Мой вариант лучше, к тому же вы не учитываете одной штуки..в коробках типа MSA есть ограничения на количество
HDD в одной рэйд группе(в конкретном случае если брать вышеприведенный вариант - это 16 HDD) Если же все таки надо
одним куском все это..то требуется тогда LVM чтобы объеденить две рэйд группы в один кусок.

И еще... вообще зря советуете что то пока начинальщик топика не озвучит тип планируемой нагрузки на систему хранения.
Озвучте задачу, придумаем еще что нить :)
Главное в жизни здоровье и любовь, остальное я все куплю.

Аватара пользователя
damir_madaga
старшина
Сообщения: 447
Зарегистрирован: 2007-10-01 8:13:38
Откуда: Красноярск
Контактная информация:

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение damir_madaga » 2009-09-08 17:58:11

Laa писал(а):Давайте о бюджете пока не думать вообще, но стремится предлагать варианты за наиболее минимальные деньги. :Search:
Пока надо подготовить пару вариантов, а из них будет заказчик выбирать.
Винты на 1тб уже продаются.
Что такое полка под САТА? Дайте пару моделей, почитаю-посмотрю.
Ну он в общем сам сказал что нужны варианты! И не более!
Женщины и софт - должны быть бесплатными!

Аватара пользователя
Laa
ст. лейтенант
Сообщения: 1032
Зарегистрирован: 2008-02-21 18:25:33
Откуда: Украина, Россия

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Laa » 2009-09-08 18:00:09

fastman, спасибо!
задача пока не ясна. Клиент ворочает толстыми файлами. Их надо надежно где-то держать и оперативно иметь доступ.
По деньгам предел порядка 50 тыщ дол. Но это самый крайний предел.
RAID или нет может быть какой угодно. Очень тяжело клиент будет переносить потерю чего-либо в этом хранилище. :cry:
exim: помните, что выдавая deny, вы можете недоставить ваше же письмо, зарубив sender-verify удаленного MTA к вашему MTA!!!

Аватара пользователя
damir_madaga
старшина
Сообщения: 447
Зарегистрирован: 2007-10-01 8:13:38
Откуда: Красноярск
Контактная информация:

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение damir_madaga » 2009-09-08 18:03:03

Fastman писал(а): Мой вариант лучше, к тому же вы не учитываете одной штуки..в коробках типа MSA есть ограничения на количество
HDD в одной рэйд группе(в конкретном случае если брать вышеприведенный вариант - это 16 HDD) Если же все таки надо
одним куском все это..то требуется тогда LVM чтобы объеденить две рэйд группы в один кусок.
Вот этот момент не понял! Там всего 12 дисков! Я думаю что топикстартеру дали направление для размышления и поиска!
Женщины и софт - должны быть бесплатными!

Аватара пользователя
Laa
ст. лейтенант
Сообщения: 1032
Зарегистрирован: 2008-02-21 18:25:33
Откуда: Украина, Россия

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Laa » 2009-09-08 18:06:53

damir_madaga писал(а):
Fastman писал(а): Мой вариант лучше, к тому же вы не учитываете одной штуки..в коробках типа MSA есть ограничения на количество
HDD в одной рэйд группе(в конкретном случае если брать вышеприведенный вариант - это 16 HDD) Если же все таки надо
одним куском все это..то требуется тогда LVM чтобы объеденить две рэйд группы в один кусок.
Вот этот момент не понял! Там всего 12 дисков! Я думаю что топикстартеру дали направление для размышления и поиска!
Ага! Дали. Спасибо. Теперь хочу вникнуть в эти решения, чтобы потом не стали всплывать доп. расходы.
Поэтому буду еще задавать вопросов для полного вникания в тему.
Спасибо.
exim: помните, что выдавая deny, вы можете недоставить ваше же письмо, зарубив sender-verify удаленного MTA к вашему MTA!!!

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Fastman » 2009-09-08 18:07:24

Если не нужно выжимать IOPS-ы а тупо хранилка юзерского хлама,
То берите такую коробку.. дешево и сердито...
http://www.ser.com.ua/catalog/134/Supermicro/4454.html
Главное в жизни здоровье и любовь, остальное я все куплю.

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Fastman » 2009-09-08 18:10:57

Laa писал(а):fastman, спасибо!
задача пока не ясна. Клиент ворочает толстыми файлами. Их надо надежно где-то держать и оперативно иметь доступ.
По деньгам предел порядка 50 тыщ дол. Но это самый крайний предел.
RAID или нет может быть какой угодно. Очень тяжело клиент будет переносить потерю чего-либо в этом хранилище. :cry:
Другой вопрос с бюджетом.
Давайте так... вы опишите какова должна быть надежность решения и допустимое время простоя.
Так же дайте примерный припрост данных на хранилке(важно, потому что рекомендуется не заполнять СХД под завяку)
Ну и доступ я так понял это CIFS, значит либо коробка с дисками плюс сервер, либо готовый NAS.
Я смогу подкинуть варианты.
Главное в жизни здоровье и любовь, остальное я все куплю.

Аватара пользователя
Laa
ст. лейтенант
Сообщения: 1032
Зарегистрирован: 2008-02-21 18:25:33
Откуда: Украина, Россия

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Laa » 2009-09-08 18:27:26

спаисибо всем. :drinks: :drinks:
пока беру таймаут на размышления.
exim: помните, что выдавая deny, вы можете недоставить ваше же письмо, зарубив sender-verify удаленного MTA к вашему MTA!!!

Аватара пользователя
Mors
проходил мимо
Сообщения: 9
Зарегистрирован: 2009-09-05 17:30:42
Откуда: Екатеринбург
Контактная информация:

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Mors » 2009-09-08 23:34:55

Если еще актуально, я делал хранилище на решениях от SuperMicro.
Корпус SC216E1-R900LPB (http://www.supermicro.com/products/chas ... R900LP.cfm), материнка/камни/память точно не помню Xeon под Socket 771, контроллер AOC-USAS-H8iR (http://www.supermicro.com/products/acce ... S-H8iR.cfm), диски SATA II WD.
У них решение позволяет потом только корпуса добирать и вешать их как доп полки. По деньгам вышло дешевле чем брэндовые хранилища, а по надежности вполне пристойно.
RAID 5, ОС Debian. Цеплялись к нему в основном по NFS.
Позже попробую найти полную спецификацию.

bu7cher
сержант
Сообщения: 220
Зарегистрирован: 2008-02-21 18:28:55
Откуда: Киров
Контактная информация:

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение bu7cher » 2009-09-09 8:29:03

Laa писал(а):fastman, спасибо!
задача пока не ясна. Клиент ворочает толстыми файлами. Их надо надежно где-то держать и оперативно иметь доступ.
По деньгам предел порядка 50 тыщ дол. Но это самый крайний предел.
RAID или нет может быть какой угодно. Очень тяжело клиент будет переносить потерю чего-либо в этом хранилище. :cry:
С бюджетом в 50 тыс. дол (?) можно сделать катастрофоустойчивое решение на базе fibre channel с полным дублированием и разнесением данных в разные здания.
нет ничего невозможного

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение LMik » 2009-09-09 9:13:49

bu7cher писал(а):
Laa писал(а):fastman, спасибо!
задача пока не ясна. Клиент ворочает толстыми файлами. Их надо надежно где-то держать и оперативно иметь доступ.
По деньгам предел порядка 50 тыщ дол. Но это самый крайний предел.
RAID или нет может быть какой угодно. Очень тяжело клиент будет переносить потерю чего-либо в этом хранилище. :cry:
С бюджетом в 50 тыс. дол (?) можно сделать катастрофоустойчивое решение на базе fibre channel с полным дублированием и разнесением данных в разные здания.
+100500
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Как правильнее создать 12Тб массив?

Непрочитанное сообщение Fastman » 2009-09-09 10:32:08

bu7cher писал(а):
Laa писал(а):fastman, спасибо!
задача пока не ясна. Клиент ворочает толстыми файлами. Их надо надежно где-то держать и оперативно иметь доступ.
По деньгам предел порядка 50 тыщ дол. Но это самый крайний предел.
RAID или нет может быть какой угодно. Очень тяжело клиент будет переносить потерю чего-либо в этом хранилище. :cry:
С бюджетом в 50 тыс. дол (?) можно сделать катастрофоустойчивое решение на базе fibre channel с полным дублированием и разнесением данных в разные здания.
Если без всяких извращений, то да.... Но вот ленточная библиотека в бюджет уже не влезает. Но на будующее пригодиться :)
Главное в жизни здоровье и любовь, остальное я все куплю.