RAID на 16 дисков

Решение проблем связванных с работой железа. Проблемы программно-аппаратной совместимости.
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
icb
лейтенант
Сообщения: 751
Зарегистрирован: 2008-07-15 16:11:11

RAID на 16 дисков

Непрочитанное сообщение icb » 2014-02-01 16:34:50

Рассматриваю вопрос взять SuperMicro 2027R-WRF, к нему надо RAID контроллер (вернее 2 по 8 портов).
Если не рассматривать старые чипы и 12Gb/s, то остаются такие варианты:
AOC-S2308L-L8e Standard LP, 8 internal ports (6Gb/s) Gen-3, 122HDD, HBA
AOC-S2308L-L8i Standard LP, 8 internal ports (6Gb/s) Gen-3, 63HDD, RAID 0,1,1E
AOC-S2208L-H8iR Standard LP, 8 internal ports (6Gb/s) Gen-3, 240HDD, RAID 0, 1, 5, 6, 10, 50, 60

Вопросы такие:
1. Что такое 122HDD, 63HDD, 240HDD, 240HDD? Общее количество дисков? Т.е. для моих 16 это не актуально?
2. Что такое HBA?
3. Имеет ли смысл брать "RAID 0, 1, 5, 6, 10, 50, 60"? Не проще сделать RAID средствами FreeBSD и не зависеть от софта управления RAID контроллером?
4. Имеет ли смысл брать "battery back-up"? Что оно реально даст? А если сервер на UPS?

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: RAID на 16 дисков

Непрочитанное сообщение Electronik » 2014-02-01 21:13:35

1)Кол-во поддерживаемых дисков/устройств
2)Контроллер для подключения к внешнему SAS контроллеру.
3)Нужно рассматривать под конкретную задачу
4)Есть. Реально даст то, что если сервер не успеет выключиться, и контроллер не успеет сбросить кэш на диски, у Вас не развалится RAID массив. При подаче питания весь кэш отправится на диски. Т.к UPS может не выдержать, батареи могут высохнуть.
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

icb
лейтенант
Сообщения: 751
Зарегистрирован: 2008-07-15 16:11:11

Re: RAID на 16 дисков

Непрочитанное сообщение icb » 2014-02-01 22:18:15

3)Нужно рассматривать под конкретную задачу
Файловая помойка, образы вируалок и т.п.
Думаю сделать RAID 6 - но вопрос делать ли его средствами FreeBSD или самого контроллера?
Если делать средствами контроллера, то можно попасть при поломке контроллера - диски не прочитаются (пока аналогичный контроллер не достанешь).

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: RAID на 16 дисков

Непрочитанное сообщение Alex Keda » 2014-02-02 0:52:58

http://www.supermicro.com.tw/products/s ... 7R-WRF.cfm
Input / Output
SAS/SATA

Customizable storage
можно прилично сэкономить если вязть с SFF-8087 бакплейном - тогда контроллер можно взять с одним соответствующим выходом
я так извернулся у себя - на 12 дисков взял 3ware 9790-4i
Убей их всех! Бог потом рассортирует...

icb
лейтенант
Сообщения: 751
Зарегистрирован: 2008-07-15 16:11:11

Re: RAID на 16 дисков

Непрочитанное сообщение icb » 2014-02-02 2:23:28

4)Есть. Реально даст то, что если сервер не успеет выключиться, и контроллер не успеет сбросить кэш на диски, у Вас не развалится RAID массив. При подаче питания весь кэш отправится на диски. Т.к UPS может не выдержать, батареи могут высохнуть.
На сколько этой батарейки хватает? А если она высохнет?
Удивителен кстати ценник на нее.
можно прилично сэкономить если вязть с SFF-8087 бакплейном
Это как?
Там в комплектации четко написано Backplane BPN-SAS-213A Sup 16x2.5" hot-swap SAS/SATA hdd; iPass ?con и 4 кабеля в комплекте.
По виду они вроде похожи на SFF-8087, но как узнать совместимы ли?
я так извернулся у себя - на 12 дисков взял 3ware 9790-4i
Такую модель даже яндекс не знает. Да и она должна быть на 4 порта всего (4i в названии).
На 16 портов есть:
LSI 3WARE SAS 9750-16i4e <LSI00252> (RTL) PCI-Ex8, 20-port SAS / SATA 6Gb / s RAID 0 / 1 / 5 / 6 / 10 / 50, 512Mb
LSI SAS 9201-16i <LSI00244> (RTL) PCI-Ex8, 16-port SAS / SATA 6Gb / s
И опять встает вопрос - стоит ли переплачивать в 3 раза за аппаратный рейд? Ведь есть большой риск потерять весь массив при выходе из строя контроллера.

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: RAID на 16 дисков

Непрочитанное сообщение Electronik » 2014-02-02 2:48:14

Такую модель даже яндекс не знает. Да и она должна быть на 4 порта всего (4i в названии).
Это не значит что можно подключить только 4 диска. Это значит что там 4 порта. К которому через бэкплэйн или SAS экспандер можно подключить до четырёх устройств. можно подключить 4 дисковых полки по 16 дисков в каждой.
Ведь есть большой риск потерять весь массив при выходе из строя контроллера.
А если все диски сгорят? А если потом? А если пожар? Бэкапы никто не отменял. А при софтовом рэйде вы данные не потеряете?

Бюджет какой? Сервера уже есть?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: RAID на 16 дисков

Непрочитанное сообщение Electronik » 2014-02-02 2:56:44

На сколько этой батарейки хватает? А если она высохнет?
Удивителен кстати ценник на нее.
Высохнет-замЕните. обычно на 3-4 года хватает. сейчас новые рэйды идут с суперконденсатором и флешкой, на которую переносится вся инфа из кэша, и в таком состоянии контроллер может находится до нескольких лет. если бюджет позволяет, меняйте раз в два года.
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

icb
лейтенант
Сообщения: 751
Зарегистрирован: 2008-07-15 16:11:11

Re: RAID на 16 дисков

Непрочитанное сообщение icb » 2014-02-02 3:14:30

А если все диски сгорят? А если потом? А если пожар?
Вероятности разные.
Бэкапы никто не отменял.
На подобном сервере в том числе бекапы и будут лежать.
Бекап бекапов делать? А потом еще бакап бекапа бекапов?
А при софтовом рэйде вы данные не потеряете?
Я смогу диски вставить в другой сервер с другим контроллером и поднять массив.
С аппаратным рейдом такое не получится (был опыт с Intel и Adaptec).
Да и многие большие компании вроде идут по подобному пути (не используют аппаратные RAID) - google и т.п.
Бюджет какой? Сервера уже есть?
Серверов нет. Бюджет считаю, пока выходит около 500 тыс на сервер.
Высохнет-замЕните.
Как и в UPS ;)
сейчас новые рэйды идут с суперконденсатором и флешкой, на которую переносится вся инфа из кэша, и в таком состоянии контроллер может находится до нескольких лет.
Это которые конкретно модели?
если бюджет позволяет, меняйте раз в два года.
Менять батарею не получится - 100%

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: RAID на 16 дисков

Непрочитанное сообщение Electronik » 2014-02-02 4:02:03

Вероятности разные.
сбой может быть любой. никто Вам не даст 100% гарантии того что, что то не сломается.
Я смогу диски вставить в другой сервер с другим контроллером и поднять массив.
не факт.
С аппаратным рейдом такое не получится (был опыт с Intel и Adaptec).
поэтому всегда должен быть запасной под замену.
Да и многие большие компании вроде идут по подобному пути (не используют аппаратные RAID) - google и т.п.
Ну да. У них есть для этого миллионы долларов что бы держать прогрммеров и тех. персонал. для обслуживания распределённой ФС. Конечно в таком случае софтовое решение обойдётся горааааздо дешевле, нежели хардварное. Не думаю что у Вас есть этот миллион. Да и скорость работы не какая будет. В любом случае Вам нужен SAS контроллер.
Как и в UPS ;)
Типа того ;)
Это которые конкретно модели?
http://www.nix.ru/autocatalog/controlle ... 47770.html
http://www.nix.ru/autocatalog/controlle ... 16254.html
http://www.nix.ru/autocatalog/controlle ... 64234.html

там в описании поддерживаемые контроллеры.
Серверов нет. Бюджет считаю, пока выходит около 500 тыс на сервер.
Посмотрите на эти девайсы
Платформа
http://www.supermicro.com/products/syst ... E1R16L.cfm
проц
http://ark.intel.com/products/64588/Int ... -Intel-QPI

Контроллер
http://www.nix.ru/autocatalog/controlle ... 47611.html
BBU
http://www.nix.ru/autocatalog/controlle ... 47770.html

Или
Платформа
http://ark.intel.com/products/56271/Int ... R2312GL4GS

доп полка для дисков
http://ark.intel.com/products/74543/Int ... OD2312S2SP

контроллер
http://ark.intel.com/products/47614/Int ... r-RS2MB044
BBU
http://ark.intel.com/products/56117/Int ... -AXXRSBBU8

Или
http://www.nix.ru/autocatalog/controlle ... 49537.html
+
http://www.nix.ru/autocatalog/controlle ... 47770.html

проц
http://ark.intel.com/products/64588/Int ... -Intel-QPI
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

icb
лейтенант
Сообщения: 751
Зарегистрирован: 2008-07-15 16:11:11

Re: RAID на 16 дисков

Непрочитанное сообщение icb » 2014-02-02 22:14:45

Да и скорость работы не какая будет.
Главный вопрос - на сколько будет падение? Если не очень много, то пожертвовать можно.
В любом случае Вам нужен SAS контроллер.
Да, но цена полноценного контроллера умеющего RAID-6 отличается почти в 2 раза от умеющего только RAID-1.
Платформа Supermicro 6037R-E1R16L
Для SAS 3.5" не очень выгодно, т.к. винты все равно нормальные идут 2.5".
Для SATA я на подобную смотрю.
проц Intel Xeon E5-2609
Староват. Я смотрю на Intel E5-2660v2 - там уже 10 ядер (вместо 4 у приведенного), шина быстрее, кэша больше.
Или
Платформа Intel® Server System R2312GL4GS
Если учитывать периодические слухи о сворачивания серверного сегмента, то лучше сразу рассматривать других производителей.
Раньше именно Intel я и брал, но перехожу на Supermicro.

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: RAID на 16 дисков

Непрочитанное сообщение Electronik » 2014-02-03 14:25:18

Да, но цена полноценного контроллера умеющего RAID-6 отличается почти в 2 раза от умеющего только RAID-1.
Вы меня не правильно поняли. Вам нужен просто SAS контроллер, а не SAS RAID контроллер. Что то на подобии этих.Если Вы решитесь делать чисто софтовое решение.
http://www.nix.ru/autocatalog/controlle ... 54983.html
http://www.nix.ru/autocatalog/controlle ... 86903.html
http://www.nix.ru/autocatalog/controlle ... 68433.html
Для SAS 3.5" не очень выгодно, т.к. винты все равно нормальные идут 2.5".
Так и не понял что невыгодно. Стоимость 1ГБ 3,5" в полтора раза ниже стоимости 1ГБ 2,5". И дисков больше 1ТБ, 2,5" нету.
И от использования 2,5" дисков кроме сниженного энергопотребления Вы ничего не выигрываете.
Староват. Я смотрю на Intel E5-2660v2 - там уже 10 ядер (вместо 4 у приведенного), шина быстрее, кэша больше.
Не совсем понимаю зачем для хранения информации 10 ядер, а там еще и HT есть. даже если Вы будете использовать софтовое решение, максимум Вы будете использовать его на 15-20 процентов.
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог


icb
лейтенант
Сообщения: 751
Зарегистрирован: 2008-07-15 16:11:11

Re: RAID на 16 дисков

Непрочитанное сообщение icb » 2014-02-03 14:40:14

Вам нужен просто SAS контроллер, а не SAS RAID контроллер. Что то на подобии этих.
По цене они особо не отличаются от RAID контроллеров.
Если Вы решитесь делать чисто софтовое решение.
Решиться бы только. Похоже никто не знает насколько медленнее софтовое решение :(
Так и не понял что невыгодно. Стоимость 1ГБ 3,5" в полтора раза ниже стоимости 1ГБ 2,5". И дисков больше 1ТБ, 2,5" нету.
И от использования 2,5" дисков кроме сниженного энергопотребления Вы ничего не выигрываете.
Берем к примеру WD и Toshiba: все винты SAS 10к оборотов являются 2.5", а 3.5" делается путем добавления радиатора.
Не совсем понимаю зачем для хранения информации 10 ядер, а там еще и HT есть. даже если Вы будете использовать софтовое решение, максимум Вы будете использовать его на 15-20 процентов.
Много чего планируется туда повесить: HTTP, MySQL, Virtualbox и т.п.

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: RAID на 16 дисков

Непрочитанное сообщение Electronik » 2014-02-03 14:51:08

А можно больше информации от том что Вы хотите сделать?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

icb
лейтенант
Сообщения: 751
Зарегистрирован: 2008-07-15 16:11:11

Re: RAID на 16 дисков

Непрочитанное сообщение icb » 2014-02-03 14:57:05

Боле-менее универсальный сервер на 16 быстрых дисков с хорошим процессором и 256 ГБ памяти.

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: RAID на 16 дисков

Непрочитанное сообщение Electronik » 2014-02-03 15:07:17

А что будет если этот сервер сломается?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

icb
лейтенант
Сообщения: 751
Зарегистрирован: 2008-07-15 16:11:11

Re: RAID на 16 дисков

Непрочитанное сообщение icb » 2014-02-03 15:22:44

А что будет если этот сервер сломается?
А что будет если другие сервера ломаются?
Все как обычно - серверов несколько.
Плюс бекапы на SATA (пока не решил 2U (12 дисков) или 3U (16 дисков)).

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: RAID на 16 дисков

Непрочитанное сообщение Electronik » 2014-02-03 15:42:18

Ну я к тому что не стоит всё предприятие держать на одном сервере. Даже если есть бэкапы.
Посмотрите в сторону proxmox в качестве системы виртуализации, она по производительнее будет чем VBOX.
http://www.proxmox.com/ru/proxmox-ve
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

icb
лейтенант
Сообщения: 751
Зарегистрирован: 2008-07-15 16:11:11

Re: RAID на 16 дисков

Непрочитанное сообщение icb » 2014-02-03 16:06:58

Ну я к тому что не стоит всё предприятие держать на одном сервере.
Он далеко не один. Но и раздувать не могу, т.к. с местом и питанием проблемы.
Посмотрите в сторону proxmox в качестве системы виртуализации, она по производительнее будет чем VBOX.
Уже смотрел. Там для FreeBSD вроде QEMU используется? Не проще ли сразу на FreeBSD поднять QEMU без Linux?

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: RAID на 16 дисков

Непрочитанное сообщение Electronik » 2014-02-03 16:15:18

Там для FreeBSD вроде QEMU используется?
не в кусе.
Не проще ли сразу на FreeBSD поднять QEMU без Linux?
Ну если Используется только FreeBSD, то проще. И юзать при этом jail. Если есть другие ОС, то не проще.
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: RAID на 16 дисков

Непрочитанное сообщение Alex Keda » 2014-02-03 22:31:27

9750-4i контроллер
--
я делаю "бэкап бэкапов"
это нормально, по отношению к действительно ценным данным.
Убей их всех! Бог потом рассортирует...