Подскажите по выбору серверных жестких дисков

Решение проблем связванных с работой железа. Проблемы программно-аппаратной совместимости.
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
Sun
прапорщик
Сообщения: 496
Зарегистрирован: 2008-07-14 18:27:14
Откуда: Красноярск
Контактная информация:

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Sun » 2021-04-19 14:10:08

Как давно я тут не писал. Привет всем :smile:

Появилась потребность купить сервер, выбрали платформу Supermicro SYS-6019P-MTR, следующую конфигурацию:

Платформа Supermicro SYS-6019P-MTR
Процессор 1х INTEL Xeon Silver 4112 2.6ГГц
Память 4х Fujitsu S26361-F3909-L716 16Gb DIMM ECC U PC4-21300 CL19 2666MHz

Встал затык с выбором файловой подсистемы. Не понятно, SAS или SATA диски в него брать, ну и вопрос по SSD, что будет производительней, SAS 15k или SSD.

Задача собрать платформу под Proxmox внутри которого будут крутиться 2 вм с windows server(Сервер БД + 1С и сервер доступа для пользователей 1с) и возможно контейнер с Zabbix. Raid 0 под ВМ и систему на производительных дисках и raid 0 под бэкапы на обычных дисках.

Помогите пожалуйста определиться с выбором. Заранее спасибо.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
skeletor
майор
Сообщения: 2548
Зарегистрирован: 2007-11-16 18:22:04

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение skeletor » 2021-04-19 16:25:58

Если будет слишком большая запись на диск, то SSD будут быстро выходить из строя (количество циклов записи/перезаписи). Когда раз в полгода выходило сразу 6 дисков, то было принято решение перейти на SAS 15k. Время реакции дисков увеличилось, но по-другому никак.
Понятно дело, что речь выше шла о Enterprise SSD/SAS.

SSD всегда будет быстрее SAS 15k. Если нужна супер-пупер надёжность, лучше SAS. Если хочется скорости и есть возможность для downtime restore, то можно попробовать SSD.

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение snorlov » 2021-04-19 17:04:29

Сервер доступа для пользователей 1с, что это такое, если rdp, то может лучше рассмотреть веб, раз собираетесь юзать 1С с sql-лом, то сервер-1с у вас точно будет. Зачем вам raid0, это все равно, что поднимать все из бекапа при отказе, лучше уж накрутить raid10, хоть какая-то гарантия будет, что все не сразу упадет, если очень хочется скорости, то ssd с интерфейсом nvme под виртуалки, только эти ссд-ки не надо ставить в raid'ы, это зеркало может вас не спасти...

guest
проходил мимо

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение guest » 2021-04-19 18:01:29

Платформа Supermicro SYS-6019P-MTR
Процессор 1х INTEL Xeon Silver 4112 2.6ГГц
Память 4х Fujitsu S26361-F3909-L716 16Gb DIMM ECC U PC4-21300 CL19 2666MHz

Встал затык с выбором файловой подсистемы. Не понятно, SAS или SATA диски в него брать, ну и вопрос по SSD, что будет производительней, SAS 15k или SSD.

Задача собрать платформу под Proxmox внутри которого будут крутиться 2 вм с windows server(Сервер БД + 1С и сервер доступа для пользователей 1с) и возможно контейнер с Zabbix. Raid 0 под ВМ и систему на производительных дисках и raid 0 под бэкапы на обычных дисках.
- RAID 0 под: Debian + VM images
- RAID 0 под: бэкапы

Брр...
Подтяните хоть немного что есть RAID и какие уровни с какими возможностями:
- RAID 0
- RAID 1 (mirror)
- RAID 10
- RAID 5

Потом подумайте чего Вы хотите:
- скорость
- надежность
- и скорость и надежность
- ...

Разницы, по сроку жизни, между Enterprise SSD и Enterprise HDD (SAS или SATA), как показывает опыт нет.
Производительней будет SSD.
Самый быстрый из верхних рейдов RAID10, особенно если на нем будут образы VM внутри которых БД.

Аватара пользователя
Sun
прапорщик
Сообщения: 496
Зарегистрирован: 2008-07-14 18:27:14
Откуда: Красноярск
Контактная информация:

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Sun » 2021-04-20 5:29:39

Простите, конечно же нужно зеркало, постоянно путаю 0 и 1, не сильно часто приходится с этим работать.

По поводу 1с в веб, не разу не пробовал. Как это все работает с торговым оборудованием? То что пробрасывается через rdp?

Аватара пользователя
Sun
прапорщик
Сообщения: 496
Зарегистрирован: 2008-07-14 18:27:14
Откуда: Красноярск
Контактная информация:

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Sun » 2021-04-20 6:33:29

А кто что скажет про SAS NL на них вроде пишут Enterprise,читал что это более медленный вариант SAS 7к. И еще такой вопрос при неожиданной потери питания, где то читал что вероятность сохранения данных выше у SAS интерфейса чем у SATA, так ли это?

guest
проходил мимо

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение guest » 2021-04-20 9:16:32

А кто что скажет про SAS NL на них вроде пишут Enterprise,читал что это более медленный вариант SAS 7к.
NL - Near Line, это SATA работающие через SAS интерфейс.
Производители SAS еще не могли достигнуть больших объемов нужных
для стораджей, датацентров...
Near Line ("Ближняя линия") - давали большой объем, но по скорости проигрывали
реальным SAS, однако выигрывали у SATA.
Отсюда и название "Ближняя Линия", _приближаются_ к SAS.

EnterPrise - это линейка дисков, с параметрами качества и долговечности, отличными
от десктопных решений, от всякий там GREEN, BLUE, RED, ECO...
И еще такой вопрос при неожиданной потери питания, где то читал что вероятность сохранения данных выше у SAS интерфейса чем у SATA, так ли это?
Если только в _глубокой_ теории...
Рассчитывать на это в случае виртуализации - просто бред...
В случае с Proxmox, лучше всего использовать qcow2 формат для vHDD, чтобы использовать
возможности backup'ов на лету...

Если же у Вас будет пропадать питание и нет ИБП, лучше поставить Debian с KVM и
в качестве vHDD использовать LVM Volume, скорости работы с vHDD будут нативные,
а в случае падения питания, шансы у vHDD будут равны шансам потери данных на хосте.

Использовать RAID N без ИБП и вовсе глупо:
- RAID0 небезопасно и сложно при попытке восстановления
- RAID1 медленно, если сам Proxmox еще можно установить на RAID1,
то swap ни в коем случае, он мб использован QEMU/KVM
- тонкий LVM от Proxmox, либо на RAID10, либо на RAID5(50)

короче, vHDD имеет смысл хранить на RAID5(50) или на RAID10, ну или вовсе
забить на RAID если объемы позволяют, бекап будет проще.

Практика показала: нельзя сделать дешево и чтобы было БЫСТРО и НАДЕЖНО.

Аватара пользователя
Sun
прапорщик
Сообщения: 496
Зарегистрирован: 2008-07-14 18:27:14
Откуда: Красноярск
Контактная информация:

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Sun » 2021-04-20 10:51:56

guest писал(а):
2021-04-20 9:16:32
Практика показала: нельзя сделать дешево и чтобы было БЫСТРО и НАДЕЖНО.
Тут выбора нет, нужно сделать надежно. Скорость не настолько приоритетна, так как высокой нагрузки в принципе не предвидься там. Нужно крутить базу объемом около 20гб и обеспечить доступ 10 пользователей. Текущая реализация в разы хуже и это вполне устраивает в плане скорости, но все очень зыбко в плане надежности.

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение snorlov » 2021-04-20 11:27:53

Вообще то надо считать и учитывать все, приведу пример 6-летней давности, попросили сервер помощнее, был сбацан на базе интелловской платформы, а в итоге канал в инет оказался узким и окончательный прирост не оправдал ожиданий, потом канал конечно модифицировали и при этом пришли к выводу: купленная железка тянула бы без напряга 5-ти кратное увеличение бизнеса...

Аватара пользователя
Sun
прапорщик
Сообщения: 496
Зарегистрирован: 2008-07-14 18:27:14
Откуда: Красноярск
Контактная информация:

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Sun » 2021-04-20 11:47:50

snorlov писал(а):
2021-04-20 11:27:53
купленная железка тянула бы без напряга 5-ти кратное увеличение бизнеса
Собственно сейчас вот этим и занимаюсь, анализ текущих потребностей, предпосылки к росту и развитию. Возможно даже сопроцессорная платформа будет лишней.

Можете подсказать варианты SAS/SSD дисков, может кто из личного опыта что использует использовал и под какие задачи использовали. Пока что остановился вот на этих Seagate Cheetah 15K.7 300Gb ST3300657SS.

guest
проходил мимо

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение guest » 2021-04-20 20:43:54

Давайте начнем с:
Платформа Supermicro SYS-6019P-MTR
сетевая карта Marvell гавно
видео aspeed - гавно, хотя для сервера это не важно
4 Hot-swap 3.5" SATA3 drive bays
Backplane: SAS2/SATA3

делать конфигурацию: 2xSSD(HDD) под RAID1 Proxmox и 2xSSD(HDD) под RAID0 для данных? Хрень... sorry

Итог: 1xSSD(SATA) под Proxmox, 3xSSD(SATA) под данные. Разбежаться некуда.

Материнка дает: 4 SATA3 (6Gbps) ports
Backplane: SAS2/SATA3 (есть там expander или нет?)
Смысл брать SAS диски если контроллер SATA?

Как итог, брать SATA3 SSD, 100-200GB под систему, остальные под RAID5 через mdadm,
ну или съэкономить и взять SATA3 HDD под данные.

HDD:
- лучшими были HGST UltraStar, теперь это WD UltraStar (поддержка у WD ужасная)
- вероятно ориентироваться на Seagate Enterprise Exos или что-то подобное

SSD:
- Intel DC серия, если память не изменяет
a) Intel D3-4610 - write intesive
b) Intel D3-4510 - read intensive

Intel DC 3700, 3710,3610 - работают в качестве ZFS ARC, отличные модели, но вроде уже не выпускаются.

- Samsung SM883 - супер
- Micron серия 53xx (тут нужно поизучать разные модели)
- WD SSD UltraStar (опять же бывшие HGST)

Что нужно иметь ввиду, чтобы HDD и SSD были Retail и чтобы Вам
не впарили OEM выдранные из серверов HP,Dell,IBM и тд.
Наши продавцы имеют такой грех! Впарят OEM'ные диски и привет, прошивки
не обновишь и не перешьешь - обращайтесь к OEM вендору.

Еще ньюанс, не желательно микшировать SAS и SATA SSD/HDD через одну Backplane,
именно у Supermicro были Backplane на которых скорость работы SAS деградировала
до скорости подключенных SATA.

Чем хороша платформа Supermicro - тем что ее можно набивать любым
железом соответсвующим спецификации Supermicro, лучший конструктор
из всего что есть.

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение snorlov » 2021-04-20 22:15:33

Я бы под Proxmox вообще hdd поставил в зеркале, там только загрузка..., а вот вм под raid10 и на ssd, там количество разьемов PCI-e 3.0 такую конфигурацию иметь позволяет, хотя все равно надо считать...

guest
проходил мимо

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение guest » 2021-04-21 0:38:10

Я бы под Proxmox вообще hdd поставил в зеркале, там только загрузка..., а вот вм под raid10 и на ssd, там количество разьемов PCI-e 3.0 такую конфигурацию иметь позволяет, хотя все равно надо считать...
замечательный конфиг.

Sorry, кол-во PCI-E я не посмотрел, бо видно что с финансами туго...

Я не очень люблю RAID1 и тратить на него 1TB HDD, жаба давит... а маленьких HDD
сейчас уж и не найти

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Neus » 2021-04-21 10:26:10

на матплате есть слот м2
его можно заюзать под систему, а 4 диска под вм в 10 рейд.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

guest
проходил мимо

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение guest » 2021-04-21 14:08:09

на матплате есть слот м2
его можно заюзать под систему, а 4 диска под вм в 10 рейд.
по мне, это лучший вариант, вот только m2 через мои руки не
проходили и статистики по ним нет, в отличие от массы другого железа.

Для топикастера, если Proxmox будете ставить на SSD/NVME, размечайте
не весь SSD, оставьте 10-15% неразмеченным, активируйте TRIM и
отключите использование swap.

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение snorlov » 2021-04-21 14:53:23

Здесь хороший M2, в том смысле, что подключен к PCI-e, а не через sata3, скорость выше, не дерется с sata за прерывания ...

Аватара пользователя
Sun
прапорщик
Сообщения: 496
Зарегистрирован: 2008-07-14 18:27:14
Откуда: Красноярск
Контактная информация:

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Sun » 2021-04-21 14:55:57

Ребята спасибо всем за ответы, очень помогают.
Я же правильно понимаю, это разъем как раз под NVME?
Изображение

Пока что складывается схема NVME под ОСь, как писали выше, RAID10 под ВМ, внешний жесткий диск под бэкапы ВМ + бэкапы на удаленный NAS.

И еще вопрос про reatail и oem, как понять что поставщик поставит нормальные диски?

guest
проходил мимо

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение guest » 2021-04-21 15:49:05

И еще вопрос про reatail и oem, как понять что поставщик поставит нормальные диски?
делать фото ssd/hdd, снимать серийники, регистрировать account у вендора и
поиск по серийнику.

Если с SSD все верхнее попроще, то с HDD сложней, мне пришлось разбираться с
- WD UltraStar SAS HDD (был низкий предел max temperature = 42C) и инициализация дисков
под OpenIndiana шла ~5 минут (диски оказались OEM под какого-то вендора с их firmware)

- WD UltraStar SSD - не найден серийник, не дали скачать firmware, снова идите лесом

В случае с WD HDD поставка была от Dell авторизованного продавца, но через пормежуточную
фирму, в случае с WD SSD от Fujitsu и тоже через промежуточную фирму.

Dell, HP, IBM ... поставляют сервера с "собственными" контроллерами и "собственными" SSD,HDD
в которых их прошивки, и тут ситуация обратная, если в их сервера установили к примеру
родной контроллер LSI и retail SSD/HDD и в какой-то момент что-то сбоит или работает
не оптимально:
support: у Вас стоит не наше оборудование, умываем руки.

У Supermicro такого нет и это вторая компания после Sun Microsystems с классным саппортом.

Посему для меня выбор серверных платформ всегда прост:
- SuperMicro
- Dell (исполнение круче чем у SuperMicro) но модельный ряд маленький
и такой конструктор как у SuperMicro отсутствует.
Ну и самый жуткий и гавеный саппорт у HP

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Neus » 2021-04-21 15:59:32

guest писал(а):
2021-04-21 14:08:09
по мне, это лучший вариант, вот только m2 через мои руки не
проходили и статистики по ним нет, в отличие от массы другого железа.
можно положится на список протестированных https://www.supermicro.com/en/support/r ... e=X11DPL-i
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Neus » 2021-04-21 16:01:14

Sun писал(а):
2021-04-21 14:55:57
Я же правильно понимаю, это разъем как раз под NVME?
угу, он самый, поддерживает как nvme так и sata ssd.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Neus » 2021-04-21 16:09:47

guest писал(а):
2021-04-21 15:49:05
У Supermicro такого нет и это вторая компания после Sun Microsystems с классным саппортом.
Oracle продолжает традиции саппорта Sun?
по поводу WD: у нас сдохли винты от перегрева, я их отправил в WD почтой как частное лицо, и они мне прислали новые, нормальный саппорт =)
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

guest
проходил мимо

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение guest » 2021-04-21 20:57:51

Oracle продолжает традиции саппорта Sun?
да ну... что ты...
по поводу WD: у нас сдохли винты от перегрева, я их отправил в WD почтой как частное лицо, и они мне прислали новые, нормальный саппорт
дык, retail - без вопросов, тут главное прорваться через наших менеджеров в америкосовский
саппорт, они реально готовы помочь, но напрямую выйти сложно, хорошо что у нас уже
есть человек который напрямую контактирует с америкосовской поддержкой WD,Seagate,Broadcom,Adaptec...

Удалось через него, но проблему с OEM это не решило.

А в FreeBSD/Debian - это OEM'ное гумно инициализируется махом, диски по температуре как в OpenIndiana
не вываливаются из ZFS.
Вот лежит штук 70 WD 3TB SAS юзанных 5-7 в Tier'ах, мать их...

Illumos продавить не удалось: да, у некоторых были такие проблемы с драйверами mpt и странными
дисками... Никакие ядерные переменные проблемы не решили, но за это время в Proxmox
запилили поддержку LIO и я с успехом перевел хранилища с ZFS под Debian.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Neus » 2021-04-21 22:53:59

guest писал(а):
2021-04-21 20:57:51
в Proxmox запилили поддержку LIO и я с успехом перевел хранилища с ZFS под Debian.
LIO ещё в ядре 2.6.38 появилось или это не то LIO.
А чем ctld из фряхи не устроил?
И нафига индиана? Это же полигон. У меня OmniOS стоит. Её пробовали?
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35454
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Alex Keda » 2021-04-22 1:00:50

skeletor писал(а):
2021-04-19 16:25:58
Если будет слишком большая запись на диск, то SSD будут быстро выходить из строя (количество циклов записи/перезаписи). Когда раз в полгода выходило сразу 6 дисков, то было принято решение перейти на SAS 15k. Время реакции дисков увеличилось, но по-другому никак.
Понятно дело, что речь выше шла о Enterprise SSD/SAS.
э... а что за диски были, какой TBW, и сколько реально писалось?
энтерпрайзные - у них обычно достаточно большой ресурс
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Sun
прапорщик
Сообщения: 496
Зарегистрирован: 2008-07-14 18:27:14
Откуда: Красноярск
Контактная информация:

Подскажите по выбору серверных жестких дисков

Непрочитанное сообщение Sun » 2021-04-26 10:21:05

Подскажите, нормальные носители?
Intel SSD DC S4610 Series (480GB, 2.5in SATA 6Gb/s, 3D2, TLC), 963346

Есть ризница между Micron 2300 256GB NVMe M.2 (22x80) Pyrite Client SSD и CRUCIAL P2 CT500P2SSD8 500ГБ, M.2 2280, PCI-E x4, NVMe, кроме объема :) Я же правильно понимаю что CRUCIAL это тот же Micron?