forum.lissyara.su

Как давно я тут не писал. Привет всем

Появилась потребность купить сервер, выбрали платформу Supermicro SYS-6019P-MTR, следующую конфигурацию:

Платформа Supermicro SYS-6019P-MTR
Процессор 1х INTEL Xeon Silver 4112 2.6ГГц
Память 4х Fujitsu S26361-F3909-L716 16Gb DIMM ECC U PC4-21300 CL19 2666MHz

Встал затык с выбором файловой подсистемы. Не понятно, SAS или SATA диски в него брать, ну и вопрос по SSD, что будет производительней, SAS 15k или SSD.

Задача собрать платформу под Proxmox внутри которого будут крутиться 2 вм с windows server(Сервер БД + 1С и сервер доступа для пользователей 1с) и возможно контейнер с Zabbix. Raid 0 под ВМ и систему на производительных дисках и raid 0 под бэкапы на обычных дисках.

Помогите пожалуйста определиться с выбором. Заранее спасибо.

Если будет слишком большая запись на диск, то SSD будут быстро выходить из строя (количество циклов записи/перезаписи). Когда раз в полгода выходило сразу 6 дисков, то было принято решение перейти на SAS 15k. Время реакции дисков увеличилось, но по-другому никак.
Понятно дело, что речь выше шла о Enterprise SSD/SAS.

SSD всегда будет быстрее SAS 15k. Если нужна супер-пупер надёжность, лучше SAS. Если хочется скорости и есть возможность для downtime restore, то можно попробовать SSD.

Сервер доступа для пользователей 1с, что это такое, если rdp, то может лучше рассмотреть веб, раз собираетесь юзать 1С с sql-лом, то сервер-1с у вас точно будет. Зачем вам raid0, это все равно, что поднимать все из бекапа при отказе, лучше уж накрутить raid10, хоть какая-то гарантия будет, что все не сразу упадет, если очень хочется скорости, то ssd с интерфейсом nvme под виртуалки, только эти ссд-ки не надо ставить в raid'ы, это зеркало может вас не спасти...

Платформа Supermicro SYS-6019P-MTR
Процессор 1х INTEL Xeon Silver 4112 2.6ГГц
Память 4х Fujitsu S26361-F3909-L716 16Gb DIMM ECC U PC4-21300 CL19 2666MHz

Встал затык с выбором файловой подсистемы. Не понятно, SAS или SATA диски в него брать, ну и вопрос по SSD, что будет производительней, SAS 15k или SSD.

Задача собрать платформу под Proxmox внутри которого будут крутиться 2 вм с windows server(Сервер БД + 1С и сервер доступа для пользователей 1с) и возможно контейнер с Zabbix. Raid 0 под ВМ и систему на производительных дисках и raid 0 под бэкапы на обычных дисках.

- RAID 0 под: Debian + VM images
- RAID 0 под: бэкапы

Брр...
Подтяните хоть немного что есть RAID и какие уровни с какими возможностями:
- RAID 0
- RAID 1 (mirror)
- RAID 10
- RAID 5

Потом подумайте чего Вы хотите:
- скорость
- надежность
- и скорость и надежность
- ...

Разницы, по сроку жизни, между Enterprise SSD и Enterprise HDD (SAS или SATA), как показывает опыт нет.
Производительней будет SSD.
Самый быстрый из верхних рейдов RAID10, особенно если на нем будут образы VM внутри которых БД.

Простите, конечно же нужно зеркало, постоянно путаю 0 и 1, не сильно часто приходится с этим работать.

По поводу 1с в веб, не разу не пробовал. Как это все работает с торговым оборудованием? То что пробрасывается через rdp?

А кто что скажет про SAS NL на них вроде пишут Enterprise,читал что это более медленный вариант SAS 7к. И еще такой вопрос при неожиданной потери питания, где то читал что вероятность сохранения данных выше у SAS интерфейса чем у SATA, так ли это?

А кто что скажет про SAS NL на них вроде пишут Enterprise,читал что это более медленный вариант SAS 7к.

NL - Near Line, это SATA работающие через SAS интерфейс.
Производители SAS еще не могли достигнуть больших объемов нужных
для стораджей, датацентров...
Near Line ("Ближняя линия") - давали большой объем, но по скорости проигрывали
реальным SAS, однако выигрывали у SATA.
Отсюда и название "Ближняя Линия", _приближаются_ к SAS.

EnterPrise - это линейка дисков, с параметрами качества и долговечности, отличными
от десктопных решений, от всякий там GREEN, BLUE, RED, ECO...

И еще такой вопрос при неожиданной потери питания, где то читал что вероятность сохранения данных выше у SAS интерфейса чем у SATA, так ли это?

Если только в _глубокой_ теории...
Рассчитывать на это в случае виртуализации - просто бред...
В случае с Proxmox, лучше всего использовать qcow2 формат для vHDD, чтобы использовать
возможности backup'ов на лету...

Если же у Вас будет пропадать питание и нет ИБП, лучше поставить Debian с KVM и
в качестве vHDD использовать LVM Volume, скорости работы с vHDD будут нативные,
а в случае падения питания, шансы у vHDD будут равны шансам потери данных на хосте.

Использовать RAID N без ИБП и вовсе глупо:
- RAID0 небезопасно и сложно при попытке восстановления
- RAID1 медленно, если сам Proxmox еще можно установить на RAID1,
то swap ни в коем случае, он мб использован QEMU/KVM
- тонкий LVM от Proxmox, либо на RAID10, либо на RAID5(50)

короче, vHDD имеет смысл хранить на RAID5(50) или на RAID10, ну или вовсе
забить на RAID если объемы позволяют, бекап будет проще.

Практика показала: нельзя сделать дешево и чтобы было БЫСТРО и НАДЕЖНО.

guest писал(а): ↑

2021-04-20 9:16:32

Практика показала: нельзя сделать дешево и чтобы было БЫСТРО и НАДЕЖНО.

Тут выбора нет, нужно сделать надежно. Скорость не настолько приоритетна, так как высокой нагрузки в принципе не предвидься там. Нужно крутить базу объемом около 20гб и обеспечить доступ 10 пользователей. Текущая реализация в разы хуже и это вполне устраивает в плане скорости, но все очень зыбко в плане надежности.

Вообще то надо считать и учитывать все, приведу пример 6-летней давности, попросили сервер помощнее, был сбацан на базе интелловской платформы, а в итоге канал в инет оказался узким и окончательный прирост не оправдал ожиданий, потом канал конечно модифицировали и при этом пришли к выводу: купленная железка тянула бы без напряга 5-ти кратное увеличение бизнеса...

snorlov писал(а): ↑

2021-04-20 11:27:53

купленная железка тянула бы без напряга 5-ти кратное увеличение бизнеса

Собственно сейчас вот этим и занимаюсь, анализ текущих потребностей, предпосылки к росту и развитию. Возможно даже сопроцессорная платформа будет лишней.

Можете подсказать варианты SAS/SSD дисков, может кто из личного опыта что использует использовал и под какие задачи использовали. Пока что остановился вот на этих Seagate Cheetah 15K.7 300Gb ST3300657SS.

Давайте начнем с:

Платформа Supermicro SYS-6019P-MTR

сетевая карта Marvell гавно
видео aspeed - гавно, хотя для сервера это не важно
4 Hot-swap 3.5" SATA3 drive bays
Backplane: SAS2/SATA3

делать конфигурацию: 2xSSD(HDD) под RAID1 Proxmox и 2xSSD(HDD) под RAID0 для данных? Хрень... sorry

Итог: 1xSSD(SATA) под Proxmox, 3xSSD(SATA) под данные. Разбежаться некуда.

Материнка дает: 4 SATA3 (6Gbps) ports
Backplane: SAS2/SATA3 (есть там expander или нет?)
Смысл брать SAS диски если контроллер SATA?

Как итог, брать SATA3 SSD, 100-200GB под систему, остальные под RAID5 через mdadm,
ну или съэкономить и взять SATA3 HDD под данные.

HDD:
- лучшими были HGST UltraStar, теперь это WD UltraStar (поддержка у WD ужасная)
- вероятно ориентироваться на Seagate Enterprise Exos или что-то подобное

SSD:
- Intel DC серия, если память не изменяет
a) Intel D3-4610 - write intesive
b) Intel D3-4510 - read intensive

Intel DC 3700, 3710,3610 - работают в качестве ZFS ARC, отличные модели, но вроде уже не выпускаются.

- Samsung SM883 - супер
- Micron серия 53xx (тут нужно поизучать разные модели)
- WD SSD UltraStar (опять же бывшие HGST)

Что нужно иметь ввиду, чтобы HDD и SSD были Retail и чтобы Вам
не впарили OEM выдранные из серверов HP,Dell,IBM и тд.
Наши продавцы имеют такой грех! Впарят OEM'ные диски и привет, прошивки
не обновишь и не перешьешь - обращайтесь к OEM вендору.

Еще ньюанс, не желательно микшировать SAS и SATA SSD/HDD через одну Backplane,
именно у Supermicro были Backplane на которых скорость работы SAS деградировала
до скорости подключенных SATA.

Чем хороша платформа Supermicro - тем что ее можно набивать любым
железом соответсвующим спецификации Supermicro, лучший конструктор
из всего что есть.

Я бы под Proxmox вообще hdd поставил в зеркале, там только загрузка..., а вот вм под raid10 и на ssd, там количество разьемов PCI-e 3.0 такую конфигурацию иметь позволяет, хотя все равно надо считать...

Я бы под Proxmox вообще hdd поставил в зеркале, там только загрузка..., а вот вм под raid10 и на ssd, там количество разьемов PCI-e 3.0 такую конфигурацию иметь позволяет, хотя все равно надо считать...

замечательный конфиг.

Sorry, кол-во PCI-E я не посмотрел, бо видно что с финансами туго...

Я не очень люблю RAID1 и тратить на него 1TB HDD, жаба давит... а маленьких HDD
сейчас уж и не найти

на матплате есть слот м2
его можно заюзать под систему, а 4 диска под вм в 10 рейд.

на матплате есть слот м2
его можно заюзать под систему, а 4 диска под вм в 10 рейд.

по мне, это лучший вариант, вот только m2 через мои руки не
проходили и статистики по ним нет, в отличие от массы другого железа.

Для топикастера, если Proxmox будете ставить на SSD/NVME, размечайте
не весь SSD, оставьте 10-15% неразмеченным, активируйте TRIM и
отключите использование swap.

Здесь хороший M2, в том смысле, что подключен к PCI-e, а не через sata3, скорость выше, не дерется с sata за прерывания ...

Ребята спасибо всем за ответы, очень помогают.
Я же правильно понимаю, это разъем как раз под NVME?


Пока что складывается схема NVME под ОСь, как писали выше, RAID10 под ВМ, внешний жесткий диск под бэкапы ВМ + бэкапы на удаленный NAS.

И еще вопрос про reatail и oem, как понять что поставщик поставит нормальные диски?

И еще вопрос про reatail и oem, как понять что поставщик поставит нормальные диски?

делать фото ssd/hdd, снимать серийники, регистрировать account у вендора и
поиск по серийнику.

Если с SSD все верхнее попроще, то с HDD сложней, мне пришлось разбираться с
- WD UltraStar SAS HDD (был низкий предел max temperature = 42C) и инициализация дисков
под OpenIndiana шла ~5 минут (диски оказались OEM под какого-то вендора с их firmware)

- WD UltraStar SSD - не найден серийник, не дали скачать firmware, снова идите лесом

В случае с WD HDD поставка была от Dell авторизованного продавца, но через пормежуточную
фирму, в случае с WD SSD от Fujitsu и тоже через промежуточную фирму.

Dell, HP, IBM ... поставляют сервера с "собственными" контроллерами и "собственными" SSD,HDD
в которых их прошивки, и тут ситуация обратная, если в их сервера установили к примеру
родной контроллер LSI и retail SSD/HDD и в какой-то момент что-то сбоит или работает
не оптимально:
support: у Вас стоит не наше оборудование, умываем руки.

У Supermicro такого нет и это вторая компания после Sun Microsystems с классным саппортом.

Посему для меня выбор серверных платформ всегда прост:
- SuperMicro
- Dell (исполнение круче чем у SuperMicro) но модельный ряд маленький
и такой конструктор как у SuperMicro отсутствует.
Ну и самый жуткий и гавеный саппорт у HP

guest писал(а): ↑

2021-04-21 14:08:09

по мне, это лучший вариант, вот только m2 через мои руки не
проходили и статистики по ним нет, в отличие от массы другого железа.

можно положится на список протестированных https://www.supermicro.com/en/support/r ... e=X11DPL-i

Sun писал(а): ↑

2021-04-21 14:55:57

Я же правильно понимаю, это разъем как раз под NVME?

угу, он самый, поддерживает как nvme так и sata ssd.

guest писал(а): ↑

2021-04-21 15:49:05

У Supermicro такого нет и это вторая компания после Sun Microsystems с классным саппортом.

Oracle продолжает традиции саппорта Sun?
по поводу WD: у нас сдохли винты от перегрева, я их отправил в WD почтой как частное лицо, и они мне прислали новые, нормальный саппорт

Oracle продолжает традиции саппорта Sun?

да ну... что ты...

по поводу WD: у нас сдохли винты от перегрева, я их отправил в WD почтой как частное лицо, и они мне прислали новые, нормальный саппорт

дык, retail - без вопросов, тут главное прорваться через наших менеджеров в америкосовский
саппорт, они реально готовы помочь, но напрямую выйти сложно, хорошо что у нас уже
есть человек который напрямую контактирует с америкосовской поддержкой WD,Seagate,Broadcom,Adaptec...

Удалось через него, но проблему с OEM это не решило.

А в FreeBSD/Debian - это OEM'ное гумно инициализируется махом, диски по температуре как в OpenIndiana
не вываливаются из ZFS.
Вот лежит штук 70 WD 3TB SAS юзанных 5-7 в Tier'ах, мать их...

Illumos продавить не удалось: да, у некоторых были такие проблемы с драйверами mpt и странными
дисками... Никакие ядерные переменные проблемы не решили, но за это время в Proxmox
запилили поддержку LIO и я с успехом перевел хранилища с ZFS под Debian.

guest писал(а): ↑

2021-04-21 20:57:51

в Proxmox запилили поддержку LIO и я с успехом перевел хранилища с ZFS под Debian.

LIO ещё в ядре 2.6.38 появилось или это не то LIO.
А чем ctld из фряхи не устроил?
И нафига индиана? Это же полигон. У меня OmniOS стоит. Её пробовали?

skeletor писал(а): ↑

2021-04-19 16:25:58

Если будет слишком большая запись на диск, то SSD будут быстро выходить из строя (количество циклов записи/перезаписи). Когда раз в полгода выходило сразу 6 дисков, то было принято решение перейти на SAS 15k. Время реакции дисков увеличилось, но по-другому никак.
Понятно дело, что речь выше шла о Enterprise SSD/SAS.

э... а что за диски были, какой TBW, и сколько реально писалось?
энтерпрайзные - у них обычно достаточно большой ресурс

Подскажите, нормальные носители?
Intel SSD DC S4610 Series (480GB, 2.5in SATA 6Gb/s, 3D2, TLC), 963346

Есть ризница между Micron 2300 256GB NVMe M.2 (22x80) Pyrite Client SSD и CRUCIAL P2 CT500P2SSD8 500ГБ, M.2 2280, PCI-E x4, NVMe, кроме объема Я же правильно понимаю что CRUCIAL это тот же Micron?