производительность виртуализированной дисковой системы

[opt1k]

?Добрый день.

Неделю назад приехал новый сервант:

24гб ОЗУ

2х5450

4х600gb@15kRPM hitachi 6gb sas собраны в RAID 1+0

и sas контроллер на базе lsi 2108 6gb.

Задача натянуть туда ад2008+терминалка 1с на 50 клиентов.

Для того что бы заложить на будущее возможность масштабирования я решил всё это делать ставить в виртуалку.

До этого я имел опыт с разными системами виртуализации и тестировал их на предмет оверхеда ЦП. Но тут 1с и надо было особое внимение уделить производительности дисковой подсистемы. Я исследовал следущее: centos@virtualbox(+-guest additions и разные контроллеры эмулируемые гипервизором), centos@kvm(+-virtio), windows2008@virtualbox(+- guest additions), esxi 4.1. Сейчас ещё заканчиваю тесты Hyper-V. Во всех случаях гостевая ОС - windows server 2008 r2 x64, кроме одного, я решил прогнать гостевую centos под kvm.

Началось всё с того что я решил для виртуализации использовать centos 5.5 + virtulbox. После того как я всё установил, я решил проперить производительность дисковой системы, на всякий. Результат был плохим и я начал перебирать варианты в поисках лучших результатов. Но в итоге производительность в ряде случаев очень низкая.

Вот лучший результат что я добился при связке Centos+Vitualbox+virio в мб\с:

запись: 295

перезапись: 337

чтение: 361

повторное чтение: 354

случайная запись: 24,5

случайное чтение: 32

Это не все числа что я получил, это основные показатели.

Все тесты делались утилитой iozone с параметрами(были и другие, но на них тяжело увидеть разницу): -s 3000m -Rb /path/to/report

Для гостевой ОС выствлял 1Гб ОЗУ что бы не было эффекта кеширования дисковых запросов в памяти.

Чесно скажу: результаты меня расстроили. Но если выставить больший размер блока записи, например 64, то цифры уже не такие низкие. И может всё это нормально?

С хостовой ОС не могу сравнить полученные цифры случайных операций, т.к. ОЗУ там 24 ГБ, уменьшить я её не смог, а вытащить планки физически не является возможным. Могу сказать про потоковые запись/чтение - гостевая ОС проигрывает не больше чем на 30%(это всё тот же centos@virtualbox).

Сегодня я должен начать разворачивание домена, поэтому стою перед выбором:

1) использовать виртуализацию

2) поставить на сервер винду и не забивать голову



1ый вариант меня всем бы устраивал если б не это "исследование". Сейчас и не знаю на чём остановиться, но всё же склоняюсь к 1). Поэтому хочу что бы вы поделились своими мыслями, может даже у кого-то есть похожая дисковая система и он может поделиться своими результатами?

PS общая картина производительности выглядит так(в порядке от более производительного к менее): virtualbox, kvm, vmware, hyper-v.
Xen пробовать не стал, потому как мне он не интересен, в своё время уже наигрался с ним.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[m0ps]

не знаю как с виртуалбоксом, но в VMware vSphere проблем с производительностью нет

[hizel]

поэтому по моиму пользуют iscsi и подобные сетевые плюшки, а жестяки на отдельной железке с няшным RAID-ом и толстенькой сетевушкой

[m0ps]

iscsi нужен только в бюджетном случае использования общего хранилища. если хост один - достаточно локального хранилища

[FiL]

1. что-то я не понял каким образом наличие 24 гигов в машине мешает потестировать скорость винтов на железке.
2. какой размер страйпа на рейде и какой размер блока записи при тестировании?
3. а что, 300 мегов в секунду на 4-х дисках - это мало?

[opt1k]

очень просто, я тестировал утилитой iozone. В её мануале ясно написано, что размер блока данных должен превышать размер ОЗУ и чем больше, тем лучше, связано это с механизмом кэширования дисковых запросов в ОЗУ.
Поставить больший размер я не мог, время поджимало.

Кстати, могу отрезюмировать: внедрил я виртуализацию на базе centos. Крутится терминалка 2008 с 30 конкурентами, и 20 локальными. Виртуализированная дисковая работает примерно в 2 раза быстрее чем не виртуализированная старого сервера - scsi raid 1+0 15k rpm. Т.е. производительность на нормальном уровне, пользователи довольны.

[snorlov]

А железо какое...

[Hrafn]

посмотрите еще вариант Xen в варианте с виндовыми спецдровами для паравиртуализации

[opt1k]

железо описано выше.
Xen не хочу, как то всё у него "замерло" в плане развития, а цитриковское проприетарное не интересно. Вот kvm другое дело, жду kemari и spice. Вчера поставил федору и пытался пощупать спайс, но что то у меня на этапе перехода в граф. режим гости (рхел6 и федора 14) замирали.

[Hrafn]

Просто именно в Xen у меня производительность дисковой вышла наилучшей в винде. С дровами конечно. А spice штука хорошая и сейчас вполне пригодная

[ProFTP]

разделять полностью I/O между виртуальными серверами умеет вродебы: XEN,KVM,ESXi,Hyper-V
http://www.x0.org.ua/blog/user/1/view/63

[opt1k]

что значит "полностью разделять I/O между виртуальными серверами"?
вы имеете ввиду отсутствие оверхеда дисковых операций по сравнению с хостом, или же вы имеете ввиду возможность задания лимитов на доступ к диску? не понятно.
По ссылке тоже что то для меня не очень прозрачное.

[ProFTP]

короче,

• если предоставлять vps для файлов (загрузка и отдача) по 300-500Гиг за 5-15$/mo с безлимитным трафиком, то используют XEN,KVM,ESXi,Hyper-V
• если для ресурсов с большой посещаемостью или разные мелкие тарифные планы vps (аналог хостинга), то используют производительные OpenVZ/Virtuozzo. Те клиенты которые будут грузить диск - выключять их (если возможнсть мониторинга) и отправлять их на физический сервер. И еще вариант использовать скоростные SAS диски

[RomanKrd]

мы провели тестирование дисковой подсистемы Virtio и IDE в гостевой Windows 2008 Server под KVM на Fedora 14. если интересно можно почитать здесь