производительность виртуализированной дисковой системы

VirtualBox, QEMU, ESX/ESXi и прочия
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
opt1k
лейтенант
Сообщения: 966
Зарегистрирован: 2007-12-05 9:45:18
Откуда: Mytischi

производительность виртуализированной дисковой системы

Непрочитанное сообщение opt1k » 2011-02-04 9:17:10

?Добрый день.

Неделю назад приехал новый сервант:

24гб ОЗУ

2х5450

4х600gb@15kRPM hitachi 6gb sas собраны в RAID 1+0

и sas контроллер на базе lsi 2108 6gb.

Задача натянуть туда ад2008+терминалка 1с на 50 клиентов.

Для того что бы заложить на будущее возможность масштабирования я решил всё это делать ставить в виртуалку.

До этого я имел опыт с разными системами виртуализации и тестировал их на предмет оверхеда ЦП. Но тут 1с и надо было особое внимение уделить производительности дисковой подсистемы. Я исследовал следущее: centos@virtualbox(+-guest additions и разные контроллеры эмулируемые гипервизором), centos@kvm(+-virtio), windows2008@virtualbox(+- guest additions), esxi 4.1. Сейчас ещё заканчиваю тесты Hyper-V. Во всех случаях гостевая ОС - windows server 2008 r2 x64, кроме одного, я решил прогнать гостевую centos под kvm.

Началось всё с того что я решил для виртуализации использовать centos 5.5 + virtulbox. После того как я всё установил, я решил проперить производительность дисковой системы, на всякий. Результат был плохим и я начал перебирать варианты в поисках лучших результатов. Но в итоге производительность в ряде случаев очень низкая.

Вот лучший результат что я добился при связке Centos+Vitualbox+virio в мб\с:

запись: 295

перезапись: 337

чтение: 361

повторное чтение: 354

случайная запись: 24,5

случайное чтение: 32

Это не все числа что я получил, это основные показатели.

Все тесты делались утилитой iozone с параметрами(были и другие, но на них тяжело увидеть разницу): -s 3000m -Rb /path/to/report

Для гостевой ОС выствлял 1Гб ОЗУ что бы не было эффекта кеширования дисковых запросов в памяти.

Чесно скажу: результаты меня расстроили. Но если выставить больший размер блока записи, например 64, то цифры уже не такие низкие. И может всё это нормально?

С хостовой ОС не могу сравнить полученные цифры случайных операций, т.к. ОЗУ там 24 ГБ, уменьшить я её не смог, а вытащить планки физически не является возможным. Могу сказать про потоковые запись/чтение - гостевая ОС проигрывает не больше чем на 30%(это всё тот же centos@virtualbox).

Сегодня я должен начать разворачивание домена, поэтому стою перед выбором:

1) использовать виртуализацию

2) поставить на сервер винду и не забивать голову



1ый вариант меня всем бы устраивал если б не это "исследование". Сейчас и не знаю на чём остановиться, но всё же склоняюсь к 1). Поэтому хочу что бы вы поделились своими мыслями, может даже у кого-то есть похожая дисковая система и он может поделиться своими результатами?

PS общая картина производительности выглядит так(в порядке от более производительного к менее): virtualbox, kvm, vmware, hyper-v.
Xen пробовать не стал, потому как мне он не интересен, в своё время уже наигрался с ним.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение m0ps » 2011-02-04 9:45:45

не знаю как с виртуалбоксом, но в VMware vSphere проблем с производительностью нет

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение hizel » 2011-02-04 10:27:59

поэтому по моиму пользуют iscsi и подобные сетевые плюшки, а жестяки на отдельной железке с няшным RAID-ом и толстенькой сетевушкой
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение m0ps » 2011-02-04 10:30:56

iscsi нужен только в бюджетном случае использования общего хранилища. если хост один - достаточно локального хранилища

FiL
ст. лейтенант
Сообщения: 1375
Зарегистрирован: 2010-02-05 0:21:40

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение FiL » 2011-02-07 22:33:19

1. что-то я не понял каким образом наличие 24 гигов в машине мешает потестировать скорость винтов на железке.
2. какой размер страйпа на рейде и какой размер блока записи при тестировании?
3. а что, 300 мегов в секунду на 4-х дисках - это мало?

opt1k
лейтенант
Сообщения: 966
Зарегистрирован: 2007-12-05 9:45:18
Откуда: Mytischi

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение opt1k » 2011-03-02 17:16:19

очень просто, я тестировал утилитой iozone. В её мануале ясно написано, что размер блока данных должен превышать размер ОЗУ и чем больше, тем лучше, связано это с механизмом кэширования дисковых запросов в ОЗУ.
Поставить больший размер я не мог, время поджимало.

Кстати, могу отрезюмировать: внедрил я виртуализацию на базе centos. Крутится терминалка 2008 с 30 конкурентами, и 20 локальными. Виртуализированная дисковая работает примерно в 2 раза быстрее чем не виртуализированная старого сервера - scsi raid 1+0 15k rpm. Т.е. производительность на нормальном уровне, пользователи довольны.

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение snorlov » 2011-03-02 18:26:50

А железо какое...

Аватара пользователя
Hrafn
сержант
Сообщения: 239
Зарегистрирован: 2007-08-18 15:25:57
Откуда: Питер
Контактная информация:

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение Hrafn » 2011-03-02 23:07:16

посмотрите еще вариант Xen в варианте с виндовыми спецдровами для паравиртуализации

opt1k
лейтенант
Сообщения: 966
Зарегистрирован: 2007-12-05 9:45:18
Откуда: Mytischi

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение opt1k » 2011-03-03 14:54:36

железо описано выше.
Xen не хочу, как то всё у него "замерло" в плане развития, а цитриковское проприетарное не интересно. Вот kvm другое дело, жду kemari и spice. Вчера поставил федору и пытался пощупать спайс, но что то у меня на этапе перехода в граф. режим гости (рхел6 и федора 14) замирали.

Аватара пользователя
Hrafn
сержант
Сообщения: 239
Зарегистрирован: 2007-08-18 15:25:57
Откуда: Питер
Контактная информация:

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение Hrafn » 2011-03-03 15:30:46

Просто именно в Xen у меня производительность дисковой вышла наилучшей в винде. С дровами конечно. А spice штука хорошая и сейчас вполне пригодная

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение ProFTP » 2011-03-04 12:31:10

разделять полностью I/O между виртуальными серверами умеет вродебы: XEN,KVM,ESXi,Hyper-V
http://www.x0.org.ua/blog/user/1/view/63
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

opt1k
лейтенант
Сообщения: 966
Зарегистрирован: 2007-12-05 9:45:18
Откуда: Mytischi

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение opt1k » 2011-03-05 10:03:04

что значит "полностью разделять I/O между виртуальными серверами"?
вы имеете ввиду отсутствие оверхеда дисковых операций по сравнению с хостом, или же вы имеете ввиду возможность задания лимитов на доступ к диску? не понятно.
По ссылке тоже что то для меня не очень прозрачное.

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение ProFTP » 2011-03-06 20:30:55

короче,
  • если предоставлять vps для файлов (загрузка и отдача) по 300-500Гиг за 5-15$/mo с безлимитным трафиком, то используют XEN,KVM,ESXi,Hyper-V
  • если для ресурсов с большой посещаемостью или разные мелкие тарифные планы vps (аналог хостинга), то используют производительные OpenVZ/Virtuozzo. Те клиенты которые будут грузить диск - выключять их (если возможнсть мониторинга) и отправлять их на физический сервер. И еще вариант использовать скоростные SAS диски
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

RomanKrd
проходил мимо

Re: производительность виртуализированной дисковой системы

Непрочитанное сообщение RomanKrd » 2011-03-23 10:20:52

мы провели тестирование дисковой подсистемы Virtio и IDE в гостевой Windows 2008 Server под KVM на Fedora 14. если интересно можно почитать здесь