тормоза системы ввода-вывода freebsd 8.2+CAM+zfs

Решение проблем связванных с работой железа. Проблемы программно-аппаратной совместимости.
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
AvAToR
рядовой
Сообщения: 26
Зарегистрирован: 2011-05-11 11:02:37

тормоза системы ввода-вывода freebsd 8.2+CAM+zfs

Непрочитанное сообщение AvAToR » 2011-05-11 11:33:09

Привет всем
нужна помощь, тормозят винты IOPS 100-150(10-12MBs), притом не все(странно звучит :cz2: ) но это факт
при собраном зеркале(идентичных винтах) скорость низкая, разрезаю зеркало и создаю два пула и тестирую по отдельности(dd,bonnie++ etc не суть) одит диск тормозит :st:

масла в огонь подлило следующее событие:
были приобретены Ultrastar A7K1000 hua721050kla330 так вот после недельного :st: выяснилось(методом тыка) что не совсем корректно работает(в некоторых случаях) ahci режим(ссылку не дам но где-то читал в рассылке) но это вопросы совместимости,а если в систему воткнуто два идентичных диска?
camcontrol identify ada0 > ada0
camcontrol identify ada1 > ada1

diff ada0 ada1
1,2c1,2
< pass1: <ST3250620NS 3.BJH> ATA-7 SATA 1.x device
< pass1: 150.000MB/s transfers (SATA 1.x, UDMA6, PIO 8192bytes)
---
> pass2: <ST3250620NS 3.BJH> ATA-7 SATA 1.x device
> pass2: 150.000MB/s transfers (SATA 1.x, UDMA6, PIO 8192bytes)
7c7
< serial number 5QE3T3W8
---
> serial number 5QE3SVWV



zpool list
NAME SIZE USED AVAIL CAP HEALTH ALTROOT
data1 232G 858K 232G 0% ONLINE -
tank 232G 49.9G 182G 21% ONLINE -

uname -mor
FreeBSD 8.2-RELEASE amd64

grep CAM MYKERNEL
options ATA_CAM
device aacp # SCSI passthrough for aac (requires CAM)

gpart show -l
=> 34 488397101 ada0 GPT (233G)
34 256 1 (null) (128K)
290 488396845 2 disk0 (233G)

=> 34 488397101 ada1 GPT (233G)
34 256 1 boot1 (128K)
290 488396845 2 disk1 (233G)

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: тормоза системы ввода-вывода freebsd 8.2+CAM+zfs

Непрочитанное сообщение Alex Keda » 2011-05-11 20:47:34

диск сдох?
Убей их всех! Бог потом рассортирует...

AvAToR
рядовой
Сообщения: 26
Зарегистрирован: 2011-05-11 11:02:37

Re: тормоза системы ввода-вывода freebsd 8.2+CAM+zfs

Непрочитанное сообщение AvAToR » 2011-05-11 21:05:43

не жив(смарт молчит),только один тормозит другой тестровал по отдельности
May 10 22:08:14 netloghost smartd[84678]: Device: /dev/ada0, previous self-test completed without error
May 10 22:08:14 netloghost smartd[84678]: Device: /dev/ada1, previous self-test completed without error

zpool status -v
pool: tank
state: ONLINE
scrub: none requested
config:

NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
mirror ONLINE 0 0 0
gpt/disk0 ONLINE 0 0 0
gpt/disk1 ONLINE 0 0 0

errors: No known data errors

шёл_мимо
проходил мимо

Re: тормоза системы ввода-вывода freebsd 8.2+CAM+zfs

Непрочитанное сообщение шёл_мимо » 2011-05-12 14:29:41

Диски могут быть и не причём.
Поменяйте место "втыкания" или(для проверки) местами их поменяйте.

AvAToR
рядовой
Сообщения: 26
Зарегистрирован: 2011-05-11 11:02:37

Re: тормоза системы ввода-вывода freebsd 8.2+CAM+zfs

Непрочитанное сообщение AvAToR » 2011-05-12 15:22:54

Думаете дело в шлейфах
Возможно
Попробую сегодня

шёл_мимо
проходил мимо

Re: тормоза системы ввода-вывода freebsd 8.2+CAM+zfs

Непрочитанное сообщение шёл_мимо » 2011-05-12 15:29:27

AvAToR писал(а):Думаете дело в шлейфах
Может и в разъёмах на матери, воткнуть диск в другой разъём.

AvAToR
рядовой
Сообщения: 26
Зарегистрирован: 2011-05-11 11:02:37

Re: тормоза системы ввода-вывода freebsd 8.2+CAM+zfs

Непрочитанное сообщение AvAToR » 2011-05-14 16:38:27

перетасовка дисков в корзине ничего не изменила, производитеотность IOPS 100-150
systam -vmstat 5
....................
Disks ada0 ada1 cd0 pass0 pass1 pass2 1417700 wire
KB/t 106 106 0.00 0.00 0.00 0.00 179856 act
tps 101 101 0 0 0 0 31072 inact
MB/s 10.37 10.50 0.00 0.00 0.00 0.00 cache
%busy 99 100 0 0 0 0 388496 free
.............


zpool ipstat -v 5

capacity operations bandwidth
pool used avail read write read write
------------- ----- ----- ----- ----- ----- -----
tank 49.8G 182G 1 127 104K 10.1M
mirror 49.8G 182G 1 127 104K 10.1M
gpt/disk0 - - 0 98 77.3K 10.2M
gpt/disk1 - - 0 99 38.4K 10.2M
------------- ----- ----- ----- ----- ----- -----

capacity operations bandwidth
pool used avail read write read write
------------- ----- ----- ----- ----- ----- -----
tank 49.8G 182G 0 100 0 12.6M
mirror 49.8G 182G 0 100 0 12.6M
gpt/disk0 - - 0 100 0 12.6M
gpt/disk1 - - 0 100 0 12.6M
------------- ----- ----- ----- ----- ----- -----

capacity operations bandwidth
pool used avail read write read write
------------- ----- ----- ----- ----- ----- -----
tank 49.8G 182G 0 100 0 12.6M
mirror 49.8G 182G 0 100 0 12.6M
gpt/disk0 - - 0 100 0 12.5M
gpt/disk1 - - 0 100 0 12.6M
------------- ----- ----- ----- ----- ----- -----

capacity operations bandwidth
pool used avail read write read write
------------- ----- ----- ----- ----- ----- -----
tank 49.8G 182G 0 111 0 11.1M
mirror 49.8G 182G 0 111 0 11.1M
gpt/disk0 - - 0 101 0 11.2M
gpt/disk1 - - 0 100 0 11.0M
------------- ----- ----- ----- ----- ----- -----


Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: тормоза системы ввода-вывода freebsd 8.2+CAM+zfs

Непрочитанное сообщение Fastman » 2011-05-21 12:17:15

Вы забыли рассказать как вы тестируете.
И еще рассказать надо к чему диски подключены. Пока только гадать на кофейной гуще можно по тем данным которые есть.
Главное в жизни здоровье и любовь, остальное я все куплю.

AvAToR
рядовой
Сообщения: 26
Зарегистрирован: 2011-05-11 11:02:37

Re: тормоза системы ввода-вывода freebsd 8.2+CAM+zfs

Непрочитанное сообщение AvAToR » 2011-05-22 14:53:23

согласен методку не предоставил, но указал какими средствами
конкретизирую:
dd if=/dev/zero of=8gb.test bs=1024k count=8192 должно быть в пределах 120 сек
dd if=8gb.test of=/dev/null bs=1024k должно быть в пределах 90-100 сек
это относится к зеркалу zfs из 2-х дисков Ultrastar A7K1000 hua721050kla330

итак, результаты:
freebsd 8.2 zfs mirror v15 ACHI options ATA_CAM -> IOPS 100-150 10-12MBs
freebsd 8.2 zfs mirror v15 native IDE -> IOPS 250-300 40-50MBs

solaris 10 x88 mirror v22 ACHI -> IOPS 500-600 75-80MBs
solaris 10 x86 mirror v22 IDE -> IOPS >400 40-50MBs

вот такие пироги
кстати, может кому пригодится(нет времени выкладывать отдельно конспекты)
перенос solaris+zfs+ide -> solaris+zfs+achi(точнее вкл в биосе данного режима)

0 проверяем zdb -l /dev/rdsk/........ должно быть /pci@0,0/pci-ide@1f,2/ide@0/cmdk@0,0:a
1 вкл в биосе ACHI
2 грузимся failsafe
3 делаем zpool import rpool
4 проверяем zdb -l /dev/rdsk/........ должно быть phys_path='/pci@0,0/pci15d9,9280@1f,2/disk@0,0:a'
5 пляски с eeprom до фени у мня так и осталось
bootpath=/pci@0,0/pci-ide@1f,2/ide@0/cmdk@0,0:a
хотя в системе уже нет такого

в принципе думаю тему считать исчерпаной тк выводы сделаны(в силу своего разумения):
в некоторых случаях работает не совсем корректно(по видиимому) ATA_CAM режим(на seagate проблем не выявленно) или firmware данного диска не совсем согласуется с тем контроллером куда его пихают(но это ИМХО)

все спасибо