Adaptec AAC-21610SA Проблемы с записью.

[DEV]

Доброго времени суток.
Имею странную проблему с RAID контроллером adaptec 21610sa
По порядку.
Имеет 4х ядерный 2.4Г проц на матери ASUS P5Q-PRO с 2Г памяти и 6 винтов.
Задача состояла в создании массива5 с последующим использованием для БД.
Но... Как говориться в процессе было выяснено что создать массив более 2ТБ не по силам данному контроллеру, но в принципе с этим можно мериться если бы не катастрофическая скорость записи.
Значит был проведен следующий опыт под 6.2 фрей:
Драйвер вкомпилен в ядро согласно ману.
2 винта на одном система а 2й подопытный.
1 с системой подключаем к матери и в дальнейшем используем его как загрузочный с системой.
2 подключаем к контроллеру и через биос контроллера создаем на нем простой том с включенным кешем на чтение и запись.
Далее создаем на нем ufs и раздел. Теперь самое интересное.
в 1 окне запускаем

Код: Выделить всё

systat -iostat 1

в другом

Код: Выделить всё

dd if=/dev/zero of=/mnt/1234 bs=512K

и видим следующее что в 1м окне скорость на aacd0 катастрофически прыгает... при этом ее значение на превышает 6-7 Мегабайт в секунду :ОООО
и прыгает от 1 до 7 и опять до нуля.... и опять до 3х...
Чтение же этого файлика происходит на столько быстро что systat даже не всегда успевает выдать мне какие-то показания
Скажу что перепробовал все игры с кешем с портами на контроллере с пси слотами да и откровенно не понимаю это же не рейд с его долгим билдом... это всего навсего том...
Подключение 2го винта к матери и последующие игры с дд дают до 180 Мб в секунду на чтении и записи.
Попробую поставить 7ю фрю или под виндами поиграться и отпишусь...
Кстате Матрих райд5 тот что встроен в мать крайне веселая штука... Пробовал детачить винт из 5го получал подвис процесса и невозможность заюзать том
Заранее Спасибо.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[zingel]

кеш на винтах отключи.

[DEV]

кеш на винтах отключи.

Именно на самих винтах ? Или сказать контроллеру не использовать кэш ?

[zingel]

в биосе контроллера отруби кеш на винтах и пересоздай массив

[DEV]

в биосе контроллера отруби кеш на винтах и пересоздай массив

Пробовал...
Результат такой-же.
Вечером выложу так сказать в картинках.

[bu7cher]

Какой размер блока для обмена выставлен в BIOS контроллера? Что-то типа IO block size или как-то так, не помню уже.. И что у вас показывает

Код: Выделить всё

# sysctl hw.aac

[DEV]

Какой размер блока для обмена выставлен в BIOS контроллера? Что-то типа IO block size или как-то так, не помню уже.. И что у вас показывает

Код: Выделить всё

# sysctl hw.aac

При создании простого тома секция block size недоступна. Подозреваю что используется по умолчанию. Но незнаю что для него умолчание
значение переменной то-же стандартное 65536

[bu7cher]

Ну тогда, как вариант, попробовать поизменять размер блока как описано в мануале aac(4). Все aac(4) которые у меня есть, работают без замечаний. (DELL Perc, IBM ServeRAID 6, 7, 8)

[DEV]

Что-то всетаки странное...
Итак в бивисе контроллера есть секция которая позволяет отключить использование write cache непосредственно на порту к которому подключен хдд.
Так вот при подключенном 1 винте и отключенном на нем write cache с использованием его как тома скорость достигает 80-90Мб/сек.
Сие меня сильно обрадовало потому как это не 8Мб.... Ну думаю вот оно счастье
Однако при подключении 2го хдд с такими-же параметрами и запуске dd на нем получаем 80-90Мб....
Решил сделать финт ушами... запустил одновременно 2 dd.... на 2 разных винта. Вот тут и поджидала засада.... получил 80-90Мб / 2 (деленное на 2) т.е. что то около 45Мб....
Гхм... Ладно 45 то-же не мало... подрубяю 6 винтов и делаю 2 пятых массива по 2Тб каждый...
При этом оставляю их в Build/Verify то есть массив виден и готов сразу-же но пересчет в процессе...
Создаю раздел, и как водиться dd..... Засада дубль 2
скорость 12Мб. Гхм... в принципе логично проц занят пересчетом, ему бедному и так тяжко а его еще нагружают...
2Тб не мало поэтому сносим массивы и делаем 1 массив 5го уровня на 2гига....
Делаем ему Clean и курим..... Все массив готов
Дальше все как обычно.... раздел mount dd....
После dd было большое желание декомпилировать все на smd компоненты...
16Мб в секунду....
:О
.....Что они не делали не идут дела... (С) Не помню кто.
Где-то в мануале вычитал что есть скрытое меню в бивисе из которого можно посмотреть event log и еще чего-то подкрутить... по комбинации Ctrl+P
Зашел.. крутить особо нечего НО... В event log наткнулся на интересную надпись: (дословно не напищу ибо фотика под рукой нет) но дословно что-то типа проверка батарейки файлед использование подпрограммы батарейки невозможно, подключаю модуль безопасного использования кеша записи.
Естесно что за модуль остается только догадываться... но если принимать во внимание так сказать все warning биоса на предмет небезопасности использования кеша записи при отсутствии батарейки.... что то мне это не нравиться....

Сразу не сообразил.. завтра попробую включить кеш на винтах из которых собран массив...
И посмотрим чем закончиться...

[zingel]

да, и батарейку поменять на рейде

[DEV]

В том то и дело.....
Была бы батарейка поменял бы
Да и цена этой батарейки мягко говоря на 50уе дороже чем я взял контроллер
Так что.. как говориться хочеш быть джином получай лампу... ну или батарейку

[zingel]

вот щит какой....а что на ней написано, на батарейке?

[manefesto]

вставляй пальчиковую
А что разве нельзя по вольтажу и другим характеристикам подобрать батарейку ???
Припаять проводки и делов то

[DEV]

http://www.nix.ru/include/view-photo.ht ... 9&pid=2241
Куда тут 2 провода впаять.. ума не приложу
Может есть у кого Подешевке ?

[Alex Keda]

вторая фотка сверху, справа...
на неё ткни мышью.

[Fastman]

http://www.nix.ru/include/view-photo.ht ... 9&pid=2241
Куда тут 2 провода впаять.. ума не приложу
Может есть у кого Подешевке ?

Ну ты еще попаяй..ага ))
Во первых... на многих контроллерах и я уверен что и на этом адаптеке тоже - кэширование без бабуина(BBU) нельзя включить(есть варианты с пере прошивкой - но это на свой страх и риск).
Во вторых - контроллер откровенно слабый и глючный. В третьих... не знаю кто его придумывал но я бы
оторвал руки по самые плечи, потому что кабели к винтам - слабое место. Отваливаются заразы.
И еще... вы когда создаете рэйд группу...вы включаете бэкграунд инициализацию или как ???
Если да - то в этом случае до полной инициализации массива - тормоза обеспечены.
Если есть возможность сменить контроллер - меняйте

[DEV]

вторая фотка сверху, справа...
на неё ткни мышью.

Кликнул... но не вполне понимаю чем это может мне помочь
Платки то нет САВСЕМ

И еще... вы когда создаете рэйд группу...вы включаете бэкграунд инициализацию или как ???
Если да - то в этом случае до полной инициализации массива - тормоза обеспечены.
Если есть возможность сменить контроллер - меняйте

Дык.. по поводу нюансов я в курсе. Поэтому жду окончания билда... и все тесты провожу на массиве со статусом OPTIMAL.
Сменить... возможность наверное есть... вот только что-то уже не хочется Как говориться... "№;%: "№;%: кричали пьяные гости
По поводу разьемов согласен хлипковаты, но важно помнить об этом свойстве и не усердствовать черезмерно

[Alex Keda]

чё-то я пропустил что её нету ))
тогда приобретите ))

[KVIN]

хочу поднять старую тему
Есть контроллер Adaptec 3405 и FreeBSD 9.2-RELEASE-p4 #1 r264453 amd64
на контролере создан массив RAID5 из 3-х дисков Seagate ST332062 0AS K
создаем раздел и файловую систему

Код: Выделить всё

gpart destroy -F aacd0
gpart create -s GPT aacd0
gpart add -t freebsd-ufs -a4k -b1m aacd0
newfs -U -O 2 /dev/aacd0p1

тесты скорости:

Код: Выделить всё

dd if=/dev/zero bs=2M count=1024| pv >> /data2/zerobomb2.bin
2147483648 bytes transferred in 193.412133 secs (11103149 bytes/sec)
   2GiB 0:03:13 [10.6MiB/s]
dd if=/data2/zerobomb2.bin bs=2M | pv > /dev/null
2147483648 bytes transferred in 17.227325 secs (124655665 bytes/sec)
   2GiB 0:00:17 [ 119MiB/s]

без pv:

Код: Выделить всё

 dd if=/data2/zerobomb2.bin of=/dev/null bs=2M
 2147483648 bytes transferred in 16.729086 secs (128368258 bytes/sec)

diskinfo -t /dev/aacd0

Код: Выделить всё

/dev/aacd0
        512             # sectorsize
        637792157696    # mediasize in bytes (594G)
        1245687808      # mediasize in sectors
        0               # stripesize
        0               # stripeoffset
        77540           # Cylinders according to firmware.
        255             # Heads according to firmware.
        63              # Sectors according to firmware.
                        # Disk ident.

Seek times:
        Full stroke:      250 iter in   5.396925 sec =   21.588 msec
        Half stroke:      250 iter in   3.136320 sec =   12.545 msec
        Quarter stroke:   500 iter in   6.517867 sec =   13.036 msec
        Short forward:    400 iter in   2.648901 sec =    6.622 msec
        Short backward:   400 iter in   2.781720 sec =    6.954 msec
        Seq outer:       2048 iter in   0.460425 sec =    0.225 msec
        Seq inner:       2048 iter in   0.474074 sec =    0.231 msec
Transfer rates:
        outside:       102400 kbytes in   0.697375 sec =   146836 kbytes/sec
        middle:        102400 kbytes in   0.795690 sec =   128693 kbytes/sec
        inside:        102400 kbytes in   1.279460 sec =    80034 kbytes/sec

В чем может быть причина столь малой скорости записи (6-10Мб/с) и более-менее нормальной скорости чтения (120-145 Мб/с) ?
Кеш дисков в биосе контролера выключил - не повлияло сильно
привязка к 4к кластерам (gpart add ..... -a4k...) дала результат - мне показалось что поднялась с 6-ти до 10- Мб/с

[guest]

хочу поднять старую тему
Есть контроллер Adaptec 3405 и FreeBSD 9.2-RELEASE-p4 #1 r264453 amd64
на контролере создан массив RAID5 из 3-х дисков Seagate ST332062 0AS K
создаем раздел и файловую систему

Код: Выделить всё

gpart destroy -F aacd0
gpart create -s GPT aacd0
gpart add -t freebsd-ufs -a4k -b1m aacd0
newfs -U -O 2 /dev/aacd0p1

тесты скорости:

Код: Выделить всё

dd if=/dev/zero bs=2M count=1024| pv >> /data2/zerobomb2.bin
2147483648 bytes transferred in 193.412133 secs (11103149 bytes/sec)
   2GiB 0:03:13 [10.6MiB/s]
dd if=/data2/zerobomb2.bin bs=2M | pv > /dev/null
2147483648 bytes transferred in 17.227325 secs (124655665 bytes/sec)
   2GiB 0:00:17 [ 119MiB/s]

без pv:

Код: Выделить всё

 dd if=/data2/zerobomb2.bin of=/dev/null bs=2M
 2147483648 bytes transferred in 16.729086 secs (128368258 bytes/sec)

diskinfo -t /dev/aacd0

Код: Выделить всё

/dev/aacd0
        512             # sectorsize
        637792157696    # mediasize in bytes (594G)
        1245687808      # mediasize in sectors
        0               # stripesize
        0               # stripeoffset
        77540           # Cylinders according to firmware.
        255             # Heads according to firmware.
        63              # Sectors according to firmware.
                        # Disk ident.

Seek times:
        Full stroke:      250 iter in   5.396925 sec =   21.588 msec
        Half stroke:      250 iter in   3.136320 sec =   12.545 msec
        Quarter stroke:   500 iter in   6.517867 sec =   13.036 msec
        Short forward:    400 iter in   2.648901 sec =    6.622 msec
        Short backward:   400 iter in   2.781720 sec =    6.954 msec
        Seq outer:       2048 iter in   0.460425 sec =    0.225 msec
        Seq inner:       2048 iter in   0.474074 sec =    0.231 msec
Transfer rates:
        outside:       102400 kbytes in   0.697375 sec =   146836 kbytes/sec
        middle:        102400 kbytes in   0.795690 sec =   128693 kbytes/sec
        inside:        102400 kbytes in   1.279460 sec =    80034 kbytes/sec

В чем может быть причина столь малой скорости записи (6-10Мб/с) и более-менее нормальной скорости чтения (120-145 Мб/с) ?
Кеш дисков в биосе контролера выключил - не повлияло сильно
привязка к 4к кластерам (gpart add ..... -a4k...) дала результат - мне показалось что поднялась с 6-ти до 10- Мб/с

есть факторы влиящие на скорость работы RAID'ов, в том числе RAID5:

- правильность подключения (используемые кабели, backplane (with integrated expander), expander)
- выбор размера stripe
- включения write/read cache

если диски с физическим размером сектора 512 байт, то делать выравнивание 4k - бред.

ну и последнее, вы уверены что консольная утилита во FreeBSD позволит Вам выполнить
rebuild при замене диска?

Последнее - выбранные Вами диски, извините - хавно (AS модели были такими и останутся),
гонять следует тесты из ports/benchmarks, I/O bench и FS bench: iozone & bonnie

ps. Не секрет что запись данных в RAID5 - медленная, но уж явно dd не отразит истинное положение дел.

[KVIN]

... - выбранные Вами диски, извините - хавно (AS модели были такими и останутся),

Я понимаю что диски не продакшн уровня, но "даренному коню в зубы ...."
Подключение винтов сделано обычным штатным кабелем контролера (без бекплейнов, корзин и прочей переходной ерунды)

- выбор размера stripe

страйп выбирался от 64кБ до 1024кБ - результаты менялись, но не в разы

гонять следует тесты из ports/benchmarks, I/O bench и FS bench: iozone & bonnie

Первая таблица RAID0 из 2х дисков
Вторая RAID5 из 3х дисков
Третяя старый системный диск(40ГБ) подключенный к мат. плате HTS541040G9SA00


Я трудно понимаю почему скорость записи на рейде с тремя дисками (пусть и не самыми хорошими) хуже старой орехоколки на 40Гб

[KVIN]

Обновил прошивку - пока не помогло

[Neus]

скинь скрины настроек адаптера