Adaptec AAC-21610SA Проблемы с записью.

Решение проблем связванных с работой железа. Проблемы программно-аппаратной совместимости.
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
DEV
проходил мимо

Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение DEV » 2008-11-24 22:33:47

Доброго времени суток.
Имею странную проблему с RAID контроллером adaptec 21610sa
По порядку.
Имеет 4х ядерный 2.4Г проц на матери ASUS P5Q-PRO с 2Г памяти и 6 винтов.
Задача состояла в создании массива5 с последующим использованием для БД.
Но... Как говориться в процессе было выяснено что создать массив более 2ТБ не по силам данному контроллеру, но в принципе с этим можно мериться если бы не катастрофическая скорость записи.
Значит был проведен следующий опыт под 6.2 фрей:
Драйвер вкомпилен в ядро согласно ману.
2 винта на одном система а 2й подопытный.
1 с системой подключаем к матери и в дальнейшем используем его как загрузочный с системой.
2 подключаем к контроллеру и через биос контроллера создаем на нем простой том с включенным кешем на чтение и запись.
Далее создаем на нем ufs и раздел. Теперь самое интересное.
в 1 окне запускаем

Код: Выделить всё

systat -iostat 1
в другом

Код: Выделить всё

dd if=/dev/zero of=/mnt/1234 bs=512K
и видим следующее что в 1м окне скорость на aacd0 катастрофически прыгает... при этом ее значение на превышает 6-7 Мегабайт в секунду :ОООО
и прыгает от 1 до 7 и опять до нуля.... и опять до 3х...
Чтение же этого файлика происходит на столько быстро что systat даже не всегда успевает выдать мне какие-то показания :)
Скажу что перепробовал все игры с кешем с портами на контроллере с пси слотами да и откровенно не понимаю это же не рейд с его долгим билдом... это всего навсего том...
Подключение 2го винта к матери и последующие игры с дд дают до 180 Мб в секунду на чтении и записи.
Попробую поставить 7ю фрю или под виндами поиграться и отпишусь...
Кстате Матрих райд5 тот что встроен в мать крайне веселая штука... Пробовал детачить винт из 5го получал подвис процесса и невозможность заюзать том :)
Заранее Спасибо.
Последний раз редактировалось manefesto 2008-11-25 7:47:20, всего редактировалось 1 раз.
Причина: Убедительная просьба юзать теги [code] при оформлении листингов.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
zingel
beastie
Сообщения: 6204
Зарегистрирован: 2007-10-30 3:56:49
Откуда: Moscow
Контактная информация:

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение zingel » 2008-11-25 10:26:48

кеш на винтах отключи.
Z301171463546 - можно пожертвовать мне денег

DEV
проходил мимо

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение DEV » 2008-11-25 11:21:38

zingel писал(а):кеш на винтах отключи.
Именно на самих винтах ? Или сказать контроллеру не использовать кэш ?

Аватара пользователя
zingel
beastie
Сообщения: 6204
Зарегистрирован: 2007-10-30 3:56:49
Откуда: Moscow
Контактная информация:

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение zingel » 2008-11-25 11:50:46

в биосе контроллера отруби кеш на винтах и пересоздай массив
Z301171463546 - можно пожертвовать мне денег

DEV
проходил мимо

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение DEV » 2008-11-25 15:23:44

zingel писал(а):в биосе контроллера отруби кеш на винтах и пересоздай массив
Пробовал...
Результат такой-же.
Вечером выложу так сказать в картинках.

bu7cher
сержант
Сообщения: 220
Зарегистрирован: 2008-02-21 18:28:55
Откуда: Киров
Контактная информация:

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение bu7cher » 2008-11-26 8:13:57

Какой размер блока для обмена выставлен в BIOS контроллера? Что-то типа IO block size или как-то так, не помню уже.. И что у вас показывает

Код: Выделить всё

# sysctl hw.aac
нет ничего невозможного

DEV
проходил мимо

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение DEV » 2008-11-26 10:53:50

bu7cher писал(а):Какой размер блока для обмена выставлен в BIOS контроллера? Что-то типа IO block size или как-то так, не помню уже.. И что у вас показывает

Код: Выделить всё

# sysctl hw.aac
При создании простого тома секция block size недоступна. Подозреваю что используется по умолчанию. Но незнаю что для него умолчание :)
значение переменной то-же стандартное 65536

bu7cher
сержант
Сообщения: 220
Зарегистрирован: 2008-02-21 18:28:55
Откуда: Киров
Контактная информация:

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение bu7cher » 2008-11-26 13:51:09

Ну тогда, как вариант, попробовать поизменять размер блока как описано в мануале aac(4). Все aac(4) которые у меня есть, работают без замечаний. (DELL Perc, IBM ServeRAID 6, 7, 8)
нет ничего невозможного

DEV
проходил мимо

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение DEV » 2008-11-28 0:51:40

Что-то всетаки странное...
Итак в бивисе контроллера есть секция которая позволяет отключить использование write cache непосредственно на порту к которому подключен хдд.
Так вот при подключенном 1 винте и отключенном на нем write cache с использованием его как тома скорость достигает 80-90Мб/сек.
Сие меня сильно обрадовало потому как это не 8Мб.... Ну думаю вот оно счастье :)
Однако при подключении 2го хдд с такими-же параметрами и запуске dd на нем получаем 80-90Мб....
Решил сделать финт ушами... запустил одновременно 2 dd.... на 2 разных винта. Вот тут и поджидала засада.... получил 80-90Мб / 2 (деленное на 2) т.е. что то около 45Мб....
Гхм... Ладно 45 то-же не мало... подрубяю 6 винтов и делаю 2 пятых массива по 2Тб каждый...
При этом оставляю их в Build/Verify то есть массив виден и готов сразу-же но пересчет в процессе...
Создаю раздел, и как водиться dd..... Засада дубль 2
скорость 12Мб. Гхм... в принципе логично проц занят пересчетом, ему бедному и так тяжко а его еще нагружают...
2Тб не мало поэтому сносим массивы и делаем 1 массив 5го уровня на 2гига....
Делаем ему Clean и курим..... Все массив готов
Дальше все как обычно.... раздел mount dd....
После dd было большое желание декомпилировать все на smd компоненты...
16Мб в секунду....

.....Что они не делали не идут дела... (С) Не помню кто.
Где-то в мануале вычитал что есть скрытое меню в бивисе из которого можно посмотреть event log и еще чего-то подкрутить... по комбинации Ctrl+P
Зашел.. крутить особо нечего НО... В event log наткнулся на интересную надпись: (дословно не напищу ибо фотика под рукой нет) но дословно что-то типа проверка батарейки файлед использование подпрограммы батарейки невозможно, подключаю модуль безопасного использования кеша записи.
Естесно что за модуль остается только догадываться... но если принимать во внимание так сказать все warning биоса на предмет небезопасности использования кеша записи при отсутствии батарейки.... что то мне это не нравиться....

Сразу не сообразил.. завтра попробую включить кеш на винтах из которых собран массив...
И посмотрим чем закончиться...

Аватара пользователя
zingel
beastie
Сообщения: 6204
Зарегистрирован: 2007-10-30 3:56:49
Откуда: Moscow
Контактная информация:

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение zingel » 2008-11-28 21:57:49

да, и батарейку поменять на рейде
Z301171463546 - можно пожертвовать мне денег

DEV
проходил мимо

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение DEV » 2008-11-29 23:02:47

В том то и дело.....
Была бы батарейка поменял бы :)
Да и цена этой батарейки мягко говоря на 50уе дороже чем я взял контроллер :)
Так что.. как говориться хочеш быть джином получай лампу... ну или батарейку :)

Аватара пользователя
zingel
beastie
Сообщения: 6204
Зарегистрирован: 2007-10-30 3:56:49
Откуда: Moscow
Контактная информация:

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение zingel » 2008-12-19 10:34:24

вот щит какой....а что на ней написано, на батарейке?
Z301171463546 - можно пожертвовать мне денег

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение manefesto » 2008-12-19 10:49:35

вставляй пальчиковую =)
А что разве нельзя по вольтажу и другим характеристикам подобрать батарейку ???
Припаять проводки и делов то
я такой яростный шо аж пиздеЦ
Изображение

DEV
проходил мимо

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение DEV » 2008-12-28 22:27:42

http://www.nix.ru/include/view-photo.ht ... 9&pid=2241
Куда тут 2 провода впаять.. ума не приложу :)
Может есть у кого :) Подешевке ? :)

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35454
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение Alex Keda » 2008-12-28 22:50:07

вторая фотка сверху, справа...
на неё ткни мышью.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение Fastman » 2008-12-29 2:16:08

DEV писал(а):http://www.nix.ru/include/view-photo.ht ... 9&pid=2241
Куда тут 2 провода впаять.. ума не приложу :)
Может есть у кого :) Подешевке ? :)
Ну ты еще попаяй..ага :)))
Во первых... на многих контроллерах и я уверен что и на этом адаптеке тоже - кэширование без бабуина(BBU) нельзя включить(есть варианты с пере прошивкой - но это на свой страх и риск).
Во вторых - контроллер откровенно слабый и глючный. В третьих... не знаю кто его придумывал но я бы
оторвал руки по самые плечи, потому что кабели к винтам - слабое место. Отваливаются заразы.
И еще... вы когда создаете рэйд группу...вы включаете бэкграунд инициализацию или как ???
Если да - то в этом случае до полной инициализации массива - тормоза обеспечены.
Если есть возможность сменить контроллер - меняйте :)
Главное в жизни здоровье и любовь, остальное я все куплю.

DEV
проходил мимо

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение DEV » 2009-01-04 11:12:02

lissyara писал(а):вторая фотка сверху, справа...
на неё ткни мышью.
Кликнул... но не вполне понимаю чем это может мне помочь :)
Платки то нет САВСЕМ :)
И еще... вы когда создаете рэйд группу...вы включаете бэкграунд инициализацию или как ???
Если да - то в этом случае до полной инициализации массива - тормоза обеспечены.
Если есть возможность сменить контроллер - меняйте :)
Дык.. по поводу нюансов я в курсе. Поэтому жду окончания билда... и все тесты провожу на массиве со статусом OPTIMAL.
Сменить... возможность наверное есть... вот только что-то уже не хочется :) Как говориться... "№;%: "№;%: кричали пьяные гости :)
По поводу разьемов согласен хлипковаты, но важно помнить об этом свойстве и не усердствовать черезмерно :)

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35454
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение Alex Keda » 2009-01-04 11:51:17

чё-то я пропустил что её нету =)))
тогда приобретите =)))
Убей их всех! Бог потом рассортирует...

KVIN
рядовой
Сообщения: 41
Зарегистрирован: 2008-03-20 15:22:12

Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение KVIN » 2016-01-09 10:13:36

хочу поднять старую тему
Есть контроллер Adaptec 3405 и FreeBSD 9.2-RELEASE-p4 #1 r264453 amd64
на контролере создан массив RAID5 из 3-х дисков Seagate ST332062 0AS K
создаем раздел и файловую систему

Код: Выделить всё

gpart destroy -F aacd0
gpart create -s GPT aacd0
gpart add -t freebsd-ufs -a4k -b1m aacd0
newfs -U -O 2 /dev/aacd0p1
тесты скорости:

Код: Выделить всё

dd if=/dev/zero bs=2M count=1024| pv >> /data2/zerobomb2.bin
2147483648 bytes transferred in 193.412133 secs (11103149 bytes/sec)
   2GiB 0:03:13 [10.6MiB/s]
dd if=/data2/zerobomb2.bin bs=2M | pv > /dev/null
2147483648 bytes transferred in 17.227325 secs (124655665 bytes/sec)
   2GiB 0:00:17 [ 119MiB/s]
без pv:

Код: Выделить всё

 dd if=/data2/zerobomb2.bin of=/dev/null bs=2M
 2147483648 bytes transferred in 16.729086 secs (128368258 bytes/sec)
diskinfo -t /dev/aacd0

Код: Выделить всё

/dev/aacd0
        512             # sectorsize
        637792157696    # mediasize in bytes (594G)
        1245687808      # mediasize in sectors
        0               # stripesize
        0               # stripeoffset
        77540           # Cylinders according to firmware.
        255             # Heads according to firmware.
        63              # Sectors according to firmware.
                        # Disk ident.

Seek times:
        Full stroke:      250 iter in   5.396925 sec =   21.588 msec
        Half stroke:      250 iter in   3.136320 sec =   12.545 msec
        Quarter stroke:   500 iter in   6.517867 sec =   13.036 msec
        Short forward:    400 iter in   2.648901 sec =    6.622 msec
        Short backward:   400 iter in   2.781720 sec =    6.954 msec
        Seq outer:       2048 iter in   0.460425 sec =    0.225 msec
        Seq inner:       2048 iter in   0.474074 sec =    0.231 msec
Transfer rates:
        outside:       102400 kbytes in   0.697375 sec =   146836 kbytes/sec
        middle:        102400 kbytes in   0.795690 sec =   128693 kbytes/sec
        inside:        102400 kbytes in   1.279460 sec =    80034 kbytes/sec

В чем может быть причина столь малой скорости записи (6-10Мб/с) и более-менее нормальной скорости чтения (120-145 Мб/с) ?
Кеш дисков в биосе контролера выключил - не повлияло сильно
привязка к 4к кластерам (gpart add ..... -a4k...) дала результат - мне показалось что поднялась с 6-ти до 10- Мб/с
ntp.od.ua - Самое точное время в Одессе

guest
проходил мимо

Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение guest » 2016-01-09 13:30:55

KVIN писал(а):хочу поднять старую тему
Есть контроллер Adaptec 3405 и FreeBSD 9.2-RELEASE-p4 #1 r264453 amd64
на контролере создан массив RAID5 из 3-х дисков Seagate ST332062 0AS K
создаем раздел и файловую систему

Код: Выделить всё

gpart destroy -F aacd0
gpart create -s GPT aacd0
gpart add -t freebsd-ufs -a4k -b1m aacd0
newfs -U -O 2 /dev/aacd0p1
тесты скорости:

Код: Выделить всё

dd if=/dev/zero bs=2M count=1024| pv >> /data2/zerobomb2.bin
2147483648 bytes transferred in 193.412133 secs (11103149 bytes/sec)
   2GiB 0:03:13 [10.6MiB/s]
dd if=/data2/zerobomb2.bin bs=2M | pv > /dev/null
2147483648 bytes transferred in 17.227325 secs (124655665 bytes/sec)
   2GiB 0:00:17 [ 119MiB/s]
без pv:

Код: Выделить всё

 dd if=/data2/zerobomb2.bin of=/dev/null bs=2M
 2147483648 bytes transferred in 16.729086 secs (128368258 bytes/sec)
diskinfo -t /dev/aacd0

Код: Выделить всё

/dev/aacd0
        512             # sectorsize
        637792157696    # mediasize in bytes (594G)
        1245687808      # mediasize in sectors
        0               # stripesize
        0               # stripeoffset
        77540           # Cylinders according to firmware.
        255             # Heads according to firmware.
        63              # Sectors according to firmware.
                        # Disk ident.

Seek times:
        Full stroke:      250 iter in   5.396925 sec =   21.588 msec
        Half stroke:      250 iter in   3.136320 sec =   12.545 msec
        Quarter stroke:   500 iter in   6.517867 sec =   13.036 msec
        Short forward:    400 iter in   2.648901 sec =    6.622 msec
        Short backward:   400 iter in   2.781720 sec =    6.954 msec
        Seq outer:       2048 iter in   0.460425 sec =    0.225 msec
        Seq inner:       2048 iter in   0.474074 sec =    0.231 msec
Transfer rates:
        outside:       102400 kbytes in   0.697375 sec =   146836 kbytes/sec
        middle:        102400 kbytes in   0.795690 sec =   128693 kbytes/sec
        inside:        102400 kbytes in   1.279460 sec =    80034 kbytes/sec

В чем может быть причина столь малой скорости записи (6-10Мб/с) и более-менее нормальной скорости чтения (120-145 Мб/с) ?
Кеш дисков в биосе контролера выключил - не повлияло сильно
привязка к 4к кластерам (gpart add ..... -a4k...) дала результат - мне показалось что поднялась с 6-ти до 10- Мб/с
есть факторы влиящие на скорость работы RAID'ов, в том числе RAID5:

- правильность подключения (используемые кабели, backplane (with integrated expander), expander)
- выбор размера stripe
- включения write/read cache

если диски с физическим размером сектора 512 байт, то делать выравнивание 4k - бред.

ну и последнее, вы уверены что консольная утилита во FreeBSD позволит Вам выполнить
rebuild при замене диска?

Последнее - выбранные Вами диски, извините - хавно (AS модели были такими и останутся),
гонять следует тесты из ports/benchmarks, I/O bench и FS bench: iozone & bonnie

ps. Не секрет что запись данных в RAID5 - медленная, но уж явно dd не отразит истинное положение дел.

KVIN
рядовой
Сообщения: 41
Зарегистрирован: 2008-03-20 15:22:12

Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение KVIN » 2016-01-12 14:07:51

... - выбранные Вами диски, извините - хавно (AS модели были такими и останутся),
Я понимаю что диски не продакшн уровня, но "даренному коню в зубы ...."
Подключение винтов сделано обычным штатным кабелем контролера (без бекплейнов, корзин и прочей переходной ерунды)
- выбор размера stripe
страйп выбирался от 64кБ до 1024кБ - результаты менялись, но не в разы
гонять следует тесты из ports/benchmarks, I/O bench и FS bench: iozone & bonnie
Изображение

Первая таблица RAID0 из 2х дисков
Вторая RAID5 из 3х дисков
Третяя старый системный диск(40ГБ) подключенный к мат. плате HTS541040G9SA00


Я трудно понимаю почему скорость записи на рейде с тремя дисками (пусть и не самыми хорошими) хуже старой орехоколки на 40Гб
ntp.od.ua - Самое точное время в Одессе

KVIN
рядовой
Сообщения: 41
Зарегистрирован: 2008-03-20 15:22:12

Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение KVIN » 2016-01-27 18:46:02

Обновил прошивку - пока не помогло
ntp.od.ua - Самое точное время в Одессе

Аватара пользователя
Neus
капитан
Сообщения: 1977
Зарегистрирован: 2008-09-08 21:59:56

Adaptec AAC-21610SA Проблемы с записью.

Непрочитанное сообщение Neus » 2016-01-28 8:58:55

скинь скрины настроек адаптера