Очень низкая скорость gvinum

[108380810]

Добрый день!
Сделал я значит RAID 5 на gvinum по статье McSeem http://www.lissyara.su/articles/freebsd ... d5/#voting. Вроде все работает, но скорость копирования на раздел RAID 5 просто возмутительная, не превышает 500 Кб/c.

Код: Выделить всё

#uname -a
FreeBSD archive.artstyle.local 8.2-RELEASE FreeBSD 8.2-RELEASE #0: Fri Feb 18 02:24:46 UTC 2011     root@almeida.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC  i386

Система установлена на зеркало из 2 винтов посредством gmirror. А RAID 5 собран из 6 HDD по 1 Тб.
Вот конфиги gvinum:

Код: Выделить всё

 #gvinum printconfig
# Vinum configuration of archive.artstyle.local, saved at Wed Mar 23 13:23:07 2011
drive raid51 device /dev/ad0
drive raid52 device /dev/ad1
drive raid53 device /dev/ad2
drive raid54 device /dev/ad3
drive raid55 device /dev/ad10
drive raid56 device /dev/ad12
volume raid5
plex name raid5.p0 org raid5 512s vol raid5
sd name raid5.p0.s0 drive raid51 len 1953523712s driveoffset 265s plex raid5.p0 plexoffset 0s
sd name raid5.p0.s1 drive raid52 len 1953523712s driveoffset 265s plex raid5.p0 plexoffset 512s
sd name raid5.p0.s2 drive raid53 len 1953523712s driveoffset 265s plex raid5.p0 plexoffset 1024s
sd name raid5.p0.s3 drive raid54 len 1953523712s driveoffset 265s plex raid5.p0 plexoffset 1536s
sd name raid5.p0.s4 drive raid55 len 1953523712s driveoffset 265s plex raid5.p0 plexoffset 2048s
sd name raid5.p0.s5 drive raid56 len 1953523712s driveoffset 265s plex raid5.p0 plexoffset 2560s

Код: Выделить всё

#gvinum list
6 drives:
D raid51                State: up       /dev/ad0        A: 0/953869 MB (0%)
D raid52                State: up       /dev/ad1        A: 0/953869 MB (0%)
D raid53                State: up       /dev/ad2        A: 0/953869 MB (0%)
D raid54                State: up       /dev/ad3        A: 0/953869 MB (0%)
D raid55                State: up       /dev/ad10       A: 0/953869 MB (0%)
D raid56                State: up       /dev/ad12       A: 0/953869 MB (0%)

1 volume:
V raid5                 State: up       Plexes:       1 Size:       4657 GB

1 plex:
P raid5.p0           R5 State: up       Subdisks:     6 Size:       4657 GB

6 subdisks:
S raid5.p0.s0           State: up       D: raid51       Size:        931 GB
S raid5.p0.s1           State: up       D: raid52       Size:        931 GB
S raid5.p0.s2           State: up       D: raid53       Size:        931 GB
S raid5.p0.s3           State: up       D: raid54       Size:        931 GB
S raid5.p0.s4           State: up       D: raid55       Size:        931 GB
S raid5.p0.s5           State: up       D: raid56       Size:        931 GB

Копирование проверял по фтп (сеть гигабитная). На зеркало льется со скорость 14-18 Мб/c (при учете синхронизации зеркала), а вот с 5 рэдом проблема. Такая же скорость наблюдается при копировании с зеркала на 5 рэйд.

Знатоки, подскажите в чем проблема! Может я что то не доделал с настройками 5 рэйда?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Electronik]

Железо какое?

[108380810]

Железо какое?

CPU: Intel(R) Core(TM)2 Duo CPU E8400 @ 3.00GHz
Mainboard: GigaByte EP45-UD3R (http://www.gigabyte.ru/products/mb/spec ... 3r_11.html)
Memory: 4Gb
HDD:

Код: Выделить всё

ad12: 953869MB <WDC WD1002FBYS-01A6B0 03.00C05> at ata6-master UDMA100 SATA 3Gb/s
ad10: 953869MB <WDC WD1002FBYS-01A6B0 03.00C05> at ata5-master UDMA100 SATA 3Gb/s
ad6: 305245MB <WDC WD3200AAKS-22L6A0 01.03E01> at ata3-master UDMA100 SATA 3Gb/s
ad4: 305245MB <WDC WD3200AAKS-22L6A0 01.03E01> at ata2-master UDMA100 SATA 3Gb/s
ad3: 953869MB <WDC WD1002FBYS-02A6B0 03.00C06> at ata1-slave UDMA100 SATA 3Gb/s
ad2: 953869MB <WDC WD1002FBYS-02A6B0 03.00C06> at ata1-master UDMA100 SATA 3Gb/s
ad1: 953869MB <WDC WD1002FBYS-01A6B0 03.00C05> at ata0-slave UDMA100 SATA 3Gb/s
ad0: 953869MB <WDC WD1002FBYS-02A6B0 03.00C06> at ata0-master UDMA100 SATA 3Gb/s

что еще интересует?
P.S. сетевая встроенная в мать.

[Electronik]

Система чистая или рабочая? Если чистая то снесите и проверьте какая скорость копирования на ваши террабайтные диски одновременно.

[Electronik]

Скорее всего дело в чипсете.

[108380810]

Система чистая, установлена день назад. Попробовал копировать на винты под виндой загрузившись с LiveCD, полет нормальной, скорость не замерял, но на глаз она была гораздо выше 500 кб/c!
Решил попробовать установить Freenas (основан на FreeBSD 7.2), проделал с рэйдами все тоже самое (система установлена на зеркале с помощью gmirror и рэйд 5 на 6 винтов с помощью gvinum) и все работает! Скорость копирования по сети на раздел с рэйд 5 (на запись) ~18 Мб/c. Вполне устраивает! Пожалуй на этом и остановлюсь. Что я сделал не так на 8.2 осталось для меня загадкой!

[manefesto]

напиши багрепорт

[mav]

Может дело не в этом, но судя по упоминанию master/slave - контроллер работает не как AHCI. А это как минимум значит что из пары винтов на одном канале одновременно может работать только один, что уполовинит их скорость в ряде операций.

[nikola93]

Сделай лучше на zfs, я делал так

в /etc/rc.conf zfs_enable="YES" (freebsd8 и выше помоему можно не ставить)
1) gpart show
просмотр разделов диска

2) создаем диск
gpart create -s GPT ad6

3) смотрим блоки
gpart show da1
=> 34 3145661 ad6 GPT (1.5G)
34 3145661 - free - (1.5G)

4)размечаем
gpart add -b 34 -s 3145661 -i 1 -t freebsd-zfs ad6

для freebsd8 и выше выставляем метки на каждый диск
gpart add -b 34 -s 3145661 -i 1 -t freebsd-zfs -l disk1 ad6
gpart add -b 34 -s 3145661 -i 1 -t freebsd-zfs -l disk2 ad10


5)создаем райд массив
zpool create storage raidz ad6 ad10 ad12

для freebsd8 монтируем метки

zpool create storage raidz gpt/disk1 gpt/disk2 gpt/disk3

6)
test# zpool status
pool: storage
state: ONLINE
scrub: resilver completed with 0 errors on Tue Aug 21 15:14:35 2012
config:

NAME STATE READ WRITE CKSUM
storage ONLINE 0 0 0
raidz1 ONLINE 0 0 0
ad6 ONLINE 0 0 0
ad12 ONLINE 0 0 0
ad10 ONLINE 0 0 0

errors: No known data errors

7) востоновление raid

zpool status
pool: storage
state: DEGRADED
status: One or more devices could not be opened. Sufficient replicas exist for
the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
see: http://www.sun.com/msg/ZFS-8000-2Q
scrub: none requested
config:

NAME STATE READ WRITE CKSUM
storage DEGRADED 0 0 0
raidz1 DEGRADED 0 0 0
gpt/disk1 ONLINE 0 0 0
gpt/disk2 UNAVAIL 0 0 0 cannot open
gpt/disk3 ONLINE 0 0 0
видим что gpt/disk2 UNAVAIL

подсовываем новый диск 1-й диск в пуле 2-й на что меняем
zpool replace storage ad6 ad12

(для freebsd8 имена меток
zpool replace storage gpt/disk2 gpt/disk4)