Медленная работа ZFS тома

[fedextm]

Доброго времени суток, форумчане.

Есть проблема в производительности тома размеченного ZFS, пул не загрузочный, смонтирован в /
Собран ZFS из одного диска, видимо страйп или jbod, затрудняюсь сказать как точно по классификации ZFS. HDD 1Тб, Green от WD WD10EARS. Система установлена freebsd 8.4 x64, с 16 гб памяти на борту, процессор Celeron 2,3 ГГЦ.


Никакого особо тюнинга ZFS не делал. Возможно и стоило, о чем и хочу просить помощи.

При копировании файла, одного большого, внутри тома ZFS, скорость примерно 12 мб/с, если много мелких файликов скорость еще падает до 6 мб/с и ниже. Мне кажется это маленькая скорость, можно как-то ее увеличить? Или это нормально и не заморачиваться?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[BirdGovorun]

diskinfo -t /dev/adaxx посмотреть насколько быстрый , как пример:

Код: Выделить всё

 % diskinfo -t /dev/ada1
/dev/ada1
        512             # sectorsize
        80026361856     # mediasize in bytes (75G)
        156301488       # mediasize in sectors
        0               # stripesize
        0               # stripeoffset
        155061          # Cylinders according to firmware.
        16              # Heads according to firmware.
        63              # Sectors according to firmware.
        WD-WMAM9YY17651 # Disk ident.
                                                                                                                                            
Seek times:                                                                                                                                 
        Full stroke:      250 iter in   5.514750 sec =   22.059 msec                                                                        
        Half stroke:      250 iter in   4.013085 sec =   16.052 msec                                                                        
        Quarter stroke:   500 iter in   6.298582 sec =   12.597 msec                                                                        
        Short forward:    400 iter in   2.183689 sec =    5.459 msec                                                                        
        Short backward:   400 iter in   2.162356 sec =    5.406 msec                                                                        
        Seq outer:       2048 iter in   0.230323 sec =    0.112 msec
        Seq inner:       2048 iter in   0.219267 sec =    0.107 msec
Transfer rates:
        outside:       102400 kbytes in   1.801269 sec =    56849 kbytes/sec
        middle:        102400 kbytes in   2.096624 sec =    48840 kbytes/sec
        inside:        102400 kbytes in   3.785669 sec =    27049 kbytes/sec

[fedextm]

Вот мой вывод, примерно как у вас.

Код: Выделить всё

/dev/ad10
	512         	# sectorsize
	1000204886016	# mediasize in bytes (931G)
	1953525168  	# mediasize in sectors
	0           	# stripesize
	0           	# stripeoffset
	1938021     	# Cylinders according to firmware.
	16          	# Heads according to firmware.
	63          	# Sectors according to firmware.
	WD-WCAV5S348884	# Disk ident.

Seek times:
	Full stroke:	  250 iter in   6.289112 sec =   25.156 msec
	Half stroke:	  250 iter in   4.470387 sec =   17.882 msec
	Quarter stroke:	  500 iter in   7.692297 sec =   15.385 msec
	Short forward:	  400 iter in   2.792633 sec =    6.982 msec
	Short backward:	  400 iter in   2.728808 sec =    6.822 msec
	Seq outer:	 2048 iter in   0.388168 sec =    0.190 msec
	Seq inner:	 2048 iter in   0.267150 sec =    0.130 msec
Transfer rates:
	outside:       102400 kbytes in   1.732029 sec =    59121 kbytes/sec
	middle:        102400 kbytes in   1.610954 sec =    63565 kbytes/sec
	inside:        102400 kbytes in   2.444781 sec =    41885 kbytes/sec
 

Из этого следует, что он может быстрее? Только нужно его оттюнить? )

[BirdGovorun]

У меня примерно 40 мб/с, то-же не тюнил, но у меня FreeBSD-9.2

sysctl -a | grep vfs.zfs

http://unix.uz/articles/system/592-tyun ... eebsd.html
играйтесь на здоровье.

[fedextm]

Спасибо за ссылку, поигрался с параметрами

Код: Выделить всё

------------------------------------------------------------------------
ZFS Subsystem Report                            Wed Dec 18 09:22:15 2013
------------------------------------------------------------------------

System Information:

        Kernel Version:                         804000 (osreldate)
        Hardware Platform:                      amd64
        Processor Architecture:                 amd64

        ZFS Storage pool Version:               5000
        ZFS Filesystem Version:                 5

FreeBSD 8.4-RELEASE-p4 #0: Mon Sep 9 23:16:13 UTC 2013 root
 9:22  up  8:57, 1 user, load averages: 0,00 0,00 0,00

------------------------------------------------------------------------

System Memory:

        1.62%   253.00  MiB Active,     0.56%   87.35   MiB Inact
        84.05%  12.79   GiB Wired,      0.02%   3.34    MiB Cache
        13.74%  2.09    GiB Free,       0.00%   748.00  KiB Gap

        Real Installed:                         16.00   GiB
        Real Available:                 98.11%  15.70   GiB
        Real Managed:                   96.91%  15.21   GiB

        Logical Total:                          16.00   GiB
        Logical Used:                   86.38%  13.82   GiB
        Logical Free:                   13.62%  2.18    GiB

Kernel Memory:                                  11.47   GiB
        Data:                           99.85%  11.45   GiB
        Text:                           0.15%   17.40   MiB

Kernel Memory Map:                              15.12   GiB
        Size:                           74.88%  11.32   GiB
        Free:                           25.12%  3.80    GiB

------------------------------------------------------------------------

ARC Summary: (HEALTHY)
        Memory Throttle Count:                  0

ARC Misc:
        Deleted:                                236.08k
        Recycle Misses:                         9.56k
        Mutex Misses:                           10
        Evict Skips:                            23.31k

ARC Size:                               80.99%  11.51   GiB
        Target Size: (Adaptive)         80.99%  11.51   GiB
        Min Size (Hard Limit):          12.50%  1.78    GiB
        Max Size (High Water):          8:1     14.21   GiB

ARC Size Breakdown:
        Recently Used Cache Size:       82.63%  9.51    GiB
        Frequently Used Cache Size:     17.37%  2.00    GiB

ARC Hash Breakdown:
        Elements Max:                           168.53k
        Elements Current:               99.74%  168.09k
        Collisions:                             141.79k
        Chain Max:                              7
        Chains:                                 35.83k

------------------------------------------------------------------------

ARC Efficiency:                                 1.90m
        Cache Hit Ratio:                76.46%  1.45m
        Cache Miss Ratio:               23.54%  447.34k
        Actual Hit Ratio:               57.51%  1.09m

        Data Demand Efficiency:         92.42%  658.37k
        Data Prefetch Efficiency:       45.20%  667.25k

        CACHE HITS BY CACHE LIST:
          Anonymously Used:             21.81%  316.91k
          Most Recently Used:           39.48%  573.57k
          Most Frequently Used:         35.73%  519.10k
          Most Recently Used Ghost:     1.18%   17.14k
          Most Frequently Used Ghost:   1.79%   26.04k

        CACHE HITS BY DATA TYPE:
          Demand Data:                  41.89%  608.50k
          Prefetch Data:                20.76%  301.57k
          Demand Metadata:              33.33%  484.16k
          Prefetch Metadata:            4.03%   58.51k

        CACHE MISSES BY DATA TYPE:
          Demand Data:                  11.15%  49.88k
          Prefetch Data:                81.75%  365.68k
          Demand Metadata:              5.73%   25.64k
          Prefetch Metadata:            1.37%   6.14k

------------------------------------------------------------------------

L2ARC is disabled

------------------------------------------------------------------------

File-Level Prefetch: (HEALTHY)

DMU Efficiency:                                 1.95m
        Hit Ratio:                      84.38%  1.65m
        Miss Ratio:                     15.62%  305.10k

        Colinear:                               305.10k
          Hit Ratio:                    0.67%   2.03k
          Miss Ratio:                   99.33%  303.07k

        Stride:                                 1.55m
          Hit Ratio:                    99.99%  1.55m
          Miss Ratio:                   0.01%   133

DMU Misc:
        Reclaim:                                303.07k
          Successes:                    21.17%  64.17k
          Failures:                     78.83%  238.91k

        Streams:                                96.11k
          +Resets:                      0.16%   158
          -Resets:                      99.84%  95.95k
          Bogus:                                0

------------------------------------------------------------------------

VDEV Cache Summary:                             31.75k
        Hit Ratio:                      48.25%  15.32k
        Miss Ratio:                     43.81%  13.91k
        Delegations:                    7.94%   2.52k

------------------------------------------------------------------------

ZFS Tunables (sysctl):
        kern.maxusers                           384
        vm.kmem_size                            16335523840
        vm.kmem_size_scale                      1
        vm.kmem_size_min                        0
        vm.kmem_size_max                        329853485875
        vfs.zfs.l2c_only_size                   0
        vfs.zfs.mfu_ghost_data_lsize            4219573248
        vfs.zfs.mfu_ghost_metadata_lsize        18228224
        vfs.zfs.mfu_ghost_size                  4237801472
        vfs.zfs.mfu_data_lsize                  2060320768
        vfs.zfs.mfu_metadata_lsize              59385344
        vfs.zfs.mfu_size                        2167350784
        vfs.zfs.mru_ghost_data_lsize            2381185024
        vfs.zfs.mru_ghost_metadata_lsize        505344
        vfs.zfs.mru_ghost_size                  2381690368
        vfs.zfs.mru_data_lsize                  9732919296
        vfs.zfs.mru_metadata_lsize              106598400
        vfs.zfs.mru_size                        9913593856
        vfs.zfs.anon_data_lsize                 0
        vfs.zfs.anon_metadata_lsize             0
        vfs.zfs.anon_size                       16384
        vfs.zfs.l2arc_norw                      1
        vfs.zfs.l2arc_feed_again                1
        vfs.zfs.l2arc_noprefetch                1
        vfs.zfs.l2arc_feed_min_ms               200
        vfs.zfs.l2arc_feed_secs                 1
        vfs.zfs.l2arc_headroom                  2
        vfs.zfs.l2arc_write_boost               8388608
        vfs.zfs.l2arc_write_max                 8388608
        vfs.zfs.arc_meta_limit                  3815445504
        vfs.zfs.arc_meta_used                   567867824
        vfs.zfs.arc_min                         1907722752
        vfs.zfs.arc_max                         15261782016
        vfs.zfs.dedup.prefetch                  0
        vfs.zfs.mdcomp_disable                  0
        vfs.zfs.nopwrite_enabled                1
        vfs.zfs.write_limit_override            1073741824
        vfs.zfs.write_limit_inflated            50566815744
        vfs.zfs.write_limit_max                 2106950656
        vfs.zfs.write_limit_min                 33554432
        vfs.zfs.write_limit_shift               3
        vfs.zfs.no_write_throttle               0
        vfs.zfs.zfetch.array_rd_sz              1048576
        vfs.zfs.zfetch.block_cap                256
        vfs.zfs.zfetch.min_sec_reap             2
        vfs.zfs.zfetch.max_streams              8
        vfs.zfs.prefetch_disable                0
        vfs.zfs.no_scrub_prefetch               0
        vfs.zfs.no_scrub_io                     0
        vfs.zfs.resilver_min_time_ms            3000
        vfs.zfs.free_min_time_ms                1000
        vfs.zfs.scan_min_time_ms                1000
        vfs.zfs.scan_idle                       50
        vfs.zfs.scrub_delay                     4
        vfs.zfs.resilver_delay                  2
        vfs.zfs.top_maxinflight                 32
        vfs.zfs.write_to_degraded               0
        vfs.zfs.mg_alloc_failures               8
        vfs.zfs.check_hostid                    1
        vfs.zfs.recover                         0
        vfs.zfs.txg.synctime_ms                 1000
        vfs.zfs.txg.timeout                     10
        vfs.zfs.vdev.cache.bshift               16
        vfs.zfs.vdev.cache.size                 33554432
        vfs.zfs.vdev.cache.max                  16384
        vfs.zfs.vdev.write_gap_limit            4096
        vfs.zfs.vdev.read_gap_limit             32768
        vfs.zfs.vdev.aggregation_limit          131072
        vfs.zfs.vdev.ramp_rate                  2
        vfs.zfs.vdev.time_shift                 6
        vfs.zfs.vdev.min_pending                4
        vfs.zfs.vdev.max_pending                10
        vfs.zfs.vdev.bio_flush_disable          0
        vfs.zfs.cache_flush_disable             0
        vfs.zfs.zil_replay_disable              0
        vfs.zfs.sync_pass_rewrite               2
        vfs.zfs.sync_pass_dont_compress         5
        vfs.zfs.sync_pass_deferred_free         2
        vfs.zfs.zio.use_uma                     0
        vfs.zfs.snapshot_list_prefetch          0
        vfs.zfs.version.zpl                     5
        vfs.zfs.version.spa                     5000
        vfs.zfs.version.acl                     1
        vfs.zfs.debug                           0
        vfs.zfs.super_owner                     0

------------------------------------------------------------------------

Тюнинг дал прирост производительности ровно на 1мб/с, так что все это очень странно.

[Mikl]

а по сети то как работает?

[BirdGovorun]

Тюнинг дал прирост производительности ровно на 1мб/с, так что все это очень странно.

У вас "зелёный" диск, может в этом дело? Нехорошие у меня о них впечатления.
На больших дисках сетор надо 4к, а у вас

/dev/ad10
512 # sectorsize

Можно ли создать zfs пул на дисках без учёта физического 4K сектора? Можно, и даже будет вполне пристойно работать. Но производительность несколько упадёт, а нагрузка на диск увеличится. Прежде всего потому, что для записи одного 512 сектора понадобится прочитать 4K сектор, заменить содержимое одного из 512б блоков и записать результат. Это намного дольше, чем запись 4K сектора, так как придется ждать целый оборот диска.

http://2gusia.livejournal.com/29145.html

[skeletor]

1) включить компрессию на zfs или на целом пуле
2) выключить atime
3) в /boot/loader.conf прописать
vfs.zfs.cache_flush_disable=1
и ребутнуться
Ещё попробовать поиграться с vfs.zfs.prefetch_disable=1 VS vfs.zfs.prefetch_disable=0 (тоже прописывается в /boot/loader.conf). Ограничить такие параметры
vfs.zfs.arc_max=5G
vm.kmem_size_max=3G
vm.kmem_size=2G

[fedextm]

а по сети то как работает?

Да так же медленно, но меня это пока мало заботит. Если будет локально шустро копировать, то сеть уж подтяну.

У вас "зелёный" диск, может в этом дело? Нехорошие у меня о них впечатления.
На больших дисках сетор надо 4к, а у вас

http://2gusia.livejournal.com/29145.html

Дак делал все по науке, выравнивал, gnop мучал чтобы под 4k размер попасть. И если посмотреть на пул то asift у меня 12! Хотя diskinfo и рапортует про 512 байтный сектор, врет ведь. Мож у меня не GPT диск?

Код: Выделить всё

media:
    version: 15
    name: 'media'
    state: 0
    txg: 13
    pool_guid: 951746957801907928
    hostid: 2717148164
    hostname: 'srv_01'
    vdev_tree:
        type: 'root'
        id: 0
        guid: 951746957801907928
        children[0]:
            type: 'disk'
            id: 0
            guid: 12765932181727732172
            path: '/dev/ad2'
            whole_disk: 0
            metaslab_array: 23
            metaslab_shift: 33
            ashift: 12
            asize: 1000199946240
            is_log: 0

1) включить компрессию на zfs или на целом пуле
2) выключить atime
3) в /boot/loader.conf прописать
vfs.zfs.cache_flush_disable=1
и ребутнуться
Ещё попробовать поиграться с vfs.zfs.prefetch_disable=1 VS vfs.zfs.prefetch_disable=0 (тоже прописывается в /boot/loader.conf). Ограничить такие параметры
vfs.zfs.arc_max=5G
vm.kmem_size_max=3G
vm.kmem_size=2G

Спасибо, попробую.

[fedextm]

В общем и так и сяк поигрался, мне кажется, что я уперся в винт. Больше он мне скорости не даст. То есть в районе 15 мб/с если что-то и тюнингуется то увеличение/уменьшение идет порядка 1-3 мб/с в ту или иную сторону. Радикально: - то есть увеличится на порядок, до 30, а то и 40 мб/с он не может.

[BirdGovorun]

% gpart show
Скажет ГПТ или нет и покажи вывод.
Похоже на диск, он "зелёный" не дорос до взрослого

[fedextm]

Код: Выделить всё

gpart show
=>       63  312581745  ad8  MBR  (149G)
         63  312576642    1  freebsd  [active]  (149G)
  312576705       5103       - free -  (2.5M)

=>        0  312576642  ad8s1  BSD  (149G)
          0    8388608      2  freebsd-swap  (4.0G)
    8388608   43128333      1  freebsd-ufs  (20G)
   51516941   21564079      4  freebsd-ufs  (10G)
   73081020   86269408      5  freebsd-ufs  (41G)
  159350428  153226214      6  freebsd-ufs  (73G)

Показывает только системный винт ad8, моего медиа диска ad10 нет

Вот в этой статье:
http://citforum.ru/operating_systems/linux/4k_hdd/
Получаются очень не дурные результаты с таким же точно винтом
Но выравнивание, походу я его не сделал, или сделал как-то криво. Вот и все тормоза отсюда. Как теперь это исправить, хороший вопрос.

[BirdGovorun]

gpart list ?
Посмотреть в /etc/fstab куда его подмонтировали.

[fedextm]

В gpart list, тоже пусто касаемо ad10

Код: Выделить всё

Geom name: ad8
modified: false
state: OK
fwheads: 16
fwsectors: 63
last: 312581807
first: 63
entries: 4
scheme: MBR
Providers:
1. Name: ad8s1
   Mediasize: 160039240704 (149G)
   Sectorsize: 512
   Stripesize: 0
   Stripeoffset: 32256
   Mode: r5w5e9
   attrib: active
   rawtype: 165
   length: 160039240704
   offset: 32256
   type: freebsd
   index: 1
   end: 312576704
   start: 63
Consumers:
1. Name: ad8
   Mediasize: 160041885696 (149G)
   Sectorsize: 512
   Mode: r5w5e14

Geom name: ad8s1
modified: false
state: OK
fwheads: 16
fwsectors: 63
last: 312576641
first: 0
entries: 8
scheme: BSD
Providers:
1. Name: ad8s1a
   Mediasize: 22081706496 (20G)
   Sectorsize: 512
   Stripesize: 0
   Stripeoffset: 32256
   Mode: r1w1e1
   rawtype: 7
   length: 22081706496
   offset: 4294967296
   type: freebsd-ufs
   index: 1
   end: 51516940
   start: 8388608
2. Name: ad8s1b
   Mediasize: 4294967296 (4.0G)
   Sectorsize: 512
   Stripesize: 0
   Stripeoffset: 32256
   Mode: r1w1e0
   rawtype: 1
   length: 4294967296
   offset: 0
   type: freebsd-swap
   index: 2
   end: 8388607
   start: 0
3. Name: ad8s1d
   Mediasize: 11040808448 (10G)
   Sectorsize: 512
   Stripesize: 0
   Stripeoffset: 606902272
   Mode: r1w1e1
   rawtype: 7
   length: 11040808448
   offset: 26376673792
   type: freebsd-ufs
   index: 4
   end: 73081019
   start: 51516941
4. Name: ad8s1e
   Mediasize: 44169936896 (41G)
   Sectorsize: 512
   Stripesize: 0
   Stripeoffset: 3057776128
   Mode: r1w1e1
   rawtype: 7
   length: 44169936896
   offset: 37417482240
   type: freebsd-ufs
   index: 5
   end: 159350427
   start: 73081020
5. Name: ad8s1f
   Mediasize: 78451821568 (73G)
   Sectorsize: 512
   Stripesize: 0
   Stripeoffset: 4278040064
   Mode: r1w1e1
   rawtype: 7
   length: 78451821568
   offset: 81587419136
   type: freebsd-ufs
   index: 6
   end: 312576641
   start: 159350428
Consumers:
1. Name: ad8s1
   Mediasize: 160039240704 (149G)
   Sectorsize: 512
   Stripesize: 0
   Stripeoffset: 32256
   Mode: r5w5e9

В fstab тоже пусто, zfs монтирует как-то по своему, так что не удивительно.

Код: Выделить всё

/dev/ad8s1b     none    swap    sw      0       0
/dev/ad8s1d     /tmp    ufs     rw      1       2
/dev/ad8s1e     /var    ufs     rw      1       2
/dev/ad8s1f     /usr    ufs     rw      1       2
/dev/ad8s1a     /       ufs     rw      1       1

[BirdGovorun]

dmesg показывает диск ?
мои диски:

% gpart show
=> 34 312581741 ada0 GPT (149G)
34 128 1 freebsd-boot (64k)
162 4194176 2 freebsd-ufs (2G)
4194338 8388608 3 freebsd-swap (4.0G)
12582946 8388608 4 freebsd-ufs (4.0G)
20971554 8388608 5 freebsd-ufs (4.0G)
29360162 283115520 6 freebsd-ufs (135G)
312475682 106093 - free - (51M)

=> 34 156301421 ada1 GPT (74G)
34 1024 1 freebsd-boot (512k)
1058 990 - free - (495k)
2048 147912704 2 freebsd-zfs (70G)
147914752 8386560 3 freebsd-swap (4G)
156301312 143 - free - (71k)

[fedextm]

dmesg показывает диск ?
мои диски:

% gpart show
=> 34 312581741 ada0 GPT (149G)
34 128 1 freebsd-boot (64k)
162 4194176 2 freebsd-ufs (2G)
4194338 8388608 3 freebsd-swap (4.0G)
12582946 8388608 4 freebsd-ufs (4.0G)
20971554 8388608 5 freebsd-ufs (4.0G)
29360162 283115520 6 freebsd-ufs (135G)
312475682 106093 - free - (51M)

=> 34 156301421 ada1 GPT (74G)
34 1024 1 freebsd-boot (512k)
1058 990 - free - (495k)
2048 147912704 2 freebsd-zfs (70G)
147914752 8386560 3 freebsd-swap (4G)
156301312 143 - free - (71k)

Да системой он видится, тут все нормально.

Код: Выделить всё

ad10: 953869MB <WDC WD10EARS-00Y5B1 80.00A80> at ata5-master UDMA100 SATA 3Gb/s
ad10: 953869MB <WDC WD10EARS-00Y5B1 80.00A80> at ata5-master UDMA100 SATA 3Gb/s

И smartctl видит его нормально

Код: Выделить всё

smartctl 6.2 2013-07-26 r3841 [FreeBSD 8.4-RELEASE-p4 amd64] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Caviar Green (AF)
Device Model:     WDC WD10EARS-00Y5B1
Serial Number:    WD-WCAV5S348884
LU WWN Device Id: 5 0014ee 205c0c91f
Firmware Version: 80.00A80
User Capacity:    1 000 204 886 016 bytes [1,00 TB]
Sector Size:      512 bytes logical/physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS (minor revision not indicated)
SATA Version is:  SATA 2.6, 3.0 Gb/s
Local Time is:    Thu Dec 19 10:40:18 2013 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

[Mikl]

а по сети то как работает?

Да так же медленно, но меня это пока мало заботит. Если будет локально шустро копировать, то сеть уж подтяну.

да я не про заботит спрашивал) просто у меня есть железки, что внутри тоже не быстро копируют - до 20 мег, а по сети в несколько раз быстрее...

[snorlov]

Я бы начал с дедупликации, т.е. сначала отключил бы дедупликацию, к сожалению, мой опыт говорит, что ее невозможно отключить на работающем пуле, только когда его по новой готовиш...

[fedextm]

да я не про заботит спрашивал) просто у меня есть железки, что внутри тоже не быстро копируют - до 20 мег, а по сети в несколько раз быстрее...

По сети в рабочей 100 мбит сетке, свои 6-7 мегабайтов выбираю. Больше и не надо

Я бы начал с дедупликации, т.е. сначала отключил бы дедупликацию, к сожалению, мой опыт говорит, что ее невозможно отключить на работающем пуле, только когда его по новой готовиш...

Отключена она, и не включалась.

В принципе для себя я уже пришел к выводу, что диск не выровнен, относительно 4кб сектора.

[fedextm]

РЕБЯТА!!

У меня получилось, я взял похожий винт, только на 2 ТБ, выровнял по 4К сектору, и у меня получилось 130 мб/с при копировании внутри диска!! Вобщем я доволен, на будущее всем совет, если берете винты с 4К сектором, выравнивайте обязательно, а то скорости будут очень грустные.

[tom.cat]

Всем привет. Решил не создавать новой темы.
У меня есть HP microserver nl54 с 4гигами RAM.
Что имею. HDD:

Код: Выделить всё

# camcontrol devlist
<VB0250EAVER HPG9>                 at scbus0 target 0 lun 0 (ada0,pass0)
<WDC WD30EZRX-00MMMB0 80.00A80>    at scbus1 target 0 lun 0 (ada1,pass1)
<WDC WD30EZRX-00MMMB0 80.00A80>    at scbus2 target 0 lun 0 (ada2,pass2)
<WDC WD30EZRX-00DC0B0 80.00A80>    at scbus3 target 0 lun 0 (ada3,pass3)

Dmesg:

Код: Выделить всё

Copyright (c) 1992-2013 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 9.2-RELEASE-p2 #0 r258792: Sun Dec  1 20:03:49 MSK 2013
    vovas@proliant:/usr/obj/usr/src/sys/PROLIANT amd64
FreeBSD clang version 3.3 (tags/RELEASE_33/final 183502) 20130610
CPU: AMD Turion(tm) II Neo N54L Dual-Core Processor (2196.38-MHz K8-class CPU)
  Origin = "AuthenticAMD"  Id = 0x100f63  Family = 0x10  Model = 0x6  Stepping = 3
  Features=0x178bfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,MMX,FXSR,SSE,SSE2,HTT>
  Features2=0x802009<SSE3,MON,CX16,POPCNT>
  AMD Features=0xee500800<SYSCALL,NX,MMX+,FFXSR,Page1GB,RDTSCP,LM,3DNow!+,3DNow!>
  AMD Features2=0x837ff<LAHF,CMP,SVM,ExtAPIC,CR8,ABM,SSE4A,MAS,Prefetch,OSVW,IBS,SKINIT,WDT,NodeId>
  TSC: P-state invariant
real memory  = 4294967296 (4096 MB)
avail memory = 3975405568 (3791 MB)
Event timer "LAPIC" quality 400
ACPI APIC Table: <HP     ProLiant>
FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs
FreeBSD/SMP: 1 package(s) x 2 core(s)
 cpu0 (BSP): APIC ID:  0
 cpu1 (AP): APIC ID:  1
ioapic0 <Version 2.1> irqs 0-23 on motherboard
kbd1 at kbdmux0
acpi0: <HP ProLiant> on motherboard
acpi0: Power Button (fixed)
acpi0: reservation of fee00000, 1000 (3) failed
acpi0: reservation of ffb80000, 80000 (3) failed
acpi0: reservation of fec10000, 20 (3) failed
acpi0: reservation of fed80000, 1000 (3) failed
acpi0: reservation of 0, a0000 (3) failed
acpi0: reservation of 100000, d7f00000 (3) failed
cpu0: <ACPI CPU> on acpi0
cpu1: <ACPI CPU> on acpi0
attimer0: <AT timer> port 0x40-0x43 irq 0 on acpi0
Timecounter "i8254" frequency 1193182 Hz quality 0
Event timer "i8254" frequency 1193182 Hz quality 100
atrtc0: <AT realtime clock> port 0x70-0x71 irq 8 on acpi0
Event timer "RTC" frequency 32768 Hz quality 0
hpet0: <High Precision Event Timer> iomem 0xfed00000-0xfed003ff on acpi0
Timecounter "HPET" frequency 14318180 Hz quality 950
Event timer "HPET" frequency 14318180 Hz quality 550
Event timer "HPET1" frequency 14318180 Hz quality 450
Timecounter "ACPI-safe" frequency 3579545 Hz quality 850
acpi_timer0: <32-bit timer at 3.579545MHz> port 0x808-0x80b on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
pcib1: <ACPI PCI-PCI bridge> at device 1.0 on pci0
pci1: <ACPI PCI bus> on pcib1
vgapci0: <VGA-compatible display> port 0xe000-0xe0ff mem 0xf0000000-0xf7ffffff,0xfe8f0000-0xfe8fffff,0xfe700000-0xfe7fffff irq 18 at device 5.0 on pci1
pcib2: <ACPI PCI-PCI bridge> irq 18 at device 6.0 on pci0
pci2: <ACPI PCI bus> on pcib2
bge0: <HP NC107i PCIe Gigabit Server Adapter, ASIC rev. 0x5784100> mem 0xfe9f0000-0xfe9fffff irq 18 at device 0.0 on pci2
bge0: CHIP ID 0x05784100; ASIC REV 0x5784; CHIP REV 0x57841; PCI-E
miibus0: <MII bus> on bge0
brgphy0: <BCM5784 10/100/1000baseT PHY> PHY 1 on miibus0
brgphy0:  10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, 1000baseT, 1000baseT-master, 1000baseT-FDX, 1000baseT-FDX-master, auto, auto-flow
bge0: Ethernet address: 28:92:4a:34:dc:6b
ahci0: <ATI IXP700 AHCI SATA controller> port 0xd000-0xd007,0xc000-0xc003,0xb000-0xb007,0xa000-0xa003,0x9000-0x900f mem 0xfe6ffc00-0xfe6fffff irq 19 at device 17.0 on pci0
ahci0: AHCI v1.20 with 6 3Gbps ports, Port Multiplier supported
ahcich0: <AHCI channel> at channel 0 on ahci0
ahcich1: <AHCI channel> at channel 1 on ahci0
ahcich2: <AHCI channel> at channel 2 on ahci0
ahcich3: <AHCI channel> at channel 3 on ahci0
ahcich4: <AHCI channel> at channel 4 on ahci0
ahcich5: <AHCI channel> at channel 5 on ahci0
ohci0: <AMD SB7x0/SB8x0/SB9x0 USB controller> mem 0xfe6fe000-0xfe6fefff irq 18 at device 18.0 on pci0
usbus0 on ohci0
ehci0: <AMD SB7x0/SB8x0/SB9x0 USB 2.0 controller> mem 0xfe6ff800-0xfe6ff8ff irq 17 at device 18.2 on pci0
usbus1: EHCI version 1.0
usbus1 on ehci0
ohci1: <AMD SB7x0/SB8x0/SB9x0 USB controller> mem 0xfe6fd000-0xfe6fdfff irq 18 at device 19.0 on pci0
usbus2 on ohci1
ehci1: <AMD SB7x0/SB8x0/SB9x0 USB 2.0 controller> mem 0xfe6ff400-0xfe6ff4ff irq 17 at device 19.2 on pci0
usbus3: EHCI version 1.0
usbus3 on ehci1
pci0: <serial bus, SMBus> at device 20.0 (no driver attached)
isab0: <PCI-ISA bridge> at device 20.3 on pci0
isa0: <ISA bus> on isab0
pcib3: <ACPI PCI-PCI bridge> at device 20.4 on pci0
pci3: <ACPI PCI bus> on pcib3
ohci2: <AMD SB7x0/SB8x0/SB9x0 USB controller> mem 0xfe6fc000-0xfe6fcfff irq 18 at device 22.0 on pci0
usbus4 on ohci2
ehci2: <AMD SB7x0/SB8x0/SB9x0 USB 2.0 controller> mem 0xfe6ff000-0xfe6ff0ff irq 17 at device 22.2 on pci0
usbus5: EHCI version 1.0
usbus5 on ehci2
amdtemp0: <AMD CPU On-Die Thermal Sensors> on hostb4
acpi_button0: <Power Button> on acpi0
sc0: <System console> at flags 0x100 on isa0
sc0: VGA <16 virtual consoles, flags=0x300>
vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
ppc0: cannot reserve I/O port range
acpi_throttle0: <ACPI CPU Throttling> on cpu0
hwpstate0: <Cool`n'Quiet 2.0> on cpu0
Timecounters tick every 1.000 msec
usbus0: 12Mbps Full Speed USB v1.0
usbus1: 480Mbps High Speed USB v2.0
usbus2: 12Mbps Full Speed USB v1.0
usbus3: 480Mbps High Speed USB v2.0
usbus4: 12Mbps Full Speed USB v1.0
usbus5: 480Mbps High Speed USB v2.0
ugen0.1: <ATI> at usbus0
uhub0: <ATI OHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus0
ugen1.1: <ATI> at usbus1
uhub1: <ATI EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus1
ugen2.1: <ATI> at usbus2
uhub2: <ATI OHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus2
ugen3.1: <ATI> at usbus3
uhub3: <ATI EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus3
ugen4.1: <ATI> at usbus4
uhub4: <ATI OHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus4
ugen5.1: <ATI> at usbus5
uhub5: <ATI EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus5
(aprobe0:ahcich0:0:0:0): SETFEATURES ENABLE SATA FEATURE. ACB: ef 10 00 00 00 40 00 00 00 00 02 00
(aprobe0:ahcich0:0:0:0): CAM status: ATA Status Error
(aprobe0:ahcich0:0:0:0): ATA status: 51 (DRDY SERV ERR), error: 04 (ABRT )
(aprobe0:ahcich0:0:0:0): RES: 51 04 00 00 00 40 00 00 00 02 00
(aprobe0:ahcich0:0:0:0): Retrying command
(aprobe0:ahcich0:0:0:0): SETFEATURES ENABLE SATA FEATURE. ACB: ef 10 00 00 00 40 00 00 00 00 02 00
(aprobe0:ahcich0:0:0:0): CAM status: ATA Status Error
(aprobe0:ahcich0:0:0:0): ATA status: 51 (DRDY SERV ERR), error: 04 (ABRT )
(aprobe0:ahcich0:0:0:0): RES: 51 04 00 00 00 40 00 00 00 02 00
(aprobe0:ahcich0:0:0:0): Error 5, Retries exhausted
ada0 at ahcich0 bus 0 scbus0 target 0 lun 0
ada0: <VB0250EAVER HPG9> ATA-8 SATA 2.x device
ada0: 300.000MB/s transfers (SATA 2.x, UDMA5, PIO 8192bytes)
ada0: Command Queueing enabled
ada0: 238475MB (488397168 512 byte sectors: 16H 63S/T 16383C)
ada0: Previously was known as ad4
ada1 at ahcich1 bus 0 scbus1 target 0 lun 0
ada1: <WDC WD30EZRX-00MMMB0 80.00A80> ATA-8 SATA 3.x device
ada1: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada1: Command Queueing enabled
ada1: 2861588MB (5860533168 512 byte sectors: 16H 63S/T 16383C)
ada1: quirks=0x1<4K>
ada1: Previously was known as ad6
ada2 at ahcich2 bus 0 scbus2 target 0 lun 0
ada2: <WDC WD30EZRX-00MMMB0 80.00A80> ATA-8 SATA 3.x device
ada2: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada2: Command Queueing enabled
ada2: 2861588MB (5860533168 512 byte sectors: 16H 63S/T 16383C)
ada2: quirks=0x1<4K>
ada2: Previously was known as ad8
ada3 at ahcich3 bus 0 scbus3 target 0 lun 0
ada3: <WDC WD30EZRX-00DC0B0 80.00A80> ATA-9 SATA 3.x device
ada3: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada3: Command Queueing enabled
ada3: 2861588MB (5860533168 512 byte sectors: 16H 63S/T 16383C)
ada3: quirks=0x1<4K>
ada3: Previously was known as ad10
SMP: AP CPU #1 Launched!
Timecounter "TSC-low" frequency 1098191930 Hz quality 800
uhub4: 4 ports with 4 removable, self powered
uhub0: 5 ports with 5 removable, self powered
uhub2: 5 ports with 5 removable, self powered
Root mount waiting for: usbus5 usbus3 usbus1
Root mount waiting for: usbus5 usbus3 usbus1
uhub5: 4 ports with 4 removable, self powered
uhub1: 5 ports with 5 removable, self powered
uhub3: 5 ports with 5 removable, self powered
Trying to mount root from ufs:/dev/ada0p2 [rw]...
ZFS NOTICE: Prefetch is disabled by default if less than 4GB of RAM is present;
            to enable, add "vfs.zfs.prefetch_disable=0" to /boot/loader.conf.
ZFS filesystem version: 5
ZFS storage pool version: features support (5000)

Zpool status:

Код: Выделить всё

# zpool status
  pool: storage
 state: ONLINE
  scan: scrub canceled on Mon Oct 21 22:31:17 2013
config:

        NAME           STATE     READ WRITE CKSUM
        storage        ONLINE       0     0     0
          raidz1-0     ONLINE       0     0     0
            gpt/disk1  ONLINE       0     0     0
            gpt/disk2  ONLINE       0     0     0
            gpt/disk3  ONLINE       0     0     0

errors: No known data errors

vfs.zfs.prefetch_disable

Код: Выделить всё

# sysctl -a | grep vfs.zfs.prefetch_disable
vfs.zfs.prefetch_disable: 0

ashift

Код: Выделить всё

# zdb | grep ashift
            ashift: 12

Далее:

Код: Выделить всё

# vmstat -P 5
 procs      memory      page                    disks     faults         cpu0     cpu1
 r b w     avm    fre   flt  re  pi  po    fr  sr ad0 ad1   in   sy   cs us sy id us sy id
 2 0 0   4188M   152M    39   1   0   0   194  58   0   0  113 1684  451  3  5 92  2  3 95
 1 0 0   4188M   238M    16   0   0   6 23296 10415   6 164 7596 15155 15764  4 16 80  8 16 75
 0 0 0   4188M   235M    38   3   0   1 15341   0   3 167 7398 11483 15061  5 13 82  5 11 83
 0 0 0   4188M   237M   229  22   0   0 14734   0   1 158 7352 15448 14743  6 13 81  6 11 83
 2 0 0   4188M   237M     9   0   0   0 20679   0   0 201 7627 12302 16073  5 14 82  5 14 82
 0 0 0   4188M   232M    16   1   0   0 14315   0   0 152 7484 9646 15221  4 12 84  4 10 86
 0 0 0   4188M   218M    54   2   0   0 18237   0   0 198 5768 12846 12361  4 12 84  6 12 82

Еще проверка:

Код: Выделить всё

# iostat -d -n5 5
            ada0             ada1             ada2             ada3            pass0
  KB/t tps  MB/s   KB/t tps  MB/s   KB/t tps  MB/s   KB/t tps  MB/s   KB/t tps  MB/s
 12.27   4  0.05  62.62  54  3.32  62.56  54  3.30  62.51  54  3.28   0.38   0  0.00
  8.00   0  0.00  74.80 167 12.18  75.87 162 11.97  75.76 162 11.97   0.00   0  0.00
 24.00   5  0.11  78.42 144 11.00  79.64 153 11.88  79.23 151 11.65   0.38   1  0.00
  4.00   0  0.00  72.84 155 11.01  74.28 153 11.10  72.75 157 11.12   0.00   0  0.00
  4.00   0  0.00  77.48 145 10.98  77.51 139 10.52  75.40 139 10.26   0.00   0  0.00
  3.30   1  0.00  81.26 150 11.88  82.87 155 12.56  80.14 160 12.54   0.00   0  0.00
 16.10  17  0.26  79.25 144 11.14  79.01 150 11.60  80.12 146 11.40   0.00   0  0.00
  0.00   0  0.00  80.10 175 13.72  83.98 178 14.63  81.49 186 14.82   0.00   0  0.00

zpool iostat

Код: Выделить всё

# zpool iostat 5
               capacity     operations    bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
storage     3,40T  4,72T     81      7  9,31M   394K
storage     3,40T  4,72T    601      0  74,6M      0
storage     3,40T  4,72T    561      0  69,7M      0
storage     3,40T  4,72T    578      0  71,9M      0
storage     3,40T  4,72T    549      0  68,1M      0
storage     3,40T  4,72T    592      0  73,6M      0
storage     3,40T  4,72T    493      0  61,0M      0
storage     3,40T  4,72T    538      0  66,8M      0

Вопрос. Смущает скорость чтения тома. Спецом запустил верификацию торрента. Чтение максимум 74Мб, и это при vfs.zfs.prefetch_disable: 0. Если включить этот параметр, то чтение падает ниже плинтуса, примерно 20~30Мб.
Можно как-то увеличить скорость чтения/записи?

[fedextm]

А вы выравнивали при создании? Я чуть сверху писал, что без выравнивания счастья не будет

[tom.cat]

А вы выравнивали при создании? Я чуть сверху писал, что без выравнивания счастья не будет

Я вроде описал сей пункт:

Код: Выделить всё

# zdb | grep ashift
            ashift: 12

Собственно:

Код: Выделить всё

# gpart add -t freebsd-zfs -b 2048 -a 4k -l disk(1,2,3) ada(1,2,3)

/boot/loader.conf

Код: Выделить всё

vfs.zfs.prefetch_disable=0
vfs.zfs.arc_max="2048M"
vfs.zfs.cache_flush_disable=1

[fedextm]

Тогда все верно, но диски ваши green. Для них это, вроде, сносная скорость.

[tom.cat]

Тогда все верно, но диски ваши green. Для них это, вроде, сносная скорость.

Че-то не айс. Скорее всего железяка слабая, вот более и не тянет.