ZFS дикие тормоза при чтении/копировании.

[WhiteMax]

Приветствую.
Никак не могу победить тормоза при чтении/копировании, на ZFS.. Вот сейчас, копирую в MC несколько больших файлов, внутри одного пула ZFS, и скорость - 3-6мб/сек. Это даже не смешно.

FreeBSD-9-RELEASE-amd64, основная фс - zfs. Сервер amd x6, 16gb, 1 винт seagate ST3000DM001 3TB, с сектором 4к.
Разбито и установлено все так:

Код: Выделить всё

main# gpart show ada0
=>        34  5860533101  ada0  GPT  (2.7T)
          34           6        - free -  (3.0k)
          40         256     1  freebsd-boot  (128k)
         296  5860532832     2  freebsd-zfs  (2.7T)
  5860533128           7        - free -  (3.5k)

Код: Выделить всё

main# zdb | grep ashift
            ashift: 12

Код: Выделить всё

main# gpart list ada0
Geom name: ada0
modified: false
state: OK
fwheads: 16
fwsectors: 63
last: 5860533134
first: 34
entries: 128
scheme: GPT
Providers:
1. Name: ada0p1
   Mediasize: 131072 (128k)
   Sectorsize: 512
   Stripesize: 4096
   Stripeoffset: 0
   Mode: r0w0e0
   rawuuid: fa4fb2d9-9a91-11e1-b852-bcaec56f0421
   rawtype: 83bd6b9d-7f41-11dc-be0b-001560b84f0f
   label: (null)
   length: 131072
   offset: 20480
   type: freebsd-boot
   index: 1
   end: 295
   start: 40
2. Name: ada0p2
   Mediasize: 3000592809984 (2.7T)
   Sectorsize: 512
   Stripesize: 4096
   Stripeoffset: 0
   Mode: r1w1e1
   rawuuid: 129802b4-9a92-11e1-b852-bcaec56f0421
   rawtype: 516e7cba-6ecf-11d6-8ff8-00022d09712b
   label: disk0
   length: 3000592809984
   offset: 151552
   type: freebsd-zfs
   index: 2
   end: 5860533127
   start: 296
Consumers:
1. Name: ada0
   Mediasize: 3000592982016 (2.7T)
   Sectorsize: 512
   Stripesize: 4096
   Stripeoffset: 0
   Mode: r1w1e2

Код: Выделить всё

main# cat /boot/loader.conf
zfs_load="YES"
vfs.root.mountfrom="zfs:zroot"
vfs.zfs.prefetch_disable="1"
vfs.zfs.write_limit_override=805306368
vfs.zfs.arc_max="1024M"
vfs.zfs.vdev.min_pending="4"
vfs.zfs.vdev.max_pending="8"
vfs.zfs.cache_flush_disable="1"

При этом, очень часто вижу такую картину:

Код: Выделить всё

main# gstat
dT: 1.001s  w: 1.000s
 L(q)  ops/s    r/s   kBps   ms/r    w/s   kBps   ms/w   %busy Name
    1     75     75    300   13.1      0      0    0.0   98.5| ada0
    0      0      0      0    0.0      0      0    0.0    0.0| ada1
    0      0      0      0    0.0      0      0    0.0    0.0| ada0p1
    1     75     75    300   13.2      0      0    0.0   98.7| ada0p2
...

Очень часто загрузка около 100%, иногда даже более 100% (как такое может быть?), при минимальном количестве ops, и скорости чтения/записи. Судя по топу - это либо mysqld, либо searchd (стоит сфинкс), либо пхп, парсящий csv файлы.
Сервер - работающих доменов - нет (пока все отключено).
MySQL - только InnoDB, 50gb данных, каталоги оптимизированы по ZFS Evil tuning guide, т.е. recordsize 16k и 128k, atime=off, primarycache=metadata.

ada1 - это старый диск, пустой, никак не примонтированный.

Заметил еще вот что. Если выключить мускль, сфинкс, остановить задания крона, и запустить чтение какого-либо крупного файла - то скорость будет 120-170мб/сек. Стоит во второй консоли запустить чтение второго файла - как скорость обоих снижается до 3-6мб/сек.

Посоветуйте плз, куда копать и что крутить?... Уже начинаю жалеть, что поставил все на zfs, а не на ufs+soft updates...

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[WhiteMax]

При этом, когда все отключено, и диск простаивает - запускаю сфинкс, и вижу такую картинку, в момент запуска (индексы весят не мало, он их загружает при старте):

Код: Выделить всё

dT: 1.001s  w: 1.000s
 L(q)  ops/s    r/s   kBps   ms/r    w/s   kBps   ms/w   %busy Name
    1  10577  10577 169239    0.1      0      0    0.0   65.2| ada0
    0      0      0      0    0.0      0      0    0.0    0.0| ada1
    0      0      0      0    0.0      0      0    0.0    0.0| ada0p1
    1  10577  10577 169239    0.1      0      0    0.0   71.1| ada0p2

Цифры - в десятки раз выше, и по количеству операций, и по скорости мб/сек. и при этом, бизи - не более 80%...
Прям, темный электрические силы какие-то.

[WhiteMax]

Неужели ни у кого нет никаких идей?...

[skeletor]

top -mio, а ещё можно dtrace'ом посмотреть.

[WhiteMax]

Код: Выделить всё

main# top -mio
last pid:  2551;  load averages:  0.01,  0.06,  0.13                                                                   up 0+00:39:27  15:29:53
89 processes:  1 running, 88 sleeping
CPU:  0.1% user,  0.0% nice,  0.3% system,  0.0% interrupt, 99.6% idle
Mem: 644M Active, 16M Inact, 2750M Wired, 416K Cache, 12G Free
Swap: 16G Total, 16G Free

  PID USERNAME   VCSW  IVCSW   READ  WRITE  FAULT  TOTAL PERCENT COMMAND
 2467 root        158      0    296      2      4    302  99.02% php
 2266 mysql        13      1      3      0      0      3   0.98% mysqld
 1626 root          2      0      0      0      0      0   0.00% searchd
 1702 mysql         0      0      0      0      0      0   0.00% sh

Код: Выделить всё

dT: 1.001s  w: 1.000s
 L(q)  ops/s    r/s   kBps   ms/r    w/s   kBps   ms/w   %busy Name
    1     81     81    324   27.1      0      0    0.0  101.9| ada0
    0      0      0      0    0.0      0      0    0.0    0.0| ada1
    0      0      0      0    0.0      0      0    0.0    0.0| ada0p1
    1     81     81    324   27.1      0      0    0.0  102.1| ada0p2

Вот статистика, после ребута, и обновления loader.conf до

Код: Выделить всё

main# cat /boot/loader.conf
zfs_load="YES"
vfs.root.mountfrom="zfs:zroot"
vfs.zfs.prefetch_disable="0"
vfs.zfs.write_limit_override=1073741824
vfs.zfs.arc_max="3072M"
vfs.zfs.arc_min="3072M"
vfs.zfs.vdev.min_pending="4"
vfs.zfs.vdev.max_pending="8"
vfs.zfs.cache_flush_disable="1"

[WhiteMax]

Может быть, для одиночного диска - стоит использовать UFS, и уже если дисков больше одного - то тогда ZFS?..

[skeletor]

Как видно, нагрузку даёт php

Код: Выделить всё

2467 root        158      0    296      2      4    302  99.02% php

Как бороться? Уменьшать частоту парсирования, разносить на разные физические диски файлы, то есть разбивать на потоки и т.д.

[WhiteMax]

Суть не столько в этом пхп скрипте. Весь этот скрипт - это посути file_get_contents('file.dat'); и запись 1-2 строк в мускль, при том, что file.dat - весом 16-20кб.
Даже если отключить запуск пхп скриптов вообще, такие же тормоза идут при простейших sql запросах к мусклю.
И если отключить и мускль, а тупо запустить чтение какого-нибудь большого файла - то скорость может быть 150-170мб. стоит запустить чтение второго файла паралельно - скорость сразу становится 3-5мб/сек. в каждом потоке.

У меня в ноуте старенький диск на 5400 оборотов работает быстрее, при паралельном чтении крупных файлов...

Только что обратил внимание, что был выключен AHCI в биосе. Включил, картина со скоростью - не поменялась.

[iZEN]

zpool status?

[iZEN]

Может поможет — Тюнинг zfs для использования на SATA дисках: http://blog.bsdmaster.com/2011/11/zfs-sata.html

[WhiteMax]

zpool status?

Код: Выделить всё

main# zpool status
  pool: zroot
 state: ONLINE
 scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        zroot       ONLINE       0     0     0
          ada0p2    ONLINE       0     0     0

errors: No known data errors

За ссылку на тюнинг для сата дисков - спасибо, изучаю.

[WhiteMax]

Не помогло. Подправил параметры, все осталось на прежнем уровне.

[iZEN]

В /boot/loader.conf уберите все опции, относящиеся к тюнингу ZFS, и попробуйте без них поработать.

[WhiteMax]

Вообще без них - система наглухо виснет, через некоторое время работы. А до зависания - уходит вся память, и почему-то не выделяется под тот же MySQL и сфинкс - сваливается в своп. Выставляю vfs.zfs.arc_max - виснуть перестает, в своп не лезет, скорость такая же..

[iZEN]

Обновите систему до 9-STABLE.

Ещё вывод "zpool upgrade" не помешал бы.

[skeletor]

посмотрите truss'ом ваш php и mysql, может что-то интересное найдёте

[WhiteMax]

smart показал увеличивающееся число Reallocated_Sector_Ct = 1256. Увеличивается на несколько штук в день. Думаю, проблема найдена. Всем спасибо.