Медленная работа ZFS тома

[FiL]

Тогда все верно, но диски ваши green. Для них это, вроде, сносная скорость.

на последовательном чтении "зеленые" диски без проблем показывают 100+ МБ/с. Так что не надо про сносную скорость.
У "зеленых" только с гарантированным временем отклика проблема. А в остальном они вполне себе диски.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[tom.cat]

Тогда все верно, но диски ваши green. Для них это, вроде, сносная скорость.

на последовательном чтении "зеленые" диски без проблем показывают 100+ МБ/с. Так что не надо про сносную скорость.
У "зеленых" только с гарантированным временем отклика проблема. А в остальном они вполне себе диски.

Друзья, так куда копать-то? Есть идеи?

[Alex Keda]

а проц-то процентов на 40 загружен, получается?
не он ли тормозит - если считать что однопоточно обсчитывается в ядре??
--
у гринов, новых, скорость записи метров 60 - линейно.
как оно в этом рейде пишет - фиг знает, но наверное не линейно.
а вот ищщут они медленно...

[tom.cat]

а проц-то процентов на 40 загружен, получается?
не он ли тормозит - если считать что однопоточно обсчитывается в ядре??

Тестировал запись через dd, вот что выдает:

Код: Выделить всё

last pid: 16335;  load averages:  0.94,  0.51,  0.37    up 0+11:39:27  00:32:32
47 processes:  2 running, 45 sleeping
CPU:  5.3% user,  0.0% nice, 67.5% system,  0.6% interrupt, 26.7% idle
Mem: 1233M Active, 90M Inact, 2100M Wired, 11M Cache, 279M Buf, 385M Free
ARC: 1590M Total, 90M MFU, 1360M MRU, 114M Anon, 15M Header, 11M Other
Swap: 4096M Total, 13M Used, 4083M Free

  PID USERNAME      THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
16335 root            1  88    0  2058M  1027M CPU1    1   0:12 53.76% dd

Как-то так. Проц надрывается.

[FiL]

а проц-то процентов на 40 загружен, получается?
не он ли тормозит - если считать что однопоточно обсчитывается в ядре??
--
у гринов, новых, скорость записи метров 60 - линейно.
как оно в этом рейде пишет - фиг знает, но наверное не линейно.
а вот ищщут они медленно...

Записи. А человек жалуется на чтение.

[fedextm]

Да железо норм, диски зеленые медленные.

[Alvares]

vfs.zfs.arc_max="2048M" если убрать, что-то меняется?
И попробуйте проц немножко разогнать для теста. ИМХО, проца и памяти мало для таких объемов.
Для нормальной работы ZFS требования памяти 1Гб на 1 Тб данных пула.
У вас пул 8 Тб - вот минимум на 8 гектарах вы получите приемлемую производительность.
Можете еще SSD на кеш повесить - будет веселее.

[tom.cat]

vfs.zfs.arc_max="2048M" если убрать, что-то меняется?

Чуть лучше:

Код: Выделить всё

# zpool iostat 5
               capacity     operations    bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
storage     3,77T  4,35T     43      1  4,92M  4,93K
storage     3,77T  4,35T    677      0  83,9M      0
storage     3,77T  4,35T    671      0  83,3M      0
storage     3,77T  4,35T    662      0  82,1M      0
storage     3,77T  4,35T    655      0  81,2M      0
storage     3,77T  4,35T    597      0  74,1M      0
storage     3,77T  4,35T    648      0  80,4M      0
storage     3,77T  4,35T    693      0  86,1M      0
storage     3,77T  4,35T    632      0  78,2M      0

И попробуйте проц немножко разогнать для теста. ИМХО, проца и памяти мало для таких объемов.
Для нормальной работы ZFS требования памяти 1Гб на 1 Тб данных пула.
У вас пул 8 Тб - вот минимум на 8 гектарах вы получите приемлемую производительность.
Можете еще SSD на кеш повесить - будет веселее.

Спасибо, буду пробовать.

[Alex Keda]

а проц-то процентов на 40 загружен, получается?
не он ли тормозит - если считать что однопоточно обсчитывается в ядре??

Тестировал запись через dd, вот что выдает:

Код: Выделить всё

last pid: 16335;  load averages:  0.94,  0.51,  0.37    up 0+11:39:27  00:32:32
47 processes:  2 running, 45 sleeping
CPU:  5.3% user,  0.0% nice, 67.5% system,  0.6% interrupt, 26.7% idle
Mem: 1233M Active, 90M Inact, 2100M Wired, 11M Cache, 279M Buf, 385M Free
ARC: 1590M Total, 90M MFU, 1360M MRU, 114M Anon, 15M Header, 11M Other
Swap: 4096M Total, 13M Used, 4083M Free

  PID USERNAME      THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
16335 root            1  88    0  2058M  1027M CPU1    1   0:12 53.76% dd

Как-то так. Проц надрывается.

bs чему был равен?
если дефолт - 512 байт - не удивительно

Код: Выделить всё

bs=1m 

попробуйте

[tom.cat]

Код: Выделить всё

# dd if=/dev/random of=/storage/test.hdd bs=1m count=1000
1000+0 records in
1000+0 records out
1048576000 bytes transferred in 21.632602 secs (48472024 bytes/sec)
# dd of=/dev/random if=/storage/test.hdd bs=1m count=1000
1000+0 records in
1000+0 records out
1048576000 bytes transferred in 3.165019 secs (331301641 bytes/sec)

Вот так.

[Alvares]

Он у вас в кеше поместился, потому и чтение большое. Дайте count=16000

[Alex Keda]

да вообще проц был интересен, а не скорости )

[FiL]

Код: Выделить всё

# dd if=/dev/random of=/storage/test.hdd bs=1m count=1000
1000+0 records in
1000+0 records out
1048576000 bytes transferred in 21.632602 secs (48472024 bytes/sec)
# dd of=/dev/random if=/storage/test.hdd bs=1m count=1000
1000+0 records in
1000+0 records out
1048576000 bytes transferred in 3.165019 secs (331301641 bytes/sec)

Вот так.

запись в /dev/random - это сильно

[Alex Keda]

волшебное устройство - чисто теоретически, из него можно достать любые данные - хоть войну и мир формате html, хоть ядро FreeBSD версии 15.0 под проц MIPS )

[tom.cat]

Ну раз девайс random это сильно, вот zero.

Код: Выделить всё

# dd if=/dev/zero of=/storage/test.hdd bs=1m count=16000
16000+0 records in
16000+0 records out
16777216000 bytes transferred in 29.226295 secs (574045256 bytes/sec)

и

Код: Выделить всё

# dd of=/dev/zero if=/storage/test.hdd bs=1m count=16000
16000+0 records in
16000+0 records out
16777216000 bytes transferred in 18.982729 secs (883814758 bytes/sec)

[Alex Keda]

в зеро тоже не пишут )
с него тока читают
--
пишут в /dev/null

[Alvares]

Код: Выделить всё

1. dd if=/dev/random of=/storage/rnd_file bs=4k count=4M
2. dd if=/dev/random of=/storage/rnd_file2 bs=1M count=4k
3. cp /storage/rnd_file /storage/rnd_file_new
4. dd if=/storage/rnd_file2 of=/dev/null

И смотрите свои скорости.

[FiL]

Ну раз девайс random это сильно, вот zero.

Код: Выделить всё

# dd if=/dev/zero of=/storage/test.hdd bs=1m count=16000
16000+0 records in
16000+0 records out
16777216000 bytes transferred in 29.226295 secs (574045256 bytes/sec)

574 МБ/с? И что не нравится?

[Alvares]

Неправдоподобно. На 3-х green WD ~600M/s записи и ~900M/s чтения? На дохлой тачке...
Если включено сжатие, то на данных из /dev/zero скорости будут безумные. Нужно на нормальном потоке проверять.

[Alex Keda]

я грины mhdd тестил, по 3T ёмкостью - новые до 120Mb/c дают, поюзаные 60-100

[Alvares]

Это чтения? Все равно много. Я же говорю - сжатие включено и хреновое устройство генерации данных

[tom.cat]

Я же говорю - сжатие включено и хреновое устройство генерации данных

И как исправить хреновое устройство генерации данных? Или это фишка WD

[Alvares]

Я же написал, ооткуда брать данные и куда их девать

Код: Выделить всё

1. dd if=/dev/random of=/storage/rnd_file bs=4k count=4M
2. dd if=/dev/random of=/storage/rnd_file2 bs=1M count=4k
3. cp /storage/rnd_file /storage/rnd_file_new
4. dd if=/storage/rnd_file2 of=/dev/null

[ommm]

FreeBSD 9.2-RELEASE; мамка INTEL D2500HN; озу 8гб и два винта HGST HTS541010A9E680 (2.5", SATA 6Gb/s, 1000 Гб, буфер 8 Мб, 5400 rpm,) в zfs raw зеркале

использую в качестве торентокачалки и файлопомойки - ничего не тюнил (есть ли смысл?)
бывает когда по сетке что-то большое льёшь скорость проседает

Код: Выделить всё

# diskinfo -t /dev/ada1
/dev/ada1
        512             # sectorsize
        1000204886016   # mediasize in bytes (931G)
        1953525168      # mediasize in sectors
        4096            # stripesize
        0               # stripeoffset
        1938021         # Cylinders according to firmware.
        16              # Heads according to firmware.
        63              # Sectors according to firmware.
        JA100010C03SNA  # Disk ident.

Seek times:
        Full stroke:      250 iter in   6.581665 sec =   26.327 msec
        Half stroke:      250 iter in   4.666137 sec =   18.665 msec
        Quarter stroke:   500 iter in   7.944499 sec =   15.889 msec
        Short forward:    400 iter in   3.375064 sec =    8.438 msec
        Short backward:   400 iter in   2.422917 sec =    6.057 msec
        Seq outer:       2048 iter in   0.185747 sec =    0.091 msec
        Seq inner:       2048 iter in   0.193603 sec =    0.095 msec
Transfer rates:
        outside:       102400 kbytes in   0.942997 sec =   108590 kbytes/sec
        middle:        102400 kbytes in   1.117297 sec =    91650 kbytes/sec
        inside:        102400 kbytes in   1.919137 sec =    53357 kbytes/sec

[FiL]

Я же написал, ооткуда брать данные и куда их девать

Код: Выделить всё

1. dd if=/dev/random of=/storage/rnd_file bs=4k count=4M
2. dd if=/dev/random of=/storage/rnd_file2 bs=1M count=4k
3. cp /storage/rnd_file /storage/rnd_file_new
4. dd if=/storage/rnd_file2 of=/dev/null

И что это даст? рандомизированный файл? Так я любой фильм могу почитать - он достаточно рандомизированный и несжимаемый, чтоб этого хватило. А вот мерить скорость винта чтением из /dev/random - это чревато. У меня, например, из /dev/random не читается быстрее, чем 65 МБ/с. И если так тестировать, то окажется, что типа винт быстрее не пишет. А на самом деле дело совсем даже не в винте.