Медленная работа ZFS тома

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
FiL
ст. лейтенант
Сообщения: 1375
Зарегистрирован: 2010-02-05 0:21:40

Re: Медленная работа ZFS тома

Непрочитанное сообщение FiL » 2014-01-13 20:31:20

fedextm писал(а):Тогда все верно, но диски ваши green. Для них это, вроде, сносная скорость.
на последовательном чтении "зеленые" диски без проблем показывают 100+ МБ/с. Так что не надо про сносную скорость.
У "зеленых" только с гарантированным временем отклика проблема. А в остальном они вполне себе диски.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
tom.cat
старшина
Сообщения: 449
Зарегистрирован: 2007-11-24 20:23:49
Откуда: Москва
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение tom.cat » 2014-01-13 21:37:17

FiL писал(а):
fedextm писал(а):Тогда все верно, но диски ваши green. Для них это, вроде, сносная скорость.
на последовательном чтении "зеленые" диски без проблем показывают 100+ МБ/с. Так что не надо про сносную скорость.
У "зеленых" только с гарантированным временем отклика проблема. А в остальном они вполне себе диски.
Друзья, так куда копать-то? Есть идеи?
When you see pigs fly it means Windows has become open source

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35465
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение Alex Keda » 2014-01-13 22:54:19

а проц-то процентов на 40 загружен, получается?
не он ли тормозит - если считать что однопоточно обсчитывается в ядре??
--
у гринов, новых, скорость записи метров 60 - линейно.
как оно в этом рейде пишет - фиг знает, но наверное не линейно.
а вот ищщут они медленно...
Убей их всех! Бог потом рассортирует...

Аватара пользователя
tom.cat
старшина
Сообщения: 449
Зарегистрирован: 2007-11-24 20:23:49
Откуда: Москва
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение tom.cat » 2014-01-13 23:34:57

Alex Keda писал(а):а проц-то процентов на 40 загружен, получается?
не он ли тормозит - если считать что однопоточно обсчитывается в ядре??
Тестировал запись через dd, вот что выдает:

Код: Выделить всё

last pid: 16335;  load averages:  0.94,  0.51,  0.37    up 0+11:39:27  00:32:32
47 processes:  2 running, 45 sleeping
CPU:  5.3% user,  0.0% nice, 67.5% system,  0.6% interrupt, 26.7% idle
Mem: 1233M Active, 90M Inact, 2100M Wired, 11M Cache, 279M Buf, 385M Free
ARC: 1590M Total, 90M MFU, 1360M MRU, 114M Anon, 15M Header, 11M Other
Swap: 4096M Total, 13M Used, 4083M Free

  PID USERNAME      THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
16335 root            1  88    0  2058M  1027M CPU1    1   0:12 53.76% dd
Как-то так. Проц надрывается.
When you see pigs fly it means Windows has become open source

FiL
ст. лейтенант
Сообщения: 1375
Зарегистрирован: 2010-02-05 0:21:40

Re: Медленная работа ZFS тома

Непрочитанное сообщение FiL » 2014-01-14 1:14:53

Alex Keda писал(а):а проц-то процентов на 40 загружен, получается?
не он ли тормозит - если считать что однопоточно обсчитывается в ядре??
--
у гринов, новых, скорость записи метров 60 - линейно.
как оно в этом рейде пишет - фиг знает, но наверное не линейно.
а вот ищщут они медленно...
Записи. А человек жалуется на чтение.

fedextm
рядовой
Сообщения: 36
Зарегистрирован: 2011-06-02 10:18:16

Re: Медленная работа ZFS тома

Непрочитанное сообщение fedextm » 2014-01-14 8:13:52

Да железо норм, диски зеленые медленные.

Аватара пользователя
Alvares
прапорщик
Сообщения: 485
Зарегистрирован: 2008-07-10 12:48:08
Откуда: Воронеж
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение Alvares » 2014-01-14 10:42:45

vfs.zfs.arc_max="2048M" если убрать, что-то меняется?
И попробуйте проц немножко разогнать для теста. ИМХО, проца и памяти мало для таких объемов.
Для нормальной работы ZFS требования памяти 1Гб на 1 Тб данных пула.
У вас пул 8 Тб - вот минимум на 8 гектарах вы получите приемлемую производительность.
Можете еще SSD на кеш повесить - будет веселее.
Бог создал людей сильными и слабыми. Сэмюэл Кольт сделал их равными...

Аватара пользователя
tom.cat
старшина
Сообщения: 449
Зарегистрирован: 2007-11-24 20:23:49
Откуда: Москва
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение tom.cat » 2014-01-14 10:56:27

Alvares писал(а):vfs.zfs.arc_max="2048M" если убрать, что-то меняется?
Чуть лучше:

Код: Выделить всё

# zpool iostat 5
               capacity     operations    bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
storage     3,77T  4,35T     43      1  4,92M  4,93K
storage     3,77T  4,35T    677      0  83,9M      0
storage     3,77T  4,35T    671      0  83,3M      0
storage     3,77T  4,35T    662      0  82,1M      0
storage     3,77T  4,35T    655      0  81,2M      0
storage     3,77T  4,35T    597      0  74,1M      0
storage     3,77T  4,35T    648      0  80,4M      0
storage     3,77T  4,35T    693      0  86,1M      0
storage     3,77T  4,35T    632      0  78,2M      0
Alvares писал(а):И попробуйте проц немножко разогнать для теста. ИМХО, проца и памяти мало для таких объемов.
Для нормальной работы ZFS требования памяти 1Гб на 1 Тб данных пула.
У вас пул 8 Тб - вот минимум на 8 гектарах вы получите приемлемую производительность.
Можете еще SSD на кеш повесить - будет веселее.
Спасибо, буду пробовать.
When you see pigs fly it means Windows has become open source

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35465
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение Alex Keda » 2014-01-14 19:38:54

tom.cat писал(а):
Alex Keda писал(а):а проц-то процентов на 40 загружен, получается?
не он ли тормозит - если считать что однопоточно обсчитывается в ядре??
Тестировал запись через dd, вот что выдает:

Код: Выделить всё

last pid: 16335;  load averages:  0.94,  0.51,  0.37    up 0+11:39:27  00:32:32
47 processes:  2 running, 45 sleeping
CPU:  5.3% user,  0.0% nice, 67.5% system,  0.6% interrupt, 26.7% idle
Mem: 1233M Active, 90M Inact, 2100M Wired, 11M Cache, 279M Buf, 385M Free
ARC: 1590M Total, 90M MFU, 1360M MRU, 114M Anon, 15M Header, 11M Other
Swap: 4096M Total, 13M Used, 4083M Free

  PID USERNAME      THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
16335 root            1  88    0  2058M  1027M CPU1    1   0:12 53.76% dd
Как-то так. Проц надрывается.
bs чему был равен?
если дефолт - 512 байт - не удивительно попробуйте
Убей их всех! Бог потом рассортирует...

Аватара пользователя
tom.cat
старшина
Сообщения: 449
Зарегистрирован: 2007-11-24 20:23:49
Откуда: Москва
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение tom.cat » 2014-01-15 10:18:22

Код: Выделить всё

# dd if=/dev/random of=/storage/test.hdd bs=1m count=1000
1000+0 records in
1000+0 records out
1048576000 bytes transferred in 21.632602 secs (48472024 bytes/sec)
# dd of=/dev/random if=/storage/test.hdd bs=1m count=1000
1000+0 records in
1000+0 records out
1048576000 bytes transferred in 3.165019 secs (331301641 bytes/sec)
Вот так.
When you see pigs fly it means Windows has become open source

Аватара пользователя
Alvares
прапорщик
Сообщения: 485
Зарегистрирован: 2008-07-10 12:48:08
Откуда: Воронеж
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение Alvares » 2014-01-15 16:53:12

Он у вас в кеше поместился, потому и чтение большое. Дайте count=16000
Бог создал людей сильными и слабыми. Сэмюэл Кольт сделал их равными...

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35465
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение Alex Keda » 2014-01-15 22:23:22

да вообще проц был интересен, а не скорости =))
Убей их всех! Бог потом рассортирует...

FiL
ст. лейтенант
Сообщения: 1375
Зарегистрирован: 2010-02-05 0:21:40

Re: Медленная работа ZFS тома

Непрочитанное сообщение FiL » 2014-01-16 7:33:14

tom.cat писал(а):

Код: Выделить всё

# dd if=/dev/random of=/storage/test.hdd bs=1m count=1000
1000+0 records in
1000+0 records out
1048576000 bytes transferred in 21.632602 secs (48472024 bytes/sec)
# dd of=/dev/random if=/storage/test.hdd bs=1m count=1000
1000+0 records in
1000+0 records out
1048576000 bytes transferred in 3.165019 secs (331301641 bytes/sec)
Вот так.
запись в /dev/random - это сильно :)

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35465
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение Alex Keda » 2014-01-17 23:13:23

волшебное устройство - чисто теоретически, из него можно достать любые данные - хоть войну и мир формате html, хоть ядро FreeBSD версии 15.0 под проц MIPS =))
Убей их всех! Бог потом рассортирует...

Аватара пользователя
tom.cat
старшина
Сообщения: 449
Зарегистрирован: 2007-11-24 20:23:49
Откуда: Москва
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение tom.cat » 2014-01-20 21:07:02

Ну раз девайс random это сильно, вот zero.

Код: Выделить всё

# dd if=/dev/zero of=/storage/test.hdd bs=1m count=16000
16000+0 records in
16000+0 records out
16777216000 bytes transferred in 29.226295 secs (574045256 bytes/sec)
и

Код: Выделить всё

# dd of=/dev/zero if=/storage/test.hdd bs=1m count=16000
16000+0 records in
16000+0 records out
16777216000 bytes transferred in 18.982729 secs (883814758 bytes/sec)
When you see pigs fly it means Windows has become open source

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35465
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение Alex Keda » 2014-01-20 21:29:49

в зеро тоже не пишут =))
с него тока читают
--
пишут в /dev/null
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Alvares
прапорщик
Сообщения: 485
Зарегистрирован: 2008-07-10 12:48:08
Откуда: Воронеж
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение Alvares » 2014-01-21 7:51:09

Код: Выделить всё

1. dd if=/dev/random of=/storage/rnd_file bs=4k count=4M
2. dd if=/dev/random of=/storage/rnd_file2 bs=1M count=4k
3. cp /storage/rnd_file /storage/rnd_file_new
4. dd if=/storage/rnd_file2 of=/dev/null
И смотрите свои скорости.
Бог создал людей сильными и слабыми. Сэмюэл Кольт сделал их равными...

FiL
ст. лейтенант
Сообщения: 1375
Зарегистрирован: 2010-02-05 0:21:40

Re: Медленная работа ZFS тома

Непрочитанное сообщение FiL » 2014-01-27 9:59:24

tom.cat писал(а):Ну раз девайс random это сильно, вот zero.

Код: Выделить всё

# dd if=/dev/zero of=/storage/test.hdd bs=1m count=16000
16000+0 records in
16000+0 records out
16777216000 bytes transferred in 29.226295 secs (574045256 bytes/sec)
574 МБ/с? И что не нравится?

Аватара пользователя
Alvares
прапорщик
Сообщения: 485
Зарегистрирован: 2008-07-10 12:48:08
Откуда: Воронеж
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение Alvares » 2014-01-27 10:53:21

Неправдоподобно. На 3-х green WD ~600M/s записи и ~900M/s чтения? На дохлой тачке...
Если включено сжатие, то на данных из /dev/zero скорости будут безумные. Нужно на нормальном потоке проверять.
Бог создал людей сильными и слабыми. Сэмюэл Кольт сделал их равными...

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35465
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение Alex Keda » 2014-01-27 22:06:43

я грины mhdd тестил, по 3T ёмкостью - новые до 120Mb/c дают, поюзаные 60-100
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Alvares
прапорщик
Сообщения: 485
Зарегистрирован: 2008-07-10 12:48:08
Откуда: Воронеж
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение Alvares » 2014-01-27 22:15:31

Это чтения? Все равно много. Я же говорю - сжатие включено и хреновое устройство генерации данных
Бог создал людей сильными и слабыми. Сэмюэл Кольт сделал их равными...

Аватара пользователя
tom.cat
старшина
Сообщения: 449
Зарегистрирован: 2007-11-24 20:23:49
Откуда: Москва
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение tom.cat » 2014-02-06 11:12:17

Alvares писал(а):Я же говорю - сжатие включено и хреновое устройство генерации данных
И как исправить хреновое устройство генерации данных? Или это фишка WD :smile:
When you see pigs fly it means Windows has become open source

Аватара пользователя
Alvares
прапорщик
Сообщения: 485
Зарегистрирован: 2008-07-10 12:48:08
Откуда: Воронеж
Контактная информация:

Re: Медленная работа ZFS тома

Непрочитанное сообщение Alvares » 2014-02-06 11:16:24

Я же написал, ооткуда брать данные и куда их девать

Код: Выделить всё

1. dd if=/dev/random of=/storage/rnd_file bs=4k count=4M
2. dd if=/dev/random of=/storage/rnd_file2 bs=1M count=4k
3. cp /storage/rnd_file /storage/rnd_file_new
4. dd if=/storage/rnd_file2 of=/dev/null
Бог создал людей сильными и слабыми. Сэмюэл Кольт сделал их равными...

Аватара пользователя
ommm
рядовой
Сообщения: 45
Зарегистрирован: 2011-01-28 15:18:48

Re: Медленная работа ZFS тома

Непрочитанное сообщение ommm » 2014-02-12 0:01:54

FreeBSD 9.2-RELEASE; мамка INTEL D2500HN; озу 8гб и два винта HGST HTS541010A9E680 (2.5", SATA 6Gb/s, 1000 Гб, буфер 8 Мб, 5400 rpm,) в zfs raw зеркале

использую в качестве торентокачалки и файлопомойки - ничего не тюнил (есть ли смысл?)
бывает когда по сетке что-то большое льёшь скорость проседает :(

Код: Выделить всё

# diskinfo -t /dev/ada1
/dev/ada1
        512             # sectorsize
        1000204886016   # mediasize in bytes (931G)
        1953525168      # mediasize in sectors
        4096            # stripesize
        0               # stripeoffset
        1938021         # Cylinders according to firmware.
        16              # Heads according to firmware.
        63              # Sectors according to firmware.
        JA100010C03SNA  # Disk ident.

Seek times:
        Full stroke:      250 iter in   6.581665 sec =   26.327 msec
        Half stroke:      250 iter in   4.666137 sec =   18.665 msec
        Quarter stroke:   500 iter in   7.944499 sec =   15.889 msec
        Short forward:    400 iter in   3.375064 sec =    8.438 msec
        Short backward:   400 iter in   2.422917 sec =    6.057 msec
        Seq outer:       2048 iter in   0.185747 sec =    0.091 msec
        Seq inner:       2048 iter in   0.193603 sec =    0.095 msec
Transfer rates:
        outside:       102400 kbytes in   0.942997 sec =   108590 kbytes/sec
        middle:        102400 kbytes in   1.117297 sec =    91650 kbytes/sec
        inside:        102400 kbytes in   1.919137 sec =    53357 kbytes/sec

FiL
ст. лейтенант
Сообщения: 1375
Зарегистрирован: 2010-02-05 0:21:40

Re: Медленная работа ZFS тома

Непрочитанное сообщение FiL » 2014-02-12 8:00:38

Alvares писал(а):Я же написал, ооткуда брать данные и куда их девать

Код: Выделить всё

1. dd if=/dev/random of=/storage/rnd_file bs=4k count=4M
2. dd if=/dev/random of=/storage/rnd_file2 bs=1M count=4k
3. cp /storage/rnd_file /storage/rnd_file_new
4. dd if=/storage/rnd_file2 of=/dev/null
И что это даст? рандомизированный файл? Так я любой фильм могу почитать - он достаточно рандомизированный и несжимаемый, чтоб этого хватило. А вот мерить скорость винта чтением из /dev/random - это чревато. У меня, например, из /dev/random не читается быстрее, чем 65 МБ/с. И если так тестировать, то окажется, что типа винт быстрее не пишет. А на самом деле дело совсем даже не в винте.