размер блока записи на диск

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
serzh
рядовой
Сообщения: 27
Зарегистрирован: 2014-08-05 14:20:30

размер блока записи на диск

Непрочитанное сообщение serzh » 2021-06-03 15:57:26

Сегодня случайно заметил, что размер блока записи на диск 32K вместо обычных 128K, не могу понять почему такой маленький, recordsize стоит 128K, пробовал даже 1M, но в gstat если поделить скорость на число операций получается примерно 32, причём только на HDD, SSD блок по тем же параметрам 128K.

оно где-то настраивается? или диск больше не умеет? не могу найти как это проверить/настроить.

диски довольно сильно нагружены, но в теории должны выдавать гораздо больше, поэтому и начал искать узкое место.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Neus
капитан
Сообщения: 1865
Зарегистрирован: 2008-09-08 21:59:56

размер блока записи на диск

Непрочитанное сообщение Neus » 2021-06-03 21:16:39

recordsize это максимальный размер, а не фиксированный.
Может сжатие включено?
«Вы никогда не сумеете решить возникшую проблему,
если сохраните то же мышление и тот же подход,
который привёл вас к этой проблеме.»
© Альберт Эйнштейн

serzh
рядовой
Сообщения: 27
Зарегистрирован: 2014-08-05 14:20:30

размер блока записи на диск

Непрочитанное сообщение serzh » 2021-06-04 16:29:54

нет, сжатие отключено, просто раньше сколько ни тестировал, на обычных HDD при больших линейных операциях чтения/записи видно, что 128Kb на операцию получается, а тут 32Кб, вот и не могу понять что может быть не так. на NVMe gstat показывает 1Мб/на операцию при таких тестах.

serzh
рядовой
Сообщения: 27
Зарегистрирован: 2014-08-05 14:20:30

размер блока записи на диск

Непрочитанное сообщение serzh » 2021-06-04 16:32:28

Код: Выделить всё

 L(q)  ops/s    r/s   kBps   ms/r    w/s   kBps   ms/w    d/s   kBps   ms/d    o/s   ms/o   %busy Name
    0      0      0      0    0.0      0      0    0.0      0      0    0.0      0    0.0    0.0| da0
    0      0      0      0    0.0      0      0    0.0      0      0    0.0      0    0.0    0.0| da1
    2   1199   1099   6880    1.5     99   1328    0.6      0      0    0.0      0   28.1   62.9| da2
    4   1188   1085   7165    1.7    102   1325    1.2      0      0    0.0      0   36.4   69.0| da3
    2   1259   1150   6855    1.5    108   1340    1.2      0      0    0.0      0   18.4   66.2| da4
    2   1263   1160   7151    1.5    103   1405    0.9      0      0    0.0      0   11.5   63.1| da5
    3   1274   1175   6672    1.3     98   1340    0.5      0      0    0.0      0   17.7   58.6| da6
    2   1235   1142   7140    1.4     92   1338    0.5      0      0    0.0      0   12.6   61.7| da7
    2   1277   1172   6733    1.3    104   1338    0.4      0      0    0.0      0   18.3   60.6| da8
    3   1413   1321   7001    1.1     92   1336    0.5      0      0    0.0      0   26.6   59.6| da9
 

serzh
рядовой
Сообщения: 27
Зарегистрирован: 2014-08-05 14:20:30

размер блока записи на диск

Непрочитанное сообщение serzh » 2021-06-04 16:34:59

SSD там же:

Код: Выделить всё

    0    325      0      0    0.0    325  40948    0.3      0      0    0.0      0    0.0   10.0| da10
 
дефолтовый recordsize на пуле 128K, но датасет, на котором сейчас основная нагрузка имеет 1M
SSD как cache используется.

Аватара пользователя
skeletor
майор
Сообщения: 2540
Зарегистрирован: 2007-11-16 18:22:04
Откуда: Kiev
Контактная информация:

размер блока записи на диск

Непрочитанное сообщение skeletor » 2021-06-04 17:36:13

Вы учитываете то, что recordsize применяется только к вновь записанным данным? Вообще, рекомендую такие тесты проводить на свежесозданных zfs, тогда будет чёткое понимание. А когда у вас 99% данных записано с recordsize=128К, то и читаться они будут с таким же recordsize.

Вообще здесь https://www.joyent.com/blog/bruning-que ... ecord-size описано неплохо тесты для понимания, как работает запись, если указать блок больше или меньше recordsize.
"Винда съела дрова и резет здесь не фурычит."
"Все говорят, что у меня /dev/hands криво и я всё делаю через /dev/ass. А у меня этих фалов вообще нет!"

serzh
рядовой
Сообщения: 27
Зарегистрирован: 2014-08-05 14:20:30

размер блока записи на диск

Непрочитанное сообщение serzh » 2021-06-05 16:54:22

датасет был создан с recordsize=1M, так как файлы на нём планировалось хранить очень большие.
за ссылку спасибо, почитаю сейчас.
вопрос был в том, как определить максимально возможно большой поддерживаемый устройством блок записи и настраивается ли это где-то?
на чистых пустых дисках тестировал с помощью dd и большими блоками, gstat показывал 128K для HDD и 1M для NVMe

Аватара пользователя
skeletor
майор
Сообщения: 2540
Зарегистрирован: 2007-11-16 18:22:04
Откуда: Kiev
Контактная информация:

размер блока записи на диск

Непрочитанное сообщение skeletor » 2021-06-07 16:23:49

Теоретически, размер ограничен размером recordsize, если это жёстко не указано в самом приложении. К примеру, очень много java-приложений пишут блоками по 8к. И вы тут ничего не поделаете, кроме как переписать приложение.
"Винда съела дрова и резет здесь не фурычит."
"Все говорят, что у меня /dev/hands криво и я всё делаю через /dev/ass. А у меня этих фалов вообще нет!"