Скорость работы UFS

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
AleZ
рядовой
Сообщения: 44
Зарегистрирован: 2017-03-23 17:24:07

Скорость работы UFS

Непрочитанное сообщение AleZ » 2017-03-23 18:08:48

Есть массив 6 x 6TБ дисков, диски WD60PURX, фиолетовые, 24х7.
Собраны в RAID0 отдельным контроллером на м.п. ФС UFS. Общий размер получился 32ТБ
так выглядит в dmesg:

Код: Выделить всё

da0: <LSI Logical Volume 3000> Fixed Direct Access SPC-4 SCSI device
da0: Serial Number 2462868530229850128
da0: 150.000MB/s transfers
da0: Command Queueing enabled
da0: 34332270MB (70312488960 512 byte sectors)
Есть проблема со скоростью удаления файлов, около 10 сек. Сначала было стандартно с soft-updates, потом поменял на async, особо ничего от замены не изменилось.
вот типичный gstat:

Код: Выделить всё

dT: 1.001s  w: 1.000s
 L(q)  ops/s    r/s   kBps   ms/r    w/s   kBps   ms/w   %busy Name
    2    537     41   4603   34.5    496  56035   32.8   74.2| da0
    0      0      0      0    0.0      0      0    0.0    0.0| da1
    2    537     41   4603   34.5    496  56035   32.8   74.2| da0p1
    0      0      0      0    0.0      0      0    0.0    0.0| da1p1
    0      0      0      0    0.0      0      0    0.0    0.0| da1p2
    0      0      0      0    0.0      0      0    0.0    0.0| da1p3
    0      0      0      0    0.0      0      0    0.0    0.0| da1p4
    0      0      0      0    0.0      0      0    0.0    0.0| da1p5
    0      0      0      0    0.0      0      0    0.0    0.0| da1p6
    0      0      0      0    0.0      0      0    0.0    0.0| gptid/bd628138-de52-11e6-a7c9-0cc47a82d4fa
при async скорость записи скачет от 40MBps до 100MBps, при soft-updates стабильно 67MBps.
Диск используется как хранилище тв-архива, каждый час стартует запись нового куска видео, самый старый кусок удаляется, в этот момент очередь сильно растет, до 1000-1500. В результате в начале записи всегда потери.
На процессор нагрузка не растет, памяти тоже хватает, нагружен только диск. Есть подозрение что тормозит именно долгое удаление старого файла. Сами файлы тоже не маленькие, от 1 до 3 ГБ.

Вопрос: можно ли это вылечить настройками? как минимум сделать удаление файла за доли секунды. Если нельзя то как ведет себя zfs в таких условиях?
Если данных для телепатии не хватает, скажите чего еще показать.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

guest
проходил мимо

Скорость работы UFS

Непрочитанное сообщение guest » 2017-03-23 22:40:44

AleZ писал(а):Есть массив 6 x 6TБ дисков, диски WD60PURX, фиолетовые, 24х7.
Собраны в RAID0 отдельным контроллером на м.п. ФС UFS. Общий размер получился 32ТБ
так выглядит в dmesg:

Код: Выделить всё

da0: <LSI Logical Volume 3000> Fixed Direct Access SPC-4 SCSI device
da0: Serial Number 2462868530229850128
da0: 150.000MB/s transfers
da0: Command Queueing enabled
da0: 34332270MB (70312488960 512 byte sectors)
Есть проблема со скоростью удаления файлов, около 10 сек. Сначала было стандартно с soft-updates, потом поменял на async, особо ничего от замены не изменилось.
вот типичный gstat:

Код: Выделить всё

dT: 1.001s  w: 1.000s
 L(q)  ops/s    r/s   kBps   ms/r    w/s   kBps   ms/w   %busy Name
    2    537     41   4603   34.5    496  56035   32.8   74.2| da0
    0      0      0      0    0.0      0      0    0.0    0.0| da1
    2    537     41   4603   34.5    496  56035   32.8   74.2| da0p1
    0      0      0      0    0.0      0      0    0.0    0.0| da1p1
    0      0      0      0    0.0      0      0    0.0    0.0| da1p2
    0      0      0      0    0.0      0      0    0.0    0.0| da1p3
    0      0      0      0    0.0      0      0    0.0    0.0| da1p4
    0      0      0      0    0.0      0      0    0.0    0.0| da1p5
    0      0      0      0    0.0      0      0    0.0    0.0| da1p6
    0      0      0      0    0.0      0      0    0.0    0.0| gptid/bd628138-de52-11e6-a7c9-0cc47a82d4fa
при async скорость записи скачет от 40MBps до 100MBps, при soft-updates стабильно 67MBps.
Диск используется как хранилище тв-архива, каждый час стартует запись нового куска видео, самый старый кусок удаляется, в этот момент очередь сильно растет, до 1000-1500. В результате в начале записи всегда потери.
На процессор нагрузка не растет, памяти тоже хватает, нагружен только диск. Есть подозрение что тормозит именно долгое удаление старого файла. Сами файлы тоже не маленькие, от 1 до 3 ГБ.

Вопрос: можно ли это вылечить настройками? как минимум сделать удаление файла за доли секунды. Если нельзя то как ведет себя zfs в таких условиях?
Если данных для телепатии не хватает, скажите чего еще показать.
imho:

- контроллер (боюсь что фи)
- raid0 средствами контроллера (фи)
- диски 4k вроде, значит align

zfs требует hba, ram и чтобы не заполняли больше 70-80%

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Скорость работы UFS

Непрочитанное сообщение Neus » 2017-03-24 6:36:58

undefined писал(а): - контроллер (боюсь что фи)
не факт, похоже на LSI с IR прошивкой
большинство LSI перешиваются на IT
undefined писал(а): - raid0 средствами контроллера (фи)
зависит от контроллера
undefined писал(а): - диски 4k вроде, значит align
диски - фи:
Неисправимых ошибок чтения/прочитанных бит: 1 ошибка на 10E14 (10 в 14-й степени) бит
Скорость вращения шпинделя: IntelliPower (скорость вращения шпинделя оптимизируется до значения, обеспечивающего наилучшее соотношение производительности, уровня шума и энергопотребления)
и для raid не предназначены

Отправлено спустя 25 минут 33 секунды:
AleZ писал(а): Есть проблема со скоростью удаления файлов, около 10 сек
а когда это на UFS удаление было быстрым?
на ZFS оно тоже не мгновенное.
на ФС HAMMER (Dragonfly BSD) файлы "удаляются" мгновенно :)
AleZ писал(а): потом поменял на async
изменения метаданных всегда происходят синхронно.
AleZ писал(а): Диск используется как хранилище тв-архива, каждый час стартует запись нового куска видео, самый старый кусок удаляется, в этот момент очередь сильно растет, до 1000-1500. В результате в начале записи всегда потери.
изменить алгоритм этого действа можно?
например: сначала идет запись, а потом удаление старого фрагмента.
AleZ писал(а): Если данных для телепатии не хватает, скажите чего еще показать.
нуу... если профессор (guest) грешит на контроллер, то давай для начала весь dmesg, pciconf -lv, diskinfo -ct da0, опции монтрования
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

AleZ
рядовой
Сообщения: 44
Зарегистрирован: 2017-03-23 17:24:07

Скорость работы UFS

Непрочитанное сообщение AleZ » 2017-03-24 7:55:57

dmesg

Код: Выделить всё

mpr0: SAS Address for SATA device = 486a455cbfe3d380
mpr0: SAS Address from SAS device page0 = 4433221100000000
mpr0: SAS Address from SATA device = 486a455cbfe3d380
mpr0: Found device <881<SataDev,Direct>,End Device> <6.0Gbps> handle<0x0009> enclosureHandle<0x0001> slot 0
mpr0: At enclosure level 0 and connector name (    )
mpr0: SAS Address for SATA device = 4c644568c6edf47e
mpr0: SAS Address from SAS device page0 = 4433221101000000
mpr0: SAS Address from SATA device = 4c644568c6edf47e
mpr0: Found device <881<SataDev,Direct>,End Device> <6.0Gbps> handle<0x000a> enclosureHandle<0x0001> slot 1
mpr0: At enclosure level 0 and connector name (    )
mpr0: SAS Address for SATA device = 4c644568d1e3f86a
mpr0: SAS Address from SAS device page0 = 4433221102000000
mpr0: SAS Address from SATA device = 4c644568d1e3f86a
mpr0: Found device <881<SataDev,Direct>,End Device> <6.0Gbps> handle<0x000b> enclosureHandle<0x0001> slot 2
mpr0: At enclosure level 0 and connector name (    )
ugen0.3: <vendor 0x0557> at usbus0
ukbd0: <vendor 0x0557 product 0x2419, class 0/0, rev 1.10/1.00, addr 2> on usbus0
mpr0: SAS Address for SATA device = 486a455cbfedcb6c
mpr0: SAS Address from SAS device page0 = 4433221104000000
mpr0: SAS Address from SATA device = 486a455cbfedcb6c
mpr0: Found device <881<SataDev,Direct>,End Device> <6.0Gbps> handle<0x000c> enclosureHandle<0x0001> slot 4
mpr0: At enclosure level 0 and connector name (    )
mpr0: SAS Address for SATA device = 4c64456ac6f4de86
mpr0: SAS Address from SAS device page0 = 4433221105000000
mpr0: SAS Address from SATA device = 4c64456ac6f4de86
mpr0: Found device <881<SataDev,Direct>,End Device> <6.0Gbps> handle<0x000d> enclosureHandle<0x0001> slot 5
mpr0: At enclosure level 0 and connector name (    )
mpr0: SAS Address for SATA device = 486b4546d3ded871
mpr0: SAS Address from SAS device page0 = 4433221106000000
mpr0: SAS Address from SATA device = 486b4546d3ded871
mpr0: Found device <881<SataDev,Direct>,End Device> <6.0Gbps> handle<0x000e> enclosureHandle<0x0001> slot 6
mpr0: At enclosure level 0 and connector name (    )
mpr0: SAS Address for SATA device = 64993b2cae9e8d8f
mpr0: SAS Address from SAS device page0 = 4433221107000000
mpr0: SAS Address from SATA device = 64993b2cae9e8d8f
mpr0: Found device <881<SataDev,Direct>,End Device> <3.0Gbps> handle<0x000f> enclosureHandle<0x0001> slot 7
mpr0: At enclosure level 0 and connector name (    )
(da0:mpr0:0:0:0): UNMAPPED
(da1:mpr0:0:da0 at mpr0 bus 0 scbus0 target 0 lun 0
da0: <LSI Logical Volume 3000> Fixed Direct Access SPC-4 SCSI device
da0: Serial Number 2462868530229850128
da0: 150.000MB/s transfers
da0: Command Queueing enabled
da0: 34332270MB (70312488960 512 byte sectors)
9:0): UNMAPPED
ses0 at ahciem0 bus 0 scbus7 target 0 lun 0
da1 at mpr0 bus 0 scbus0 target 9 lun 0
ses0: <AHCI SGPIO Enclosure 1.00 0001> SEMB S-E-S 2.00 device
da1: <ATA WDC WD1600AAJS-0 3E03> Fixed Direct Access SPC-4 SCSI device
ses0: SEMB SES Device
da1: Serial Number WD-WMAV3J888006
da1: 300.000MB/s transfers
da1: Command Queueing enabled
da1: 152627MB (312581808 512 byte sectors)
pciconf

Код: Выделить всё

mpr0@pci0:2:0:0:        class=0x010700 card=0x080815d9 chip=0x00971000 rev=0x02 hdr=0x00
    vendor     = 'LSI Logic / Symbios Logic'
    device     = 'SAS3008 PCI-Express Fusion-MPT SAS-3'
    class      = mass storage
    subclass   = SAS
diskinfo

Код: Выделить всё

da0
        512             # sectorsize
        35999994347520  # mediasize in bytes (33T)
        70312488960     # mediasize in sectors
        4096            # stripesize
        0               # stripeoffset
        4376750         # Cylinders according to firmware.
        255             # Heads according to firmware.
        63              # Sectors according to firmware.
        2462868530229850128     # Disk ident.
        Not_Zoned       # Zone Mode

I/O command overhead:
        time to read 10MB block      0.634214 sec       =    0.031 msec/sector
        time to read 20480 sectors   1.958543 sec       =    0.096 msec/sector
        calculated command overhead                     =    0.065 msec/sector

Seek times:
        Full stroke:      250 iter in   8.298162 sec =   33.193 msec
        Half stroke:      250 iter in   7.515279 sec =   30.061 msec
        Quarter stroke:   500 iter in  14.337393 sec =   28.675 msec
        Short forward:    400 iter in  10.948372 sec =   27.371 msec
        Short backward:   400 iter in  11.154840 sec =   27.887 msec
        Seq outer:       2048 iter in   0.649819 sec =    0.317 msec
        Seq inner:       2048 iter in   0.687137 sec =    0.336 msec
Transfer rates:
        outside:       102400 kbytes in   6.408394 sec =    15979 kbytes/sec
        middle:        102400 kbytes in   4.147404 sec =    24690 kbytes/sec
        inside:        102400 kbytes in   5.683540 sec =    18017 kbytes/sec
mount

Код: Выделить всё

/dev/da0p1 on /media/raid0 (ufs, asynchronous, local)
и немного sysctl.conf

Код: Выделить всё

vfs.hirunningspace=13762560
vfs.read_max=64
vfs.maxmallocbufspace=2748318515
vfs.maxbufspace=1999994880
kern.ipc.nmbclusters=2560000
kern.maxvnodes=229669
kern.ipc.somaxconn=4096
Neus писал(а): изменить алгоритм этого действа можно?
есть и такой вариант, но код не на коленке написанный, поэтому сначала решил заняться диском.

Что за опция в loader.conf aio_load=""YES"? в гугле нахожу конфиги где эту опцию включают, но kldstat показывает что aio уже в ядре

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35454
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Скорость работы UFS

Непрочитанное сообщение Alex Keda » 2017-03-24 8:33:27

А насчет софтапдейт включить - не пробовали?
Убей их всех! Бог потом рассортирует...

AleZ
рядовой
Сообщения: 44
Зарегистрирован: 2017-03-23 17:24:07

Скорость работы UFS

Непрочитанное сообщение AleZ » 2017-03-24 8:59:35

конечно, в самом начале по умолчанию работало с софтапдейтом, написал же

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Скорость работы UFS

Непрочитанное сообщение Neus » 2017-03-24 13:05:38

мда... "Transfer rates:" вообще никакой...
размер страйпа при создании рейда какой указывал?
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

guest
проходил мимо

Скорость работы UFS

Непрочитанное сообщение guest » 2017-03-24 13:48:22

AleZ писал(а):конечно, в самом начале по умолчанию работало с софтапдейтом, написал же
Есть такое мнение, что у Вас полностью разбалансирована дисковая подсистема...

разберем контроллер:

LSI3008 - PCI Express 3.0
- SAS - 12Gb/s
- SATA - 6Gb/s

ясно что у Вас в режиме рейд (прошивка IR), какая версия?
контроллер интегрированный в материнку или внешний?
если интегрированный - какая материнка?

Шасси - фирменное или сервер самосборный?
В зависимости от этого:
- используется backplane, если да - с каким expander'ом?
- если же диски напрямую подключены к контроллеру, каким кабелем и его длина?

из ваших логов:

Код: Выделить всё

da0: <LSI Logical Volume 3000> Fixed Direct Access SPC-4 SCSI device
da0: Serial Number 2462868530229850128
da0: 150.000MB/s transfers
^^^^^^^^^^^^^^^^^^^^^^^^^^ ???
da0: Command Queueing enabled
...
da1: 300.000MB/s transfers
...
диски PURPL - не гуд по производительности, но они SATA 6Gbps вроде, значит должно быть нечто:

Код: Выделить всё

[joker]~ > grep transfers /var/run/dmesg.boot 
ada0: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
ada1: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
из верхнего видим для SATA3 и SATA2

Допустим что у Вас система на SATA - da0...

К чему это?
А все к дизбаллансу, ибо:

Код: Выделить всё

при async скорость записи скачет от 40MBps до 100MBps, при soft-updates стабильн
о 67MBps.

Код: Выделить всё

vfs.hirunningspace=13762560
vfs.read_max=64
vfs.maxmallocbufspace=2748318515
vfs.maxbufspace=1999994880
где vfs используется для всей системы в целом, а vfs.hirunningspace и вовсе очень опасный параметр,
который может очень отрицательно сказаться на производительности FS и превратить ее в тормоз.

Думаю что man mpr Вы читали, но вроде как ничего особенного не нашли?

От ответов на верхние вопросы, будет зависеть продолжение.
И да, неизвестно КАК пишутся у Вас данные, много мелких файлов или большой поток, но мелкими
фреймами? И когда Вы начинаете удалять предыдущие: после старта записи данных или перед или в конце?

Ситуация явно ненормальная, как с записью, и тем более с удалением.

ps. В FreeBSD, UFS в принципе не тюнится, тем более на запись. Как собственно и в любых
других ОС в пределах одного контроллера и НЕраспределенной FS.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Скорость работы UFS

Непрочитанное сообщение Neus » 2017-03-24 14:42:02

фря на виртуалке:

Код: Выделить всё

root@fbsd-test:/zroot/testdb # uname -a
FreeBSD fbsd-test 11.0-RELEASE-p1 FreeBSD 11.0-RELEASE-p1 #0 r306420: Thu Sep 29 01:43:23 UTC 2016     
root@releng2.nyi.freebsd.org:/usr/obj/usr/src/sys/GENERIC  amd64

root@fbsd-test:/zroot/testdb # dmesg | grep da0
(da0:mpt0:0:0:0): UNMAPPED
da0 at mpt0 bus 0 scbus2 target 0 lun 0
da0: <VMware, VMware Virtual S 1.0> Fixed Direct Access SCSI-2 device
da0: 320.000MB/s transfers (160.000MHz, offset 127, 16bit)
da0: Command Queueing enabled
da0: 65536MB (134217728 512 byte sectors)
da0: quirks=0x40<RETRY_BUSY>

root@fbsd-test:/zroot/testdb # zpool list
NAME    SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
zroot  61.5G   302M  61.2G         -     6%     0%  1.00x  ONLINE  -

root@fbsd-test:/zroot/testdb # ll
total 0

root@fbsd-test:/zroot/testdb # time dd bs=1m count=1k if=/dev/zero of=file1gb.raw
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 7.874122 secs (136363374 bytes/sec)
0.017u 0.242s 0:07.87 3.1%      14+81k 6+1024io 0pf+0w

root@fbsd-test:/zroot/testdb # time dd bs=1m count=2k if=/dev/zero of=file2gb.raw
2048+0 records in
2048+0 records out
2147483648 bytes transferred in 12.818229 secs (167533573 bytes/sec)
0.000u 0.497s 0:12.81 3.8%      13+77k 6+2048io 0pf+0w

root@fbsd-test:/zroot/testdb # time dd bs=1m count=4k if=/dev/zero of=file4gb.raw
4096+0 records in
4096+0 records out
4294967296 bytes transferred in 27.968403 secs (153564981 bytes/sec)
0.000u 0.935s 0:27.96 3.3%      11+67k 6+4096io 0pf+0w

root@fbsd-test:/zroot/testdb # time dd bs=1m count=8k if=/dev/zero of=file8gb.raw
8192+0 records in
8192+0 records out
8589934592 bytes transferred in 63.776012 secs (134689114 bytes/sec)
0.019u 2.090s 1:03.77 3.2%      12+69k 6+8192io 0pf+0w

root@fbsd-test:/zroot/testdb # time dd bs=1m count=16k if=/dev/zero of=file16gb.raw
16384+0 records in
16384+0 records out
17179869184 bytes transferred in 124.634213 secs (137842321 bytes/sec)
0.106u 3.846s 2:04.63 3.1%      11+64k 6+16384io 0pf+0w

root@fbsd-test:/zroot/testdb # ll
total 32507891
-rw-r--r--  1 root  wheel  17179869184 Mar 24 14:56 file16gb.raw
-rw-r--r--  1 root  wheel   1073741824 Mar 24 14:51 file1gb.raw
-rw-r--r--  1 root  wheel   2147483648 Mar 24 14:51 file2gb.raw
-rw-r--r--  1 root  wheel   4294967296 Mar 24 14:52 file4gb.raw
-rw-r--r--  1 root  wheel   8589934592 Mar 24 14:53 file8gb.raw

root@fbsd-test:/zroot/testdb # zpool list
NAME    SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
zroot  61.5G  31.3G  30.2G         -    24%    50%  1.00x  ONLINE  -
так как виртуалка, делаю выкл/вкл:

Код: Выделить всё

root@fbsd-test:/zroot/testdb # ll
total 32507891
-rw-r--r--  1 root  wheel  17179869184 Mar 24 14:56 file16gb.raw
-rw-r--r--  1 root  wheel   1073741824 Mar 24 14:51 file1gb.raw
-rw-r--r--  1 root  wheel   2147483648 Mar 24 14:51 file2gb.raw
-rw-r--r--  1 root  wheel   4294967296 Mar 24 14:52 file4gb.raw
-rw-r--r--  1 root  wheel   8589934592 Mar 24 14:53 file8gb.raw

root@fbsd-test:/zroot/testdb # zpool list
NAME    SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
zroot  61.5G  31.3G  30.2G         -    24%    50%  1.00x  ONLINE  -

root@fbsd-test:/zroot/testdb # time rm *.raw
0.000u 0.046s 0:01.16 3.4%      15+165k 262+0io 1pf+0w
все настройки ОС и параметры датасета zroot/testdb дефолтные
кроме: compression=off и recordsize=1m
кстати, чем меньше recordsize, тем дольше удаляет
при recordsize=4к у меня 10гиг файл больше 30 сек удалялся на этой же виртуалке
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

guest
проходил мимо

Скорость работы UFS

Непрочитанное сообщение guest » 2017-03-24 15:03:43

Neus писал(а):фря на виртуалке:

<skipped>

все настройки ОС и параметры датасета zroot/testdb дефолтные
кроме: compression=off и recordsize=1m
кстати, чем меньше recordsize, тем дольше удаляет
при recordsize=4к у меня 10гиг файл больше 30 сек удалялся на этой же виртуалке
sorry, dd - не тест для FS, то что compression=off на zfs, для теста dd - правильный подход (надеюсь кроме нас
и другие понимают?)

recordsize - вещь зависимая, лень расписывать, надеюсь меня извинят

Sorry, не посмотрел что для VHDD используется, локальная FS,NFS,iSCSI, все имеют свои ньюансы,
посему, ну очень не показательный тест, хотя и сам начинаю с dd для простых решений и быстрых выводов.

ps. TC важно понять, изменить скорость WRITE на локальной FS нельзя, только разборки с железом: controller + hdd,
а вот READ - можно, например ZFS, остальное уже отписано с вопросами по железу.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Скорость работы UFS

Непрочитанное сообщение Neus » 2017-03-24 15:26:05

во! есть еще одно соображение
у меня щас корзина затупила
посмотрел iostat:

Код: Выделить всё

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    0.94    0.00    0.00   99.06

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdaaa             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdaab             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdh             967.50     0.00   10.00    0.50  7820.00     4.00   745.14     0.67   63.29   6.00   6.30
sdg            1197.50   194.00   12.50    2.50  9680.00  1572.00   750.13     0.92   61.57   4.87   7.30
sda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdf            1068.00   578.00   11.00    5.50  8632.00  4668.00   806.06     0.68   41.12   4.24   7.00
sdi            1285.50    98.00   13.50    1.00 10392.00   792.00   771.31     1.04   71.59   5.62   8.15
sdj               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sde               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc            1237.00   296.50   12.50    3.50  9996.00  2400.00   774.75     0.86   53.47   4.56   7.30
sdd             649.50   238.50    6.50    2.00  5248.00  1924.00   843.76     0.29   34.29   6.29   5.35
sdk            1085.00   561.00   11.00    5.50  8768.00  4532.00   806.06     0.82   49.61   4.45   7.35
sdl            1047.50   377.50    7.50    2.00  6212.00  1648.00   827.37    24.38 3380.21 105.26 100.00
sdm            1153.00   278.00   12.00    2.50  9320.00  2244.00   797.52     0.92   63.31   5.31   7.70
sdn               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdo            1153.00   278.00   12.00    2.50  9320.00  2244.00   797.52     0.96   66.41   5.38   7.80
sdp            1152.50   309.50   12.50    3.00  9320.00  2500.00   762.58     1.00   64.61   5.16   8.00
sdb             649.50   328.50    6.50    3.00  5248.00  2652.00   831.58     0.30   32.05   5.47   5.20
обрати внимание на:
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sdl 1047.50 377.50 7.50 2.00 6212.00 1648.00 827.37 24.38 3380.21 105.26 100.00
может у тебя тоже один из дисков тормозит весь массив?

Отправлено спустя 15 минут 34 секунды:
undefined писал(а): Sorry, не посмотрел что для VHDD используется, локальная FS,NFS,iSCSI, все имеют свои ньюансы,
посему, ну очень не показательный тест, хотя и сам начинаю с dd для простых решений и быстрых выводов.
коллега, это не тест того, как быстро dd пишет, а как быстро отработает удаление файлов :)
а с recordsize я баловался когда БД на ней тестил
при 4к выдает максимальный IOPS, но удаление идет тормознее чем на UFS.
в остальном -- согласен, у него с железом что-то не то.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

guest
проходил мимо

Скорость работы UFS

Непрочитанное сообщение guest » 2017-03-24 15:46:43

Neus писал(а):
undefined писал(а): Sorry, не посмотрел что для VHDD используется, локальная FS,NFS,iSCSI, все имеют свои ньюансы,
посему, ну очень не показательный тест, хотя и сам начинаю с dd для простых решений и быстрых выводов.
коллега, это не тест того, как быстро dd пишет, а как быстро отработает удаление файлов :)
ok. (мертвого уговоришь) :)

ps. удалять нужно было по одному...

ждем что скажет...

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Скорость работы UFS

Непрочитанное сообщение Neus » 2017-03-24 16:01:13

undefined писал(а): ps. удалять нужно было по одному...
а разве "rm *.raw" шелл не развертывает в "rm file1.raw file2.raw ..."
а потом по одному и удаляет? ;)

Отправлено спустя 1 минуту 54 секунды:
вернее не шелл, а сама rm строит список файлов и для каждого вызывает сискол ?
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

guest
проходил мимо

Скорость работы UFS

Непрочитанное сообщение guest » 2017-03-24 16:04:01

Neus писал(а):
undefined писал(а): ps. удалять нужно было по одному...
а разве "rm *.raw" шелл не развертывает в "rm file1.raw file2.raw ..."
а потом по одному и удаляет? ;)

Отправлено спустя 1 минуту 54 секунды:
вернее не шелл, а сама rm строит список файлов и для каждого вызывает сискол ?
ключевое слово time

AleZ
рядовой
Сообщения: 44
Зарегистрирован: 2017-03-23 17:24:07

Скорость работы UFS

Непрочитанное сообщение AleZ » 2017-03-24 17:41:57

Neus писал(а): размер страйпа при создании рейда какой указывал?
это неизвестно, при создании видимо не обратил на это внимание, если придется поломать рейд и сделать заново то посмотрю
undefined писал(а): контроллер интегрированный в материнку или внешний?
интегрированный, мать supermicro, вся сборка supermicro, модель сейчас не скажу, длина проводов от контроллера до винтов разная, но не более 50 см кажется.

Вернул обратно soft-update.

Система стоит на отдельном диске. Про размер файлов писал выше, от 1 до 3 Гб.

С софтом проблему порешал так: написал скрипт который последовательно удаляет старые файлы, всего нужно удалить 165 таких файлов, удаляется где-то 2,5 минуты. Поставил в крон за 10 мин до запуска софта. Там как я понял одновременно делается рестарт всем 165-и записям, софт видит что записанных файлов не хватает, поэтому ничего не удаляет, вроде как-то порешалось, наблюдаю пока.

Но удаление все равно очень долгое. И по разному, на некоторых файлах тупит до 20 сек, некоторые меньше чем за секунду удаляет.

Отправлено спустя 15 минут 5 секунд:
undefined писал(а): Думаю что man mpr Вы читали, но вроде как ничего особенного не нашли?
правильно думаете, дефолтные параметры не подходят?

AleZ
рядовой
Сообщения: 44
Зарегистрирован: 2017-03-23 17:24:07

Скорость работы UFS

Непрочитанное сообщение AleZ » 2017-03-24 17:42:13

undefined писал(а): Думаю что man mpr Вы читали, но вроде как ничего особенного не нашли?
правильно думаете, дефолтные параметры не подходят?

guest
проходил мимо

Скорость работы UFS

Непрочитанное сообщение guest » 2017-03-24 19:30:28

AleZ писал(а):
undefined писал(а): Думаю что man mpr Вы читали, но вроде как ничего особенного не нашли?
правильно думаете, дефолтные параметры не подходят?
нет конкретных ответов по железу - нет мыслей, sorry, не люблю заниматься мазохизмом,
вытягивать информацию...

На заметку, LSI3008 зарекомендовал себя хуже чем LSI2008, и при высоких IOPS
ведет себя неадекватно...

ниже из собственных сохраненных записулек, один в один, когда делал анализ для себя:

Существует определенный набор рекомендаций для LSI3008:

firmware depends
cpu depends
disk depends
... (что здесь не помню, нужно весь свой файл прочитать с разными проблемами и отзывами, ну
и решениями и issues и почему я оставил троеточие вместо конкретики)
backplane
cabling

большинство удачных опытов использования LSI3008 при использовании SAS, есть
проблемы с negotiation (договор о скорости) при работе с SATA

Все это из списков рассылки FreeBSD, FreeNAS, с serverhome и lime.

AleZ
рядовой
Сообщения: 44
Зарегистрирован: 2017-03-23 17:24:07

Скорость работы UFS

Непрочитанное сообщение AleZ » 2017-03-24 20:06:42

м.п. в понедельник смогу назвать точно.

по mpr наверно это забыл дописать

Код: Выделить всё

mpr0: <Avago Technologies (LSI) SAS3008> port 0xe000-0xe0ff mem 0xdf740000-0xdf74ffff,0xdf700000-0xdf73ffff irq 17 at device 0.0 on pci2
mpr0: IOCFacts  :
mpr0: Firmware: 12.00.02.00, Driver: 13.01.00.00-fbsd
mpr0: IOCCapabilities: 6985c<ScsiTaskFull,DiagTrace,SnapBuf,EEDP,TransRetry,IR,MSIXIndex>
и забыл добавить что по скорости sata мне тоже непонятно, по отдельности диски в том же sas контроллере но не собранные в raid показывают 600Mb/s, а в raid только 150

guest
проходил мимо

Скорость работы UFS

Непрочитанное сообщение guest » 2017-03-24 22:10:29

AleZ писал(а):м.п. в понедельник смогу назвать точно.
ok

еще интересует следующее, это готовый сервер на базе SYS-модель или Вам ее собирали:
- шасси Supermicro
- backplane (если есть - какая модель?)
- motherboard
?
отсюда:
- разъемы на материнке под SAS/SATA, какой кабель и длина?
по mpr наверно это забыл дописать

Код: Выделить всё

mpr0: <Avago Technologies (LSI) SAS3008> port 0xe000-0xe0ff mem 0xdf740000-0xdf74ffff,0xdf700000-0xdf73ffff irq 17 at device 0.0 on pci2
mpr0: IOCFacts  :
mpr0: Firmware: 12.00.02.00, Driver: 13.01.00.00-fbsd
mpr0: IOCCapabilities: 6985c<ScsiTaskFull,DiagTrace,SnapBuf,EEDP,TransRetry,IR,MSIXIndex>
и забыл добавить что по скорости sata мне тоже непонятно, по отдельности диски в том же sas контроллере но не собранные в raid показывают 600Mb/s, а в raid только 150
и мне, тем болле что в логе было не только 150, но и 300... для разных дисков, они у Вас точно
все одинаковые и все на LSI или системный da0 на Intel'е сидит?
Вероятно, имеет смысл смотреть и крутить настройки LSI, плохо что интегрированный, но
это личное предубеждение.
Посему, camcontrol devlist было бы интересно и identify по всем дискам.

Еще, модель материнки, сколько CPU и какие?

Есть возможно заменить mpr драйвер на mrsas, в man'е есть что прописать в loader.conf, но что-то
мне кажется, это вряд ли изменит ситуацию, но кто знает? И да, он вроде свежее.

Собственно, RAID0 ни разу не надежный и делать его на базе HW-RAID и дорого и не рационально,
ну и в смысле управления...
Всегда предпочитал а-ля RAID0 стругать софтверно: gstripe или graid, напрямую с HBA и управляемость
из системы и логи... Потом ушел на ZFS.

ps. firmware 12'ое вроде ничего, но уже есть свежее... Я обычно качал firmware прямо с LSI, потом
с avago, теперь это broadcom... и прошивал все свои, правда интегрированные - на свой страх и риск,
но пока все успешно. И да, поддержка Supermicro - очень дружественная, мне всегда шли навстречу,
а в последний раз даже сваяли более свежее firmware для старой addon карты InfiniBand, объяснил
проблему и какая версия firmware должна быть, полный успех.

pps. От HW-RAID уже давно отказался, заказываю либо HBA, либо те что могут IR или IT mode,
перешиваю в IT под ZFS. (реально крутые HW-RAID не перешиваются в HBA и они не интегрированные)

AleZ
рядовой
Сообщения: 44
Зарегистрирован: 2017-03-23 17:24:07

Скорость работы UFS

Непрочитанное сообщение AleZ » 2017-03-27 9:55:13

Supermicro SYS-5029S-C
м.п. X11SSL-CF
пришел с дисками Toshiba 6х1TB, позже заменили на 6х6TB WD.
CPU 1, Xeon E3-1230 v5 3.40GHz
backplane есть, но не могу нигде найти модель. Маркировку на кабеле тоже не могу сказать, не посчитал нужным такое записать, а сейчас сервер далеко и заглянуть в него проблематично. Но по фотографии какая-то фирменная бирка на кабеле есть.

все диски на SAS, 1-6 позиции 6TB в raid, в 8 позиции мелкий WD 160GB под систему

camcontrol devlist

Код: Выделить всё

<LSI Logical Volume 3000>          at scbus0 target 0 lun 0 (pass0,da0)
<ATA WDC WD1600AAJS-0 3E03>        at scbus0 target 9 lun 0 (pass1,da1)
<AHCI SGPIO Enclosure 1.00 0001>   at scbus7 target 0 lun 0 (ses0,pass2)
camcontrol identify da0

Код: Выделить всё

camcontrol: ATA ATAPI_IDENTIFY via pass_16 failed
camcontrol identify da1 (тут система)

Код: Выделить всё

pass1: <WDC WD1600AAJS-08L7A0 03.03E03> ATA8-ACS SATA 2.x device
pass1: 300.000MB/s transfers, Command Queueing Enabled

protocol              ATA/ATAPI-8 SATA 2.x
device model          WDC WD1600AAJS-08L7A0
firmware revision     03.03E03
serial number         WD-WMAV3J888006
WWN                   50014ee0ad51ab2f
cylinders             16383
heads                 16
sectors/track         63
sector size           logical 512, physical 512, offset 0
LBA supported         268435455 sectors
LBA48 supported       312581808 sectors
PIO supported         PIO4
DMA supported         WDMA2 UDMA5

Feature                      Support  Enabled   Value           Vendor
read ahead                     yes      yes
write cache                    yes      yes
flush cache                    yes      yes
overlap                        no
Tagged Command Queuing (TCQ)   no       no
Native Command Queuing (NCQ)   yes              32 tags
NCQ Queue Management           no
NCQ Streaming                  no
Receive & Send FPDMA Queued    no
SMART                          yes      yes
microcode download             yes      yes
security                       yes      no
power management               yes      yes
advanced power management      no       no
automatic acoustic management  yes      yes     128/0x80        128/0x80
media status notification      no       no
power-up in Standby            yes      no
write-read-verify              no       no
unload                         no       no
general purpose logging        yes      yes
free-fall                      no       no
Data Set Management (DSM/TRIM) no
Host Protected Area (HPA)      yes      no      312581808/312581808
HPA - Security                 no
undefined писал(а): Собственно, RAID0 ни разу не надежный и делать его на базе HW-RAID и дорого и не рационально,
ну и в смысле управления...
надежность какая? если целость данных после сбоя, то это совсем не важно, данные восстановятся максимум за 5 суток, важна только скорость чтения/записи.
undefined писал(а): Всегда предпочитал а-ля RAID0 стругать софтверно: gstripe или graid, напрямую с HBA и управляемость
из системы и логи... Потом ушел на ZFS.
Осталось это вариант попробовать, по отдельности без рейда диски показывали в dmesg 600Mb/s. Я собирал их в zfs, но не разобрался с настройкой, raidz сильно тормозил при записи, не стал разбираться и вернул на аппаратный рейд. Теперь думаю попробовать graid если с аппаратным рейдом ничего не получится.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Скорость работы UFS

Непрочитанное сообщение Neus » 2017-03-27 10:34:40

stripe size на raid0 ?
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

guest
проходил мимо

Скорость работы UFS

Непрочитанное сообщение guest » 2017-03-27 11:36:50

AleZ писал(а):Supermicro SYS-5029S-C
м.п. X11SSL-CF
пришел с дисками Toshiba 6х1TB, позже заменили на 6х6TB WD.
CPU 1, Xeon E3-1230 v5 3.40GHz
backplane есть, но не могу нигде найти модель. Маркировку на кабеле тоже не могу сказать, не посчитал нужным такое записать, а сейчас сервер далеко и заглянуть в него проблематично. Но по фотографии какая-то фирменная бирка на кабеле есть.
такой SYS-5029S-C на оффициальных сайтах нет, судя по всему эта модель для России и Украины,
посему, найти информацию о Backplane мне не удалось.
все диски на SAS, 1-6 позиции 6TB в raid, в 8 позиции мелкий WD 160GB под систему

camcontrol devlist

Код: Выделить всё

<LSI Logical Volume 3000>          at scbus0 target 0 lun 0 (pass0,da0)
<ATA WDC WD1600AAJS-0 3E03>        at scbus0 target 9 lun 0 (pass1,da1)
<AHCI SGPIO Enclosure 1.00 0001>   at scbus7 target 0 lun 0 (ses0,pass2)
camcontrol identify da0

Код: Выделить всё

camcontrol: ATA ATAPI_IDENTIFY via pass_16 failed
ну это и понятно, массив
camcontrol identify da1 (тут система)

Код: Выделить всё

pass1: <WDC WD1600AAJS-08L7A0 03.03E03> ATA8-ACS SATA 2.x device
pass1: 300.000MB/s transfers, Command Queueing Enabled
ok

Теперь начинаем размышлять:
- кабель SATA скорей всего от Supermicro, будем считать надежный, хотя не факт
- от LSI скорей всего идет mini-SAS на Backplane, скорей всего тут тоже нет проблем

Можно предположить что возможна проблема с Backplane:
- имеем SAS3 интегрированный контроллер LSI SAS3008 (неполноценный, ибо RAID 0/1/10)
- подключение "корзины" шасси через Backplane

Известно, что у LSI3008 есть проблемы при использовании Backplane с SAS2 Expander'ом, таймауты,
проблемы работы с SATA2/3... Что-то мне кажется, backplane у Вас с SAS2 Expander'ом.

Данные по Backplane найдете на supermicro.nl , на каждую backplane есть описание и как определить
модель, это вскрывать корпус.

Теперь про RAID0:
- если делать через GEOM, graid быстрей чем gstripe, но выкладки по алгоритмам и выборе
размера stripe - нужно пробовать, у меня есть в писульках, но нет времени на поиск, sorry,
давно не использовал
- если делать на ZFS, для вашей материнки RAM=64GB - это приемлемый вариант для ZFS
+ L2ARC, но если хотите приемлемые результаты, лучше купить 2xSSD, скажем Intel DC 6310 на 100GB
и на них организовать ZIL ~ 8-10GB и L2ARC (размер последнего зависит от объема ZFS), сам
ARC нужно будет ограничить чтобы не сожрал RAM.

ZFS конфигурить без dedup, возможно без snapshots и возможно без compression, последнее не
факт и зависит от данных, если CPU ничем особенно не занят - другими задачами, то компрессия - копейки,
заполнение ZFS не должно превышать 70%.

И да, разумеется для graid/gstripe/zfs - перешивать LSI3008 в IT-прошивку чтобы работал
как HBA, а не как RAID контроллер!

Вот такие рекомендации, увы, на ходу - не получится, тюнинг vfs - нужно убрать.

AleZ
рядовой
Сообщения: 44
Зарегистрирован: 2017-03-23 17:24:07

Скорость работы UFS

Непрочитанное сообщение AleZ » 2017-03-27 12:04:12

Спасибо большое.
undefined писал(а): подключение "корзины" шасси через Backplane
Если поломаю рейд, включу диски по отдельности и скорость удаления возрастет - это значит с backplane все нормально?
undefined писал(а): если делать на ZFS, для вашей материнки RAM=64GB - это приемлемый вариант для ZFS
Ну значит graid буду пробовать.
undefined писал(а): И да, разумеется для graid/gstripe/zfs - перешивать LSI3008 в IT-прошивку чтобы работал
как HBA, а не как RAID контроллер!
Это без вариантов? даже если диски по отдельности буду использовать все равно будут проблемы в режиме IR?
undefined писал(а): тюнинг vfs - нужно убрать.
уточню, sysctl.conf

Код: Выделить всё

vfs.hirunningspace=13762560
vfs.read_max=64
vfs.maxmallocbufspace=2748318515
vfs.maxbufspace=1999994880
это все убрать, оставить дефолт?

Отправлено спустя 9 минут 37 секунд:
Neus писал(а): stripe size на raid0 ?
по документации The supported stripe size is 64 KB.

guest
проходил мимо

Скорость работы UFS

Непрочитанное сообщение guest » 2017-03-27 14:02:30

AleZ писал(а):Спасибо большое.
undefined писал(а): подключение "корзины" шасси через Backplane
Если поломаю рейд, включу диски по отдельности и скорость удаления возрастет - это значит с backplane все нормально?
не факт.

Вы имеете:
- интегрированный LSI3008 контроллер <- mini-sas коннектор -> backplane <-> hdd
- LSI3008 - НЕ ПОЛНОФУНКЦИОНАЛЬНЫЙ, ибо поддерживает RAID0/1/10

диски напрямую к контроллеру, минуя backplane Вы подключить не можете, точнее можете,
но там ограниченное кол-во SATA, часть из них Intel ICH, часть LSI если память не изменяет (mother guide)
Те, сколько разъемов, столько дисков сможете подключить, в отличии от:
LSI3008 <-> Backplane с Expander'ом. За счет Expander'а на backplane, Вы подключаете X'дисков,
expander'ы бывают разные: на 24, на 36, SATA, SAS2, SAS3...

В настоящий момент у Вас LSI3008 в режиме RAID (прошивка IR), чтобы перевести в HBA, нужно
прошить IT firmware. (тогда диски будут без всяких рейд конфигураций).

В режиме HBA, все диски будут видны по отдельности, в camcontrol, и далее можете
на выбор: gstripe или graid, или ZFS.
undefined писал(а): тюнинг vfs - нужно убрать.
уточню, sysctl.conf

Код: Выделить всё

vfs.hirunningspace=13762560
vfs.read_max=64
vfs.maxmallocbufspace=2748318515
vfs.maxbufspace=1999994880
это все убрать, оставить дефолт?
весь
Neus писал(а): stripe size на raid0 ?
по документации The supported stripe size is 64 KB.
размер страйпа может влиять на производительность. обычно, за одно обращение - с диска считывается
64k, но не факт, страйп в 64K или 128K - вероятно оптимальный, но это надо пробовать, погонять тесты.

И еще раз, скорость записи, на обычной локальной FS - оптимизировать нельзя, а вот чтение - можно,
- это zil и l2arc в случае zfs
- это размер страйпа и алгоритмы в gstripe/graid + gcache

Если у Вас есть самый обычный PC с SATA2 и SATA3 - проведите эксперимент с FreeBSD - удаление
файлов разного размера и время через time, затем заполните на 50% FS и снова тест, затем
поиграйтесь с gstripe и graid и с аналогичными тестами.

ps. Неудачная у Вас модель Supermicro. Обычный PC вышел бы дешевле, установив в него 3'и двух-портовых
контроллера SATA3 на ASMedia:

PCI-Ex1 SATA 6Gb based on ASM1061 / 2xSATA internal:
- Espada < FG-EST10A-1-CT01 >
или
- STLab A-480
в пределах 1000-1500 рублей...

В этом случае и gstripe и graid и zfs стали бы работать быстрей, ибо 3'и HBA контроллера.

pps. Я люблю Supermicro за конструктор который они позволяют, а Вам видимо навязали модель
реселлеры :(

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35454
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Скорость работы UFS

Непрочитанное сообщение Alex Keda » 2017-03-27 21:40:47

Там как я понял одновременно делается рестарт всем 165-и записям, софт видит что записанных файлов не хватает, поэтому ничего не удаляет, вроде как-то порешалось, наблюдаю пока
Я правильно понял, что пишется параллельно в 165 потоков?!
Убить софтописателей....

Удаляется, поди, также....
Убей их всех! Бог потом рассортирует...