Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-15 20:28:33

Neus писал(а): А надо ли, этож тоже кэш в памяти как и arc. и не просто так наверное отключён разрабами по дефолту
Тут разработчики поступили (как мне думается) в юниксвей стиле. Фича есть, но активируется ручками. И в принципе это разумно и понятно. Всякие там vdev, arc и l2arc есть "в коробке". Архитектура выстроена (как я понимаю) примерно так: есть пул, у него сразу есть кэш и он локальный (не в сетевом смысле в данном примере, а в смысле расположения на тех-же винчестерах, внутри пула). Основная его (кеша) задача это взять в себя метаданные и собственно данные (это тоже тюнится), плюс расчитать им чек суммы. Потом зося переносит их в общую зону из кеша. Все это "обложено" транзакциями. Заложена возможность "поиграть" кешем, т.е. сделать его не локальным относительно пула. Соответственно есть возможность тюнить эти самые девы и арки. Через тюн, админ может эту часть обработки вынести на другое устройство (более быстрое), например флешдрайв (можно в раму, можно в сетку по оптике, соль перец по вкусу...). Общая скорость обработки транзакций повышается. Для такого тюна они и дали параметры, чтобы можно было посчитать и выбрать что-то подходящее для себя, т.к. железо у всех слишком разношерстное, то нехай админ берет и расчитает, что ему нужно. Все вроде логично и стройно.
Neus писал(а): юзкейс своего массива подробнее
так вроде все уже описано ранее.
Neus писал(а): хочу смоделировать проблему
С этим сложнее, т.к. я сам не могу смоделировать ее причину. Есть факт: простые команды типа rm, chown, setfacl, т.е. которые меняют свойства на некоторых файлах/папках приводят к кернел-панике. При этом чтение этих параметров проходит нормально.

Отправлено спустя 7 минут 4 секунды:
Так. Есть новости.

Код: Выделить всё

время	окончание через (ч)	суток	месяцев
13:30	3612	150,5	5,016666667
14:30	5100	212,5	7,083333333
15:10	1261	52,54166667	1,751388889
16:11	73	3,041666667	0,101388889
16:32	46	1,916666667	0,063888889
16:49	37	1,541666667	0,051388889
17:38	32	1,333333333	0,044444444
17:57	33	1,375	0,045833333
18:57	38	1,583333333	0,052777778
За прошедший час вышли две ошибки

Код: Выделить всё

zdb_blkptr_cb: Got error 122 reading <9586, 8417926, 0, 0>  -- skipping
zdb_blkptr_cb: Got error 122 reading <9697, 8417983, 0, 0>  -- skipping
Но до окнчания еще далеко.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-16 0:25:28

Возникло непреодолимое желание прикрутить любимую систему к креслу, как здесь:
https://www.youtube.com/watch?feature=p ... 1D07dTILH0

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-16 0:30:10

Ну вот, начало вылазить..

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-16 10:28:58

Neus писал(а): начало вылазить
Ну да, похоже на то. Как пишет утилита, по состоянию на 10:28 еще примерно 13 часов до завершения.
Других ошибок пока не вылезло.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-16 13:02:04

там в ссылке же и написано что size берется из blkptr, а там нуль быть не должен.
но почему тогда zfs scrub ничего не нашла, а главное не было паники в процессе проверки.. она же эти контрольные суммы и проверяет
мистика...

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-16 14:44:20

Neus писал(а): она же эти контрольные суммы и проверяет
мистика...
Во-во... Прямо как в анекдоте "доктор, вот и я говорю, феномен, а жена говорит м.....н"

Отправлено спустя 55 минут 25 секунд:
Набрался я храбрости и стал писать еще в два места. Первое, это форум нашей любимой системы.
https://forums.freebsd.org/threads/kern ... 0-3.55123/
По ссылке, в общем пишут нечто подобное, что и здесь мы уже прошли.
Типа, посмотрите туда, посмотрите сюда и в таком духе...
Второе, это рассылка freebsd-fs (посоветовали там-же на форуме).
https://docs.freebsd.org/cgi/getmsg.cgi ... freebsd-fs
А вот по рассылке у меня возник вопрос (переписываюсь с Steven Hartland):

Код: Выделить всё

16.02.2016, 12:10, "Steven Hartland":
> I need the values of the vars specified, so you'll need to:
> print bp
> If it reports just an address try:
> print *bp
> etc.
Я делаю то, что он просит, а у меня получается (как мне кажется) фигня:

Код: Выделить всё

(kgdb) print bp
No symbol "bp" in current context.
(kgdb) print *bp
No symbol "bp" in current context.
Т.е. нет такой заразы. Я так думаю, что из-за того, что в выводе багтрейса есть такая строка:

Код: Выделить всё

Current language:  auto; currently minimal
(kgdb)
А точнее "currently minimal".
У меня в /etc/rc.conf этот момент описан так:

Код: Выделить всё

#dumpdev="YES"            # Device to crashdump to (device name, AUTO, or NO).
dumpdev="AUTO"          # Device to crashdump to (device name, AUTO, or NO).
dumpdir="/var/crash"    # Directory where crash dumps are to be stored
savecore_flags="-m 10"  # Used if dumpdev is enabled above, and present.
                        # By default, only the 10 most recent kernel dumps
                        # are saved.
crashinfo_enable="YES"  # Automatically generate crash dump summary.
crashinfo_program="/usr/sbin/crashinfo" # Script to generate crash dump
Т.е. так, как прописано в /etc/defaults/rc.conf
Если я прав, то как поменять этот "minimal"?

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-16 14:45:09

опция есть

Код: Выделить всё

[root@freenas] ~# sysctl -d vfs.zfs.recover
vfs.zfs.recover: Try to recover from otherwise-fatal errors.
не могу найти внятной инфы как ее юзать...

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-16 15:46:00

Neus писал(а): как ее юзать
Посмотри здесь. Это конечно не описание, но некие шаги...
http://lists.freebsd.org/pipermail/free ... 43131.html

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-16 18:13:17

Я делаю то, что он просит, а у меня получается (как мне кажется) фигня:
А может это надо делать не с дампом, а когда ядро в панике вываливается в отладчик?
Только этот режим надо включить, а то по дефолту авторебут происходит.

Отправлено спустя 12 минут 59 секунд:
Посмотри здесь. Это конечно не описание, но некие шаги...
Видел, полон Гугл таких примеров :)
Видимо так включается режим, позволяющий вытащить данные с пула, но не починить его, а название параметра то как бы намекает на починку.
Читал в какой-то статье, что в кодах солярки ещё со времён сана дофига двусмысленных параметров .
Как там процесс чекинга?

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-16 19:20:16

Neus писал(а): Как там процесс чекинга?
Пишет еще два часа 4 минуты до окончания...
Новых ошибок пока нет.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-16 20:35:00

Живёшь на работе или ssh? :)

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-16 21:59:37

Neus писал(а): Живёшь на работе или ssh?
И то, и то...

Отправлено спустя 38 минут 34 секунды:
Neus писал(а): Как там процесс чекинга?
Процесс завершился в 21:55. Итог работы zdb -cc -AAA hdd :

Код: Выделить всё

Traversing all blocks to verify checksums and verify nothing leaked ...

loading space map for vdev 0 of 1, metaslab 108 of 109 ...
 815G completed (  49MB/s) estimated time remaining: 37hr 00min 56sec        zdb_blkptr_cb: Got error 122 reading <9586, 8417926, 0, 0>  -- skipping
 815G completed (  49MB/s) estimated time remaining: 37hr 02min 59sec        zdb_blkptr_cb: Got error 122 reading <9697, 8417983, 0, 0>  -- skipping
7.14T completed (  66MB/s) estimated time remaining: 0hr 00min 00sec
Error counts:

        errno  count
          122  2
leaked space: vdev 0, offset 0xaf19dc51000, size 12288
leaked space: vdev 0, offset 0xaf19dc4b000, size 12288
leaked space: vdev 0, offset 0xaf19dc5d000, size 12288
leaked space: vdev 0, offset 0xaf19dc6f000, size 36864
leaked space: vdev 0, offset 0xaf19dc63000, size 12288
leaked space: vdev 0, offset 0xaf19dc57000, size 12288
leaked space: vdev 0, offset 0xaf19dc90000, size 12288
leaked space: vdev 0, offset 0xaf19dca2000, size 12288
leaked space: vdev 0, offset 0xaf19dc99000, size 12288
leaked space: vdev 0, offset 0xaf19dc81000, size 12288
leaked space: vdev 0, offset 0xaf19dcb4000, size 12288
leaked space: vdev 0, offset 0xaf19dcc3000, size 12288
leaked space: vdev 0, offset 0xaf19dcba000, size 12288
leaked space: vdev 0, offset 0xaf19dccf000, size 12288
leaked space: vdev 0, offset 0xaf19dcc9000, size 12288
leaked space: vdev 0, offset 0xaf19dcde000, size 12288
leaked space: vdev 0, offset 0xaf19dcf3000, size 12288
leaked space: vdev 0, offset 0xaf19dced000, size 12288
leaked space: vdev 0, offset 0xaf19dce7000, size 12288
leaked space: vdev 0, offset 0xaf19dcd5000, size 24576
leaked space: vdev 0, offset 0xaf19dcae000, size 12288
leaked space: vdev 0, offset 0xaf19dd08000, size 12288
leaked space: vdev 0, offset 0xaf19dd1a000, size 12288
leaked space: vdev 0, offset 0xaf19dd11000, size 24576
leaked space: vdev 0, offset 0xaf19dd32000, size 12288
leaked space: vdev 0, offset 0xaf19dd3e000, size 12288
leaked space: vdev 0, offset 0xaf19dd38000, size 12288
leaked space: vdev 0, offset 0xaf19dd20000, size 24576
leaked space: vdev 0, offset 0xaf19dd4d000, size 24576
leaked space: vdev 0, offset 0xaf19dd68000, size 12288
leaked space: vdev 0, offset 0xaf19dd5f000, size 24576
leaked space: vdev 0, offset 0xaf19dd77000, size 12288
leaked space: vdev 0, offset 0xaf19dd86000, size 12288
leaked space: vdev 0, offset 0xaf19dd80000, size 12288
leaked space: vdev 0, offset 0xaf19dd6e000, size 24576
leaked space: vdev 0, offset 0xaf19dd47000, size 12288
leaked space: vdev 0, offset 0xaf19dd92000, size 12288
leaked space: vdev 0, offset 0xaf19dda1000, size 12288
leaked space: vdev 0, offset 0xaf19dd9b000, size 12288
leaked space: vdev 0, offset 0xaf2e440b000, size 12288
leaked space: vdev 0, offset 0xaf2e441d000, size 12288
leaked space: vdev 0, offset 0xaf2e447d000, size 12288
leaked space: vdev 0, offset 0xaf2e4429000, size 24576
leaked space: vdev 0, offset 0xaf2e4411000, size 12288
leaked space: vdev 0, offset 0xaf19dda7000, size 12288
leaked space: vdev 0, offset 0xaf19dd8c000, size 12288
leaked space: vdev 0, offset 0xaf19dcff000, size 12288
leaked space: vdev 0, offset 0xd33cddfc000, size 12288
leaked space: vdev 0, offset 0xd33cddf6000, size 12288
leaked space: vdev 0, offset 0xd33cde0e000, size 12288
leaked space: vdev 0, offset 0xd33cde08000, size 12288
leaked space: vdev 0, offset 0xd33cde02000, size 12288
leaked space: vdev 0, offset 0xd33cde2c000, size 12288
leaked space: vdev 0, offset 0xd33cde5f000, size 12288
leaked space: vdev 0, offset 0xd33cde44000, size 12288
leaked space: vdev 0, offset 0xd33cde3b000, size 12288
leaked space: vdev 0, offset 0xd33cde1a000, size 36864
leaked space: vdev 0, offset 0xd33cde71000, size 12288
leaked space: vdev 0, offset 0xd33cde80000, size 12288
leaked space: vdev 0, offset 0xd33cde77000, size 12288
leaked space: vdev 0, offset 0xd33cde8c000, size 12288
leaked space: vdev 0, offset 0xd33cde86000, size 12288
leaked space: vdev 0, offset 0xd33cde9b000, size 12288
leaked space: vdev 0, offset 0xd33cdeaa000, size 12288
leaked space: vdev 0, offset 0xd33cdeb0000, size 12288
leaked space: vdev 0, offset 0xd33cdea4000, size 12288
leaked space: vdev 0, offset 0xd33cde92000, size 24576
leaked space: vdev 0, offset 0xd33cde6b000, size 12288
leaked space: vdev 0, offset 0xd33cded7000, size 12288
leaked space: vdev 0, offset 0xd33cdee9000, size 12288
leaked space: vdev 0, offset 0xd33cdee0000, size 24576
leaked space: vdev 0, offset 0xd33cdf01000, size 12288
leaked space: vdev 0, offset 0xd33cdf0d000, size 12288
leaked space: vdev 0, offset 0xd33cdf07000, size 12288
leaked space: vdev 0, offset 0xd33cdeef000, size 24576
leaked space: vdev 0, offset 0xd33cdf1c000, size 24576
leaked space: vdev 0, offset 0xd33cdf37000, size 12288
leaked space: vdev 0, offset 0xd33cdf2e000, size 24576
leaked space: vdev 0, offset 0xd33cdf16000, size 12288
leaked space: vdev 0, offset 0xd33cdf46000, size 12288
leaked space: vdev 0, offset 0xd33cdf55000, size 12288
leaked space: vdev 0, offset 0xd33cdf4f000, size 12288
leaked space: vdev 0, offset 0xd33cdf61000, size 12288
leaked space: vdev 0, offset 0xd33cdf6a000, size 24576
leaked space: vdev 0, offset 0xd33cdf5b000, size 12288
leaked space: vdev 0, offset 0xd3530d71000, size 12288
leaked space: vdev 0, offset 0xd3530d83000, size 12288
leaked space: vdev 0, offset 0xd3532043000, size 12288
leaked space: vdev 0, offset 0xd3530d8f000, size 24576
leaked space: vdev 0, offset 0xd3530d77000, size 12288
leaked space: vdev 0, offset 0xd33cdf76000, size 12288
leaked space: vdev 0, offset 0xd33cdf3d000, size 24576
leaked space: vdev 0, offset 0xd33cdece000, size 12288
block traversal size 7855262306304 != alloc 7855263682560 (leaked 1376256)

        bp count:        39832472
        ganged count:           0
        bp logical:    4631741891584      avg: 116280
        bp physical:   4595599106048      avg: 115373     compression:   1.01
        bp allocated:  7855262306304      avg: 197207     compression:   0.59
        bp deduped:             0    ref>1:      0   deduplication:   1.00
        SPA allocated: 7855263682560     used: 52.44%
        Dittoed blocks on same vdev: 3448060
И что теперь с полученной информацией делать?

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-16 23:11:28

Отослать Steven Hartland, заодно спросить почему zfs scrub говорит что все ок.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-17 18:31:15

Йес!!
Я таки что-то сломал в zfs :)
Во время записи кучи файлов одновременно на самба шару и iscsi lun , сделал reboot -qn
После ребута запустил zdb -ccAAA
На половине проверки полный фриз, на пинг отвечает, а все остальное сдохло...

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35454
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Alex Keda » 2016-02-17 21:58:55

эм... а что за гордость?
сдуру-то, можно и х..й сломать =)
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-17 22:48:00

Радость, а не гордость, я по натуре экспериментатор (говорила мне завуч - иди в науку, не послушал) :)
Пытаюсь смоделировать ситуацию по теме топика и понять что и как чинить.
потому как ситуевина странна выходит: scrub пула косяков не видит, а zdb нашёл.
Hard reset уже пробовал, на базе firebird, эффекта ноль:
zpool scrub сказал все в порядке, gfix -v -full аналогично.
--
А радость преждевременная оказалась, это swap pager систему повесил, swap на zvol, но на другом пуле. Эхх :(

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-17 23:19:55

Neus писал(а): и iscsi lun
Красота, а на луне не идет часом ресилвер? М.б. дождаться его окончания, а потом уже zdb?
У меня просто было похожее, правда конструкция другая. Суть была в чем - на контроллере прописан свой шедулер от производителя. Который раз в месяц запускает проверку диска. Причем даже если это не железный рейд, а просто jbod. И как-то у меня совпало, что делался чек zpool и эта "само" проверка. Торморза и заморозки жутке были. По ssh одна команда могла потратить час чтобы только начать выполняться. Пока разнюхал, что можно через mfiutil (в моем случае) просто остановить это ( mfiutil show patrol, mfiutil show progress,mfiutil stop patrol) столько тормозов наглотался... Причем пришлось потом и сервер перезапускать, т.к. скорость слишком медленно восстанавливалась...

Отправлено спустя 9 минут 36 секунд:
У меня вопрос такого порядка
Demis писал(а): No symbol "bp" in current context.
В Интернет вычитал, что мол такое из-за оптимизации "-O2" при сборке происходит. Я добавил в /etc/make.conf строки:
https://wiki.freebsd.org/DTrace/KernelSupport

Код: Выделить всё

STRIP=
CFLAGS+=-fno-omit-frame-pointer
Пересобрал ядро (не мир), но не фига не вышло. Как вырубить оптимизацию?

Отправлено спустя 11 минут 55 секунд:
И кстати, просто убедиться, что в /etc/login.conf

Код: Выделить всё

daemon:\
        :memorylocked=128M:\
        :tc=default:
memorylocked=128M есть и cap_mkdb был сделан.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-17 23:44:53

Так ресильвер автоматом запускается только при замене/добавлении диска в mirror , либо замене в raidzX, разве нет?
У меня LSI SAS HBA в IT mode.
Там direct access до диска, контроллер даже на дисках write cache отключает.
Вот аппарат мой для издевательств :) http://thecus.com/product.php?PROD_ID=85
На стаааром серваке стоял LSI scsi megaraid, там этот патруль по умолчанию был отключен.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-18 1:06:00

Neus писал(а): только при замене/добавлении диска в mirror
Все правильно. Но например в моем простеньком LSI2108, помимо этих стандартных функций есть еще шедулер и он управляется (в моем случае из биоса адаптера, как это делать из mfiutil пока не знаю). Его задача регулярно проверять поверхность дисков (как это ни странно звучит). Как на рейде, так и в jbod'e. Просто в jbod'e она упрощается (по описанию). Для меня, лично, было новостью, что контроллер помнит, что запустил шедулер. Т.е. выключаешь сервер, вырубаешь питание, потом включаешь, заходишь в биос (не адаптерский), ждешь примерно минуту, две, и видишь, что опять диски начали чекаться. Единственное чего я не понял, это чекает он каждый раз с начала или продолжает с некоего места. Описане потом нашлось и оригинальное (от производителя).
Neus писал(а): патруль по умолчанию был отключен
У меня наоборот по умолчанию включен. Равно как и BGI. Из-за которого я несколько лет назад очень сильно обжегся. Будь он не ладен.

Отправлено спустя 36 минут 47 секунд:
Demis писал(а): No symbol "bp" in current context.
Кажется нашел в чем собака порылась, с этим дампом. Все просто, sysctl -w debug.minidump=0 (ну и в /etc/sysctl.conf его), man dumpon:

Код: Выделить всё

DESCRIPTION
     The dumpon utility is used to specify a device where the kernel can save
     a crash dump in the case of a panic.

     Calls to dumpon normally occur from the system multi-user initialization
     file /etc/rc, controlled by the “dumpdev” variable in the boot time con‐
     figuration file /etc/rc.conf.

     The default type of kernel crash dump is the mini crash dump.  Mini crash
     dumps hold only memory pages in use by the kernel.  Alternatively, full
     memory dumps can be enabled by setting the debug.minidump sysctl(8) vari‐
     able to 0.

     For systems using full memory dumps, the size of the specified dump
     device must be at least the size of physical memory.  Even though an
     additional 64 kB header is added to the dump, the BIOS for a platform
     typically holds back some memory, so it is not usually necessary to size
     the dump device larger than the actual amount of RAM available in the
     machine.  Also, when using full memory dumps, the dumpon utility will
     refuse to enable a dump device which is smaller than the total amount of
     physical memory as reported by the hw.physmem sysctl(8) variable.
Завтра проверю. И не надо было с компиляцией ядра заморачиваться...

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-18 8:41:39

Demis писал(а): Все правильно. Но например в моем простеньком LSI2108, помимо этих стандартных функций есть еще шедулер и он управляется (в моем случае из биоса адаптера, как это делать из mfiutil пока не знаю). Его задача регулярно проверять поверхность дисков (как это ни странно звучит).
ага. в том старом мегарейде, он еще USCSI320, все это было, и патрол, и шедулер и управление кэшем на дисках, но все это хозяйство по-дефолту выключено.
LSI2108 это чип, и прошивка у тебя IR (для zfs кстати не катит, надо в IT перешивать).
на моем LSI2008 чип, прошивка IT, т.е. это тупой HBA, при включении корзины даже диски не опрашивает пока драйвер ОС его не дернет.
Demis писал(а): Mini crash dumps hold only memory pages in use by the kernel.
дык.. вроде как memory pages in use by the kernel и нужны.

Отправлено спустя 42 минуты 29 секунд:

Код: Выделить всё

scan: scrub in progress since Thu Feb 18 08:53:00 2016
        255G scanned out of 484G at 521M/s, 0h7m to go
        0 repaired, 52.54% done
нифигасе скорость!
живой зараза :)

Код: Выделить всё

scan: scrub repaired 0 in 0h20m with 0 errors on Thu Feb 18 09:13:11 2016
config:

        NAME                                            STATE     READ WRITE CKSUM
        test                                            ONLINE       0     0     0
          raidz1-0                                      ONLINE       0     0     0
            gptid/9f5e96e7-d186-11e5-a81d-0014fd17bcd1  ONLINE       0     0     0
            gptid/a19e72ed-d186-11e5-a81d-0014fd17bcd1  ONLINE       0     0     0
            gptid/a38a234a-d186-11e5-a81d-0014fd17bcd1  ONLINE       0     0     0
            gptid/a57a2b7c-d186-11e5-a81d-0014fd17bcd1  ONLINE       0     0     0

errors: No known data errors

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-18 12:01:04

Neus писал(а): вроде как memory pages in use by the kernel и нужны.
Так вот и проблема в том что из
Neus писал(а): Mini crash dumps
не вытащить значения переменных при краше. Пишет
Demis писал(а): No symbol "bp" in current context.
И великий "All" пишет, что надо делать не мини, а полный дамп. Типа тогда будет видно значения переменных. Не знаю, что значит, но вроде будет видно больше чем просто
Demis писал(а): #8 0xffffffff81c2d601 in arc_read (pio=0xfffff8000fad03b0, spa=0xfffff8000f63d000, bp=0xfffffe000e509980, done=0xffffffff81c3aed0 <dbuf_read_done>, private=0xfffff8000fdd6360,
priority=ZIO_PRIORITY_SYNC_READ, zio_flags=-2117882160, arc_flags=0xfffffe02925483c4, zb=0xfffff8000fdd6360)
at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/arc.c:4397
Точнее чем
Demis писал(а): bp=0xfffffe000e509980
Как-то так.

Отправлено спустя 4 минуты 32 секунды:
И еще, как может быть
Demis писал(а): zio_flags=-2117882160
флаг отрицательным?

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-18 15:23:41

Demis писал(а): И великий "All" пишет
понятно
Demis писал(а): флаг отрицательным?
signed int ?

Отправлено спустя 2 часа 24 минуты 26 секунд:

Код: Выделить всё

# dd bs=1m count=1k if=/dev/random of=bigfile.1
# md5 bigfile.1 
MD5 (bigfile.1) = 30624a8e2c03508443aeddd36e4a27e6
# cp bigfile.1 bigfile.2 ; reboot -qn
# md5 bigfile.1 bigfile.2
MD5 (bigfile.1) = 30624a8e2c03508443aeddd36e4a27e6
MD5 (bigfile.2) = 30624a8e2c03508443aeddd36e4a27e6
#
не ломаеца зараза...

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-18 17:05:15

Neus писал(а): не ломаеца зараза...
Не иначе как вспышки на солнце...
Demis писал(а): Все просто, sysctl -w debug.minidump=0 (ну и в /etc/sysctl.conf его), man dumpon
Про конф, это я пожалуй погорячился. лучше все-таки ручками поставить в нужный момент. Но вот, что мне непонятно я убрал
Demis писал(а): STRIP=
CFLAGS+=-fno-omit-frame-pointer
все причесал к исходному. Пересобрал, установил ядро. Минидамп делается исправно. А полный дамп отказывается загружаться, пишет

Код: Выделить всё

GNU gdb 6.1.1 [FreeBSD]
Copyright 2004 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB.  Type "show warranty" for details.
This GDB was configured as "amd64-marcel-freebsd"...
Cannot access memory at address 0xfffff8063fffffb8
(kgdb) q
Сама запись дампа "вроде" проходит нормально, минут 20 уходит на все про все. Правда пришлось перекрутить swap раздел на отдельный диск с 80Гб. Но как продвинуться дальше этого "Cannot access memory at address 0xfffff8063fffffb8" ума не приложу.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-20 14:21:45

В первом посте я писал:
Demis писал(а): 3. на папке немного странные права:
d---------+ 3 anna domain users 3 10 дек 10:32 01-Проект
d---------+ 2 anna domain users 2 8 фев 21:46 02-Текст
Но поменять их никак, setfacl на папку - кернел-паник, перезагрузка.
При более детальном изучении видно:

Код: Выделить всё

getfacl "/hdd/usr/wf/path/path/to/same/folder"
# file: /hdd/usr/wf/path/path/to/same/folder
# owner: anna
# group: domain users
       group:wheel:rwxpDdaARWc---:fd----:allow
group:domain admins:rwxpDdaARWcCo-:fd----:allow
При этом если посмотреть на папку выше, то там:

Код: Выделить всё

getfacl "/hdd/usr/wf/path/path/to/same"
# file: /hdd/usr/wf/path/path/to/same
# owner: root
# group: wheel
            owner@:rwxp--aARWcCos:------:allow
            group@:r-x---a-R-c--s:------:allow
         everyone@:r-x---a-R-c--s:------:allow
Доменные записи из вывода я повыкидывал, в них проблем нет.
Но, вот что интересно: папки которые дают сбой НЕ ИМЕЮТ собачных (и дефолтных) групп по умолчанию:

Код: Выделить всё

            owner@:rwxp--aARWcCos:------:allow
            group@:r-x---a-R-c--s:------:allow
         everyone@:r-x---a-R-c--s:------:allow
Куда подевался этот признак и существует-ли возможность его вернуть?

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-04-11 14:03:24

Наконец, в субботу, у меня сдвинулось все с мертвой точки.
Надо сказать - Не без помощи наших старших товарищей.
За что им отдельное спасибо (пока без имен).

Через некоторое время (но это может оказаться НЕ скоро, неделя, две, три) постараюсь описать, что делать в аналогичных моему случаях.
Просто надо завершить некоторые работы с пулом, собственно повторить некие моменты описанные ранее и выше.
А они делаются на моих объемах очень не быстро. Ну и потом все это описать нужно будет...
Не знаю будет-ли это впоследствии внесено в код (выясняется).