forum.lissyara.su

Добавлено: **2018-07-24 10:35:09**

Всем привет!
Прошу помочь разобраться со следующей проблемой:
FreeBSD устанавливаю на диск, всё работает нормально, после установки загружается.
Добавляю ещё несколько дисков в сервер, система начинает загружаться, но загрузка останавливается с приглашением mountroot>
Выбор всех возможных вариантов, которые можно посмотреть,если ввести mountroot>? не помогает.
Диск во время установки системы был единственный и определялся как da0, после добавления дополнительных дисков стал определяться как da6.
Можно переставить систему, но что если позже потребуется добавить ещё дисков-проблема вернётся.
Вычитали, что в таких случаях в fstab указывается монтирование по UUID, в нашем случае - ZFS и в fstab прописан только swap.
На форуме есть подобный вопрос, специалисты советовали использовать метки. Посмотрел командой glabel list, раздел freebsd-boot имеет метку gpt/gptboot0, видимо, поэтому система начинает загружаться.
Если всё правильно понял, то нужно присвоить метку разделу freebs-zfs. И в пуле, должна фигурировать указанная метка, а не имя раздела
Пробовал так:

Код: Выделить всё

 glabel label rootfs /dev/da6p3
	glabel: Can't store metadata on /dev/da6p3: Operation not permitted.

Добавлено: **2018-07-24 11:58:50**

- Дохтур, у мине ЭТА...
- Что эта?

Для того чтобы понять в чем у Вас проблема, нужны данные (а не то что у Вас "на ум пошло"):

# camcontrol devlist
# gpart show
# sysctl kern.geom.label.disk_ident.enable
# sysctl kern.geom.label.gpt.enable
# sysctl kern.geom.label.gptid.enable
...
https://www.freebsd.org/doc/handbook/geom-glabel.html

man glabel - даст ответ, практически на все, обратить внимание на:
- временные метки (manual)
- постоянные или автоматические

коротко:
GEOM (на уровне GEOM)
---------------------
diskid - создаются автоматически на базе ID диска - посему ссылаются на целый диск
gpt - создаются вручную при разметке GPT через gpart, соответственно лейблы для партиций
gptid - создаются автоматически для партиций GPT, если диск размечен GPT, каждая GPT партиция
имеет свой уникальный GUID
glabel - назначается любому диску или партици вручную, командой glabel

UFS (на уровне UFS)
---
ufs label - создаются вручную: newfs/tunefs
ufs uuid - генерятся автоматически, если созданы UFS и выставлена переменная ядра.

Соль в том, что в отличие от Solaris, во FreeBSD нет привязки именования дисковых устройств
к контроллеру и LUN, отсюда - различные варианты лейблов, выбирать Вам.

А использование лейблов, на основе личной практики.

ps. Можно было бы воспользоваться поиском, не один раз расписано.

Добавлено: **2018-07-24 13:33:27**

guest писал(а): ↑
2018-07-24 11:58:50
- Дохтур, у мине ЭТА...
- Что эта?

Для того чтобы понять в чем у Вас проблема, нужны данные (а не то что у Вас "на ум пошло"):

# camcontrol devlist
# gpart show
# sysctl kern.geom.label.disk_ident.enable
# sysctl kern.geom.label.gpt.enable
# sysctl kern.geom.label.gptid.e

# camcontrol devlist
<HP DL18xG6BP 2.20> at scbus0 target 16 lun 0 (pass0,ses0)
<ATA WDC WD10EZEX-08W 1A01> at scbus0 target 19 lun 0 (pass1,da0)
<AHCI SGPIO Enclosure 1.00 0001> at scbus7 target 0 lun 0 (pass2,ses1)

# gpart show
=> 40 1953525088 da0 GPT (932G)
40 1024 1 freebsd-boot (512K)
1064 984 - free - (492K)
2048 4194304 2 freebsd-swap (2.0G)
4196352 1949327360 3 freebsd-zfs (930G)
1953523712 1416 - free - (708K)

# sysctl kern.geom.label.disk_ident.enable
kern.geom.label.disk_ident.enable: 0

# sysctl kern.geom.label.gpt.enable
kern.geom.label.gpt.enable: 1

# sysctl kern.geom.label.gptid.enable
kern.geom.label.gptid.enable: 0

guest писал(а): ↑
2018-07-24 11:58:50
https://www.freebsd.org/doc/handbook/geom-glabel.html

man glabel - даст ответ, практически на все, обратить внимание на:
- временные метки (manual)
- постоянные или автоматические

Указанный раздел из handbook читали, не получилось так же присвоить метку, т.к. на целевой системе файловая система zfs

Код: Выделить всё

glabel label rootfs /dev/da0p3

не позволяет записать метку даже если загружаться в однопользовательском режиме. Если загрузиться с флешки,присвоить метку разделу указанным способом, далее импортировать пул

Код: Выделить всё

zpool import -d /dev/label/ zroot

Пул импортируется и команда zpool list -v показывает вместо имени устройства метку DISK/<многоцифр>, перезагружаемся с жд:

Код: Выделить всё

zpool list -v

показывает имя устройства, но не метку

Добавлено: **2018-07-24 14:07:14**

Удалось изменить запись в пуле с имени диска на метку.

Код: Выделить всё

 zpool list -v
NAME         SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
zroot        928G   326M   928G         -     0%     0%  1.00x  ONLINE  -
  gpt/zfs0   928G   326M   928G         -     0%     0%

Картина загрузки не поменялась

Добавлено: **2018-07-24 15:06:45**

покажите:
# ls -la /boot/loader.conf*
# cat /boot/loader.conf*

Добавлено: **2018-07-24 15:47:37**

Код: Выделить всё

 ls -la /boot/loader.conf*
-rw-r--r--  1 root  wheel  113 Jul 24 15:42 /boot/loader.conf

cat /boot/loader.conf*
kern.geom.label.disk_ident.enable="0"
kern.geom.label.gptid.enable="0"
vfs.zfs.min_auto_ashift=12
zfs_load="YES"

Добавлено: **2018-07-24 16:36:43**

при нормальной загрузке с одним диском

# gpart show -l
и
# zpool history

затем подключите еще один или два диска, но только не WD10EZEX-08W - чтобы можно
было отличить и когда вывалится в
mountroot>

mountroot> lsdev
mountroot> zfs:zroot

вывод сюда

Добавлено: **2018-07-24 16:41:26**

да, при загрузке с одним диском:

# cat /etc/fstab
# glabel list

а в
mountroot> ? (можно еще набрать вопросительный знак и <enter> - вывод сюда)

Добавлено: **2018-07-24 16:58:05**

Код: Выделить всё

 # gpart show
=>        40  1953525088  da0  GPT  (932G)
          40        1024    1  freebsd-boot  (512K)
        1064         984       - free -  (492K)
        2048     4194304    2  freebsd-swap  (2.0G)
     4196352  1949327360    3  freebsd-zfs  (930G)
  1953523712        1416       - free -  (708K)

Код: Выделить всё

zpool history
History for 'zroot':
2018-07-24.15:41:16 zpool create -o altroot=/mnt -O compress=lz4 -O atime=off -m                                                                                         none -f zroot da0p3
2018-07-24.15:41:16 zfs create -o mountpoint=none zroot/ROOT
2018-07-24.15:41:16 zfs create -o mountpoint=/ zroot/ROOT/default
2018-07-24.15:41:17 zfs create -o mountpoint=/tmp -o exec=on -o setuid=off zroot                                                                                        /tmp
2018-07-24.15:41:17 zfs create -o mountpoint=/usr -o canmount=off zroot/usr
2018-07-24.15:41:17 zfs create zroot/usr/home
2018-07-24.15:41:17 zfs create -o setuid=off zroot/usr/ports
2018-07-24.15:41:17 zfs create zroot/usr/src
2018-07-24.15:41:17 zfs create -o mountpoint=/var -o canmount=off zroot/var
2018-07-24.15:41:18 zfs create -o exec=off -o setuid=off zroot/var/audit
2018-07-24.15:41:18 zfs create -o exec=off -o setuid=off zroot/var/crash
2018-07-24.15:41:18 zfs create -o exec=off -o setuid=off zroot/var/log
2018-07-24.15:41:18 zfs create -o atime=on zroot/var/mail
2018-07-24.15:41:18 zfs create -o setuid=off zroot/var/tmp
2018-07-24.15:41:18 zfs set mountpoint=/zroot zroot
2018-07-24.15:41:19 zpool set bootfs=zroot/ROOT/default zroot
2018-07-24.15:41:19 zpool set cachefile=/mnt/boot/zfs/zpool.cache zroot
2018-07-24.15:41:22 zfs set canmount=noauto zroot/ROOT/default

Код: Выделить всё

 cat /etc/fstab
# Device                Mountpoint      FStype  Options         Dump    Pass#
/dev/da0p2              none    swap    sw              0       0

Код: Выделить всё

glabel list
Geom name: da0p1
Providers:
1. Name: gpt/gptboot0
   Mediasize: 524288 (512K)
   Sectorsize: 512
   Stripesize: 4096
   Stripeoffset: 0
   Mode: r0w0e0
   secoffset: 0
   offset: 0
   seclength: 1024
   length: 524288
   index: 0
Consumers:
1. Name: da0p1
   Mediasize: 524288 (512K)
   Sectorsize: 512
   Stripesize: 4096
   Stripeoffset: 0
   Mode: r0w0e0

систему переустанавливал, т.к. намудрил с опциями загрузчика, попытки вернуть всё долго не удавались

Добавлено: **2018-07-24 22:05:59**

я просил вывод:
# gpart show -l
(минус эль)

# uname -a
# cat /var/run/dmesg.boot

делали freebsd-update или сборку ядра?

Я бы попробовал так, взял бы обычный PC с SATA контроллером на 2-4 порта,
подключил бы этот диск в SATA Port 2 :
- проверил бы загрузку

затем в SATA Port 0 или Port 1 - подключил бы еще один диск и проверил
бы снова загрузку, те: пустой диск в SATA Port 0, диск с FreeBSD в SATA Port 2.

Затем поменял бы местами и снова проверил.
Очень помогло бы навести на мысли.

ps. Ну и не забывать в BIOS выставлять загрузку с диска FreeBSD

Добавлено: **2018-07-25 9:27:40**

guest писал(а): ↑
2018-07-24 22:05:59
я просил вывод:
# gpart show -l
(минус эль)

Код: Выделить всё

# gpart show -l
=>        40  1953525088  da0  GPT  (932G)
          40        1024    1  gptboot0  (512K)
        1064         984       - free -  (492K)
        2048     4194304    2  swap0  (2.0G)
     4196352  1949327360    3  zfs0  (930G)
  1953523712        1416       - free -  (708K)

Код: Выделить всё

uname -a
FreeBSD test3 11.1-RELEASE FreeBSD 11.1-RELEASE #0 r321309: Fri Jul 21 02:08:28 UTC 2017     root@releng2.nyi.freebsd.org:/usr/obj/usr/src/sys/GENERIC  amd64

Код: Выделить всё

# cat /var/run/dmesg.boot
Copyright (c) 1992-2017 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 11.1-RELEASE #0 r321309: Fri Jul 21 02:08:28 UTC 2017
    root@releng2.nyi.freebsd.org:/usr/obj/usr/src/sys/GENERIC amd64
FreeBSD clang version 4.0.0 (tags/RELEASE_400/final 297347) (based on LLVM 4.0.0)
VT(vga): resolution 640x480
CPU: Intel(R) Xeon(R) CPU           X5650  @ 2.67GHz (2666.82-MHz K8-class CPU)
  Origin="GenuineIntel"  Id=0x206c2  Family=0x6  Model=0x2c  Stepping=2
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x29ee3ff<SSE3,PCLMULQDQ,DTES64,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,PCID,DCA,SSE4.1,SSE4.2,POPCNT,AESNI>
  AMD Features=0x2c100800<SYSCALL,NX,Page1GB,RDTSCP,LM>
  AMD Features2=0x1<LAHF>
  VT-x: PAT,HLT,MTF,PAUSE,EPT,UG,VPID
  TSC: P-state invariant, performance statistics
real memory  = 34359738368 (32768 MB)
avail memory = 33293602816 (31751 MB)
Event timer "LAPIC" quality 600
ACPI APIC Table: <HP     ProLiant>
FreeBSD/SMP: Multiprocessor System Detected: 12 CPUs
FreeBSD/SMP: 2 package(s) x 6 core(s)
random: unblocking device.
ACPI BIOS Warning (bug): 32/64X length mismatch in FADT/Gpe0Block: 128/64 (20170303/tbfadt-748)
ioapic0: Changing APIC ID to 1
ioapic1: Changing APIC ID to 3
ioapic0 <Version 2.0> irqs 0-23 on motherboard
ioapic1 <Version 2.0> irqs 24-47 on motherboard
SMP: AP CPU #2 Launched!
SMP: AP CPU #8 Launched!
SMP: AP CPU #11 Launched!
SMP: AP CPU #4 Launched!
SMP: AP CPU #5 Launched!
SMP: AP CPU #3 Launched!
SMP: AP CPU #9 Launched!
SMP: AP CPU #1 Launched!
SMP: AP CPU #7 Launched!
SMP: AP CPU #6 Launched!
SMP: AP CPU #10 Launched!
Timecounter "TSC-low" frequency 1333410830 Hz quality 1000
random: entropy device external interface
kbd1 at kbdmux0
netmap: loaded module
module_register_init: MOD_LOAD (vesa, 0xffffffff80f5b220, 0) error 19
nexus0
vtvga0: <VT VGA driver> on motherboard
cryptosoft0: <software crypto> on motherboard
acpi0: <HP ProLiant> on motherboard
acpi0: Power Button (fixed)
cpu0: <ACPI CPU> on acpi0
cpu1: <ACPI CPU> on acpi0
cpu2: <ACPI CPU> on acpi0
cpu3: <ACPI CPU> on acpi0
cpu4: <ACPI CPU> on acpi0
cpu5: <ACPI CPU> on acpi0
cpu6: <ACPI CPU> on acpi0
cpu7: <ACPI CPU> on acpi0
cpu8: <ACPI CPU> on acpi0
cpu9: <ACPI CPU> on acpi0
cpu10: <ACPI CPU> on acpi0
cpu11: <ACPI CPU> on acpi0
attimer0: <AT timer> port 0x40-0x43 irq 0 on acpi0
Timecounter "i8254" frequency 1193182 Hz quality 0
Event timer "i8254" frequency 1193182 Hz quality 100
atrtc0: <AT realtime clock> port 0x70-0x71 irq 8 on acpi0
Event timer "RTC" frequency 32768 Hz quality 0
hpet0: <High Precision Event Timer> iomem 0xfed00000-0xfed003ff on acpi0
Timecounter "HPET" frequency 14318180 Hz quality 950
Event timer "HPET" frequency 14318180 Hz quality 350
Event timer "HPET1" frequency 14318180 Hz quality 340
Event timer "HPET2" frequency 14318180 Hz quality 340
Event timer "HPET3" frequency 14318180 Hz quality 340
Timecounter "ACPI-fast" frequency 3579545 Hz quality 900
acpi_timer0: <24-bit timer at 3.579545MHz> port 0x808-0x80b on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
pcib1: <ACPI PCI-PCI bridge> at device 1.0 on pci0
pci1: <ACPI PCI bus> on pcib1
igb0: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> port 0xe880-0xe89f mem 0xfbe60000-0xfbe7ffff,0xfbe40000-0xfbe5ffff,0xfbeb8000-0xfbebbfff irq 28 at device 0.0 on pci1
igb0: Using MSIX interrupts with 9 vectors
igb0: Ethernet address: 44:1e:a1:53:a1:aa
igb0: Bound queue 0 to cpu 0
igb0: Bound queue 1 to cpu 1
igb0: Bound queue 2 to cpu 2
igb0: Bound queue 3 to cpu 3
igb0: Bound queue 4 to cpu 4
igb0: Bound queue 5 to cpu 5
igb0: Bound queue 6 to cpu 6
igb0: Bound queue 7 to cpu 7
igb0: netmap queues/slots: TX 8/1024, RX 8/1024
igb1: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> port 0xec00-0xec1f mem 0xfbee0000-0xfbefffff,0xfbec0000-0xfbedffff,0xfbebc000-0xfbebffff irq 40 at device 0.1 on pci1
igb1: Using MSIX interrupts with 9 vectors
igb1: Ethernet address: 44:1e:a1:53:a1:ab
igb1: Bound queue 0 to cpu 8
igb1: Bound queue 1 to cpu 9
igb1: Bound queue 2 to cpu 10
igb1: Bound queue 3 to cpu 11
igb1: Bound queue 4 to cpu 0
igb1: Bound queue 5 to cpu 1
igb1: Bound queue 6 to cpu 2
igb1: Bound queue 7 to cpu 3
igb1: netmap queues/slots: TX 8/1024, RX 8/1024
pcib2: <ACPI PCI-PCI bridge> at device 3.0 on pci0
pci2: <ACPI PCI bus> on pcib2
pcib3: <ACPI PCI-PCI bridge> at device 7.0 on pci0
pci3: <ACPI PCI bus> on pcib3
mps0: <Avago Technologies (LSI) SAS2004> port 0xd000-0xd0ff mem 0xfbdfc000-0xfbdfffff,0xfbd80000-0xfbdbffff irq 30 at device 0.0 on pci3
mps0: Firmware: 20.00.06.00, Driver: 21.02.00.00-fbsd
mps0: IOCCapabilities: 185c<ScsiTaskFull,DiagTrace,SnapBuf,EEDP,TransRetry,IR>
pcib4: <ACPI PCI-PCI bridge> at device 9.0 on pci0
pci4: <ACPI PCI bus> on pcib4
pci0: <base peripheral, interrupt controller> at device 20.0 (no driver attached)
pci0: <base peripheral, interrupt controller> at device 20.1 (no driver attached)
pci0: <base peripheral, interrupt controller> at device 20.2 (no driver attached)
uhci0: <Intel 82801JI (ICH10) USB controller USB-D> port 0xb800-0xb81f irq 16 at device 26.0 on pci0
uhci0: LegSup = 0x2400
usbus0 on uhci0
usbus0: 12Mbps Full Speed USB v1.0
ehci0: <Intel 82801JI (ICH10) USB 2.0 controller USB-B> mem 0xfaff8000-0xfaff83ff irq 18 at device 26.7 on pci0
usbus1: EHCI version 1.0
usbus1 on ehci0
usbus1: 480Mbps High Speed USB v2.0
pcib5: <ACPI PCI-PCI bridge> irq 16 at device 28.0 on pci0
pcib5: [GIANT-LOCKED]
pcib6: <ACPI PCI-PCI bridge> irq 16 at device 28.4 on pci0
pcib6: [GIANT-LOCKED]
pci5: <ACPI PCI bus> on pcib6
vgapci0: <VGA-compatible display> mem 0xf8000000-0xf8ffffff,0xfbcfc000-0xfbcfffff,0xfb000000-0xfb7fffff irq 16 at device 0.0 on pci5
vgapci0: Boot video device
uhci1: <Intel 82801JI (ICH10) USB controller USB-A> port 0xb880-0xb89f irq 23 at device 29.0 on pci0
uhci1: LegSup = 0x2400
usbus2 on uhci1
usbus2: 12Mbps Full Speed USB v1.0
uhci2: <Intel 82801JI (ICH10) USB controller USB-B> port 0xbc00-0xbc1f irq 19 at device 29.1 on pci0
uhci2: LegSup = 0x2400
usbus3 on uhci2
usbus3: 12Mbps Full Speed USB v1.0
uhci3: <Intel 82801JI (ICH10) USB controller USB-C> port 0xc000-0xc01f irq 18 at device 29.2 on pci0
uhci3: LegSup = 0x2400
usbus4 on uhci3
usbus4: 12Mbps Full Speed USB v1.0
ehci1: <Intel 82801JI (ICH10) USB 2.0 controller USB-A> mem 0xfaffa000-0xfaffa3ff irq 23 at device 29.7 on pci0
usbus5: EHCI version 1.0
usbus5 on ehci1
usbus5: 480Mbps High Speed USB v2.0
pcib7: <ACPI PCI-PCI bridge> at device 30.0 on pci0
pci6: <ACPI PCI bus> on pcib7
isab0: <PCI-ISA bridge> at device 31.0 on pci0
isa0: <ISA bus> on isab0
ahci0: <Intel ICH10 AHCI SATA controller> port 0xc880-0xc887,0xc800-0xc803,0xc480-0xc487,0xc400-0xc403,0xc080-0xc09f mem 0xfaffc000-0xfaffc7ff irq 19 at device 31.2 on pci0
ahci0: AHCI v1.20 with 6 3Gbps ports, Port Multiplier not supported
ahcich0: <AHCI channel> at channel 0 on ahci0
ahcich1: <AHCI channel> at channel 1 on ahci0
ahcich2: <AHCI channel> at channel 2 on ahci0
ahcich3: <AHCI channel> at channel 3 on ahci0
ahcich4: <AHCI channel> at channel 4 on ahci0
ahcich5: <AHCI channel> at channel 5 on ahci0
ahciem0: <AHCI enclosure management bridge> on ahci0
acpi_button0: <Power Button> on acpi0
uart0: <16550 or compatible> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
qpi0: <QPI system bus> on motherboard
pcib8: <QPI Host-PCI bridge> pcibus 255 on qpi0
pci7: <PCI bus> on pcib8
pcib9: <QPI Host-PCI bridge> pcibus 254 on qpi0
pci8: <PCI bus> on pcib9
orm0: <ISA Option ROMs> at iomem 0xc0000-0xc7fff,0xc8000-0xc8fff,0xc9000-0xc9fff on isa0
atkbdc0: <Keyboard controller (i8042)> at port 0x60,0x64 on isa0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
ppc0: cannot reserve I/O port range
est0: <Enhanced SpeedStep Frequency Control> on cpu0
est1: <Enhanced SpeedStep Frequency Control> on cpu1
est2: <Enhanced SpeedStep Frequency Control> on cpu2
est3: <Enhanced SpeedStep Frequency Control> on cpu3
est4: <Enhanced SpeedStep Frequency Control> on cpu4
est5: <Enhanced SpeedStep Frequency Control> on cpu5
est6: <Enhanced SpeedStep Frequency Control> on cpu6
est7: <Enhanced SpeedStep Frequency Control> on cpu7
est8: <Enhanced SpeedStep Frequency Control> on cpu8
est9: <Enhanced SpeedStep Frequency Control> on cpu9
est10: <Enhanced SpeedStep Frequency Control> on cpu10
est11: <Enhanced SpeedStep Frequency Control> on cpu11
ZFS filesystem version: 5
ZFS storage pool version: features support (5000)
Timecounters tick every 1.000 msec
nvme cam probe device init
ugen2.1: <Intel UHCI root HUB> at usbus2
ugen3.1: <Intel UHCI root HUB> at usbus3
ugen1.1: <Intel EHCI root HUB> at usbus1
ugen0.1: <Intel UHCI root HUB> at usbus0
ugen5.1: <Intel EHCI root HUB> at usbus5
ugen4.1: <Intel UHCI root HUB> at usbus4
uhub0: <Intel UHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus2
uhub1: <Intel UHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus3
uhub2: <Intel EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus5
uhub3: <Intel EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus1
uhub4: <Intel UHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus0
uhub5: <Intel UHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus4
uhub0: 2 ports with 2 removable, self powered
uhub1: 2 ports with 2 removable, self powered
uhub4: 2 ports with 2 removable, self powered
uhub5: 2 ports with 2 removable, self powered
uhub3: 2 ports with 2 removable, self powered
mps0: SAS Address for SATA device = dd616263ebc4a398
mps0: SAS Address from SATA device = dd616263ebc4a398
uhub2: 6 ports with 6 removable, self powered
ugen3.2: <Logitech USB Keyboard> at usbus3
ukbd0 on uhub1
ukbd0: <USB Keyboard> on usbus3
kbd2 at ukbd0
(probe1:mps0:0:16:0): REPORT LUNS. CDB: a0 00 00 00 00 00 00 00 00 10 00 00
(probe1:mps0:0:16:0): CAM status: SCSI Status Error
(probe1:mps0:0:16:0): SCSI status: Check Condition
(probe1:mps0:0:16:0): SCSI sense: UNIT ATTENTION asc:29,0 (Power on, reset, or bus device reset occurred)
(probe1:mps0:0:16:0): Retrying command (per sense data)
ses0 at mps0 bus 0 scbus0 target 16 lun 0
ses0: <HP DL18xG6BP 2.20> Fixed Enclosure Services SPC-3 SCSI device
ses0: 300.000MB/s transfers
ses0: SCSI-3 ENC Device
ses1 at ahciem0 bus 0 scbus7 target 0 lun 0
ses1: <AHCI SGPIO Enclosure 1.00 0001> SEMB S-E-S 2.00 device
ses1: SEMB SES Device
da0 at mps0 bus 0 scbus0 target 19 lun 0
da0: <ATA WDC WD10EZEX-08W 1A01> Fixed Direct Access SPC-4 SCSI device
da0: Serial Number WD-WCC6Y5TNJN6Y
da0: 300.000MB/s transfers
da0: Command Queueing enabled
da0: 953869MB (1953525168 512 byte sectors)
ses0: da0,pass1: SAS Device Slot Element: 2 Phys at Slot 1, Not All Phys
ses0:  phy 0: SATA device
ses0:  phy 0: parent 50014380170e9380 addr 50014380170e9381
ses0:  phy 1: SAS device type 0 id 0
ses0:  phy 1: protocols: Initiator( None ) Target( None )
ses0:  phy 1: parent 0 addr 0
Trying to mount root from zfs:zroot/ROOT/default []...
igb1: link state changed to UP
uhid0 on uhub1
uhid0: <USB Keyboard> on usbus3

guest писал(а): ↑
2018-07-24 22:05:59
делали freebsd-update или сборку ядра?

Не делали. Система была установлена с usb флешки на 1 диск, далее стали добавлять диски, менять местами. Других манипуляций не проводили.

guest писал(а): ↑
2018-07-24 22:05:59
Я бы попробовал так, взял бы обычный PC с SATA контроллером на 2-4 порта,
подключил бы этот диск в SATA Port 2 :
- проверил бы загрузку

затем в SATA Port 0 или Port 1 - подключил бы еще один диск и проверил
бы снова загрузку, те: пустой диск в SATA Port 0, диск с FreeBSD в SATA Port 2.

Затем поменял бы местами и снова проверил.
Очень помогло бы навести на мысли.

]

Результаты эксперимента:
1) При подулючении единственного диска с FreeBSD в любой из портов SATA система успешно загружается
2) Добавляем диск (пустой) по схеме: cначала SATA Port 1 : FreeBSD, SATA Port 2: новый диск: в результате система не загружается с таким же результатом: mountroot> и снова предложенные варианты (которые можено посмотреть,если ввести ?) не приводят к продолжению загрузки
3) Меняем местами SATA кабели получаем результат из п. 2)
4) В отличие от подключения через контролллер, когда имя устройства всегда имело номер последнего диска, в зависимости от их количества, при подключении через SATA порты, номер устройства сохранялся(ada0), добавленные устройства были со следующеим номером(ada1,ada2...) согласно номера SATA порта,однако система так же переставала загружаться

Добавлено: **2018-07-25 11:09:30**

Система была установлена на диск 1 TБ, остальные диски 3TБ. Системный диск в таком случае менял свой номер в /dev на последний. Попробовали установить систему на такой же диск 3 ТБ, как и все остальные. Система успешно загружается, номер диска в /dev всегда одинаковый вне зависимости от того в какой слот включен системный диск.
В итоге система должна стоять на диске 1 ТБ, 3ТБ диски для хранилища (mirror zfs).

Добавлено: **2018-07-25 11:43:51**

Вставили пачку дисков, так чтобы сразу установить систему на диск, который будет последним в списке /dev. Поставили систему на диск 1ТБ. Во время установки и при перезагрузке его номер не менялся (/dev/da6) Система не загрузилась с той же ошибкой. Итого, получается система не загружается с этого диска всякий раз, когда он не один подключен к контроллеру.

Добавлено: **2018-07-25 12:25:14**

Неутешительный результат.

1. Лейблы на загрузку с ZFS root pool влиять не должны, ну за исключением ядерной переменной:
kern.geom.label.gpt.enable=1
остальные должны быть = "0"

А вот при загрузке с UFS, лейблы помогают, независимо от нумерации дисков

Вопрос, то что Вы написали про попытки загрузки с разных SATA Port-номер -
Вы делали только на HP-сервере или пробовали на другом PC?

Контроллер LSI? В BIOS что?

Идем дальше:
1. Выполнить нижнее с одним диском FreeBSD
2. Выполнить нижнее с двумя дисками: пустой и FreeBSD (вариант когда диск FreeBSD первый и когда второй по нумерации)

При загрузке выдается Boot Menu:

1. Boot Multi User [Enter]
2. Boot Single User
3. Escape to loader prompt
4. Reboot

Options:
5. Kernel: default/kernel (1 of 2)
6. Configure Boot Options
7. Select Boot Environment

что будет показано если нажать:
"6" (Configure Boot Options) ? - запишите и в студию (затем вернитесь в Boot Menu)
"7" (Select Boot Environment) ? - запишите и в студию (затем вернитесь в Boot Menu)

И далее из Boot Menu:
"3" (Escape to loader prompt)
OK lsdev
что покажет?
OK ls
что покажет?
OK lszfs
что покажет?

Добавлено: **2018-07-25 12:34:06**

Система была установлена на диск 1 TБ, остальные диски 3TБ. Системный диск в таком случае менял свой номер в /dev на последний. Попробовали установить систему на такой же диск 3 ТБ, как и все остальные. Система успешно загружается, номер диска в /dev всегда одинаковый вне зависимости от того в какой слот включен системный диск.
В итоге система должна стоять на диске 1 ТБ, 3ТБ диски для хранилища (mirror zfs)

Бррр - номер диска всегда одинаковый??? Независимо от того в какой трей вставлен?!

При установке на 3TB WD - проблем нет?! Я правильно понял?

Добавлено: **2018-07-25 12:50:32**

guest писал(а): ↑
2018-07-25 12:34:06
Бррр - номер диска всегда одинаковый??? Независимо от того в какой трей вставлен?!

Всё так. Переткнул диск из 1-го в 11-й слот, остальные на своих местах остались, система загрузилась и системный диск по-прежнему /dev/da0.

guest писал(а): ↑
2018-07-25 12:34:06
При установке на 3TB WD - проблем нет?! Я правильно понял?

Да. Всё работает замечательно,когда в слотах все диски по 3ТБ. Диски можно добавлять/убавлять.

Добавлено: **2018-07-25 13:02:09**

guest писал(а): ↑
2018-07-25 12:25:14
Вопрос, то что Вы написали про попытки загрузки с разных SATA Port-номер -
Вы делали только на HP-сервере или пробовали на другом PC?

На другом ПК (не сервер,пользовательский ПК)

guest писал(а): ↑
2018-07-25 12:25:14
Контроллер LSI? В BIOS что?

Контроллер LSI 2911-4i
В его BIOS никаких настроек не делали, просто подключили-убедились,что диски определяются в системе без создания RAID-массива.

guest писал(а): ↑
2018-07-25 12:25:14
Идем дальше:
1. Выполнить нижнее с одним диском FreeBSD
2. Выполнить нижнее с двумя дисками: пустой и FreeBSD (вариант когда диск FreeBSD первый и когда второй по нумерации)

При загрузке выдается Boot Menu:

1. Boot Multi User [Enter]
2. Boot Single User
3. Escape to loader prompt
4. Reboot

Options:
5. Kernel: default/kernel (1 of 2)
6. Configure Boot Options
7. Select Boot Environment

что будет показано если нажать:
"6" (Configure Boot Options) ? - запишите и в студию (затем вернитесь в Boot Menu)
"7" (Select Boot Environment) ? - запишите и в студию (затем вернитесь в Boot Menu)

И далее из Boot Menu:
"3" (Escape to loader prompt)
OK lsdev
что покажет?
OK ls
что покажет?
OK lszfs
что покажет?

Опыты можно проводить на той же машине(пользовательский ПК)?

Добавлено: **2018-07-25 14:28:35**

Опыты можно проводить на той же машине(пользовательский ПК)?

да

теперь уточним:
- Вы на HP сервере bootable-freebsd-hdd вставляли только в Tray'и, а в SATA порты на материнке - нет?

идем дальше, на текущий момент можно сделать такие выводы:
- есть проблемы с gptzfsboot (вопрос - почему с другими дисками нет проблем)
- есть проблемы с WD Blue - тут может быть что угодно: firmware, spin-up (apm), idle timeout...

Однако, стоило бы попробовать с разными дисками:
- Seagate
- WD RE
- HGST
и выяснить, данная проблема наблюдается только с конкретной моделью WD Blue и только на конкретной модели HP
или на разных десктопных PC?

И после выяснения, Вам стоило бы написать bugreport в FreeBSD со всеми данными:
- сервер модель
- настройки BIOS
- контроллер
- модель диска
- dmesg
- zpool list -v
- zpool status
- gpart show | gpart show -l
- cat /boot/loader.conf*
- camcontrol devlist
...

И заполнить case на WD с описанием проблемы:
https://support.wdc.com/support/case.aspx
если у Вас диск Retail - попросить более свежую прошивку, спросить как изменить timeout для TLER, отключить APM

Что такое TLER/CCTL/ERC?
https://en.wikipedia.org/wiki/Error_recovery_control

TLER (Time-Limited Error Recovery
CCTL (Command Completion Time Limit)
ERC (Error Recovery Control)

У разных производителей, разные названия:
WD - TLER
Samsung, Hitachi - CCTL
Seagate - ERC

Как изменить TLER без фирменных утилит производителей, на вменяемых дисках:

# camcontrol devlist | grep ada
<ST1000DM003-1ER162 CC45> at scbus0 target 0 lun 0 (pass0,ada0)
<ST31000340NS SN06> at scbus1 target 0 lun 0 (pass1,ada1)
<ST3500514NS SN11> at scbus4 target 1 lun 0 (pass3,ada2)
# smartctl -l scterc /dev/ada2
smartctl 6.6 2017-11-05 r4594 [FreeBSD 11.2-RELEASE amd64] (local build)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, www.smartmontools.org

SCT Error Recovery Control:
Read: 100 (10.0 seconds)
Write: 100 (10.0 seconds)

# smartctl -l scterc,70,70 /dev/ada2
smartctl 6.6 2017-11-05 r4594 [FreeBSD 11.2-RELEASE amd64] (local build)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, www.smartmontools.org

SCT Error Recovery Control set to:
Read: 70 (7.0 seconds)
Write: 70 (7.0 seconds)

# smartctl -l scterc /dev/ada0
smartctl 6.6 2017-11-05 r4594 [FreeBSD 11.2-RELEASE amd64] (local build)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, www.smartmontools.org

SCT Error Recovery Control command not supported

#

Выше видно что десктопный Seagate (ada0) не дает изменить таймауты ERC, а Enterprise (NS) - позволяет.

Большинство HW и программных RAID, и ZFS - ориентируются на таймаут не больше 10 сек, некоторые, когда 3ware
- 30 сек, далее RAID сообщает о проблемах с диском, переводит RAID в Degrade режим и требует замены диска.

Проблему для RAID и ZFS могут составлять:
- APM
- TLER/CCTL/ERC

а для ZIL -> включение WRITE CACHE на HDD.

Верхнее, это лишь часть подводных камней, остаются еще проблемы:
- SATA cable (с SAS пока не сталкивался)
- длина SATA cable (с SAS пока не сталкивался)
- недостаточная мощность БП ( производители HW RAID контроллеров рекомендуют переходить с 3.5" HDD
на 2.5" HDD, последние существенно меньше потребляют мощности)
- в случае больших СХД по кол-ву дисков, менять firmware чтобы шпиндели асинхронно раскручивались

Если используете Backplane с SAS-Expander, желательно чтобы все диски работающие через Expander,
были одинаковые, лучше одной модели, лучше одной линейки, ну или одного ряда по скоростям.
Если контроллер SAS3, то крайне желательно Expander SAS3 или можно нарваться на грабли типа:
SAS2 Controller <-- >SAS3 Expander <--> SAS2 HDD ужасно договариваются с контроллером
по скоростям и жутко тормозят и невозможно работать в случае микста: SAS2 HDD + SAS3 HDD.
Желательно использовать либо только SATA HDD через Expander, либо только SAS HDD.

И снова напоминание:
- лейблы для загрузки, удобно использовать в случае UFS, позволяет избежать disk renumbering

На gptzfsboot это не влият. Но для ZFS - удобно использовать лейблы GPT, чтобы не работать с adaX/daY,
а метить диски как disk00, disk01 и тд или hdd00, hdd01 и тд.

Добавлено: **2018-07-25 14:32:18**

Да, чтобы уж до конца выяснить,
попробуйте на 1TB WDC установить последний snapshot Current:
ftp://ftp.freebsd.org/pub/FreeBSD/snaps ... -disc1.iso

Добавлено: **2018-07-25 14:33:24**

Пока проводил эксперимент (тот же,что и утром) на пользовательском ПК, заметил следующую "странность" система загрузилась при тех же условиях, что раньше не загружалась. Удалось выяснить,что из стопки нужно исключить один конкретный диск, хоть он и такой же как и другие (3ТБ) и система начинает загружаться со всей остальной стопкой дисков! В какой именно порт включен системный диск (1ТБ) не имеет значения. Загружается! Вставил все диски, кроме "того самого" в сервер и всё тоже загружается! Чудеса! Системный диск (1ТБ) можно так же перетыкать в любой слот, система загружается. Да, его номер всегда последний в /dev, но всё работает.
Диск,который исключил из стопки новый.

Добавлено: **2018-07-25 23:12:24**

Какие ж тут чудеса, битый диск каким-то образом сажает контроллер.

Осваивайте метод "разделяй и властвуй", sorry, но Вы им не владеете,
без обид, на эксперименты пошли только по советам, учитесь выделять
в проблеме части и отрабатывать их по отдельности:
- проверили "A" - исключили
- проверили "B" - исключили
и тд и тп.

Ну и все советы - запишите и сохраните куда-нибудь, уверяю,
в написанном, много полезного.

Проблема РЕШЕНА, виновник найден, обменивайте диск по гарантии или RMA.

И да, прочитайте еще раз про TLER/CCTL/ERC и сделайте вывод о том что
не стоит покупать Desktop'ные диски и всякие RED/BLACK со скоростью 5400 rpm.

Если хотите надежность - HGST Enterprise, ну или WD RE, за Seagate не
скажу, не пользую. HGST Enterprise - лучший выбор (это не реклама)

Добавлено: **2018-07-26 8:18:09**

guest писал(а): ↑
2018-07-25 23:12:24
Осваивайте метод "разделяй и властвуй", sorry, но Вы им не владеете,
без обид, на эксперименты пошли только по советам, учитесь выделять
в проблеме части и отрабатывать их по отдельности:
- проверили "A" - исключили
- проверили "B" - исключили
и тд и тп.

Ну и все советы - запишите и сохраните куда-нибудь, уверяю,
в написанном, много полезного.

Никаких обид, я новичёк в профессии. Советы помогли. Благодарю за участие.

Добавлено: **2018-07-26 10:27:39**

GiftWind писал(а): ↑
2018-07-26 8:18:09
Никаких обид, я новичёк в профессии. Советы помогли. Благодарю за участие.

Вы в следующий раз собирайте пул по меткам gpt, bsdinstall конечно хорош, но не всегда, кстати поизучайте лог, который он пишет... Чудес обычно не бывает...

Добавлено: **2018-07-26 15:05:21**

guest писал(а): ↑
2018-07-25 23:12:24
Проблема РЕШЕНА, виновник найден, обменивайте диск по гарантии или RMA

А вот кстати не факт... Бывает, что на диск виновник "что-то" прописалось и портит всю малину. Можно попытаться проверить диск с помощью MHDD. А потом занулить диск на весь физический объем. Пару раз такое помогало и с того момента живет исправно.

Добавлено: **2018-07-26 15:30:16**

Demis писал(а): ↑
2018-07-26 15:05:21
А вот кстати не факт... Бывает, что на диск виновник "что-то" прописалось и портит всю малину. Можно попытаться проверить диск с помощью MHDD. А потом занулить диск на весь физический объем. Пару раз такое помогало и с того момента живет исправно.

Я с недавних пор именно так и делаю...

forum.lissyara.su

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev

Изменение имени диска в /dev