Йа переехал на zfs =)

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Йа переехал на zfs =)

Непрочитанное сообщение LMik » 2009-12-02 20:22:37

lissyara писал(а):переехал обратно на UFS =)
хочу целиком ZFS, а базу в MyISAM на него не покладёшь =(
Еппп, ну 2010 год на носу, а базы мы всё в старом говне держим, вот скажи зачем? м?
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
angelas_
сержант
Сообщения: 212
Зарегистрирован: 2009-08-26 13:04:09
Откуда: Oslo, Norway
Контактная информация:

Re: Йа переехал на zfs =)

Непрочитанное сообщение angelas_ » 2009-12-02 20:35:49

lissyara писал(а):прекрасно, как можно заметить.
у меня в хомяке и юзеры лежат и база.
сервак, кстати, отпустило
http://hosting.lissyara.su/cacti/graph_ ... &leaf_id=8
Это команду rm на рут партиции пропустили, что аж в 7 раз "отпустило"? :smile:
Тэстэд ин экстримс!

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Йа переехал на zfs =)

Непрочитанное сообщение Alex Keda » 2009-12-02 21:22:49

ночью - эт я дурак.
порты снёс, а из fstab их монтирование в клетки забыл убрать =))
а днём - не хотел отмонтироваться пул
отправил в ребут - пришлось просить саппорт чтоб ресет ткнули.
пингуется, но не ребутается =)
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Йа переехал на zfs =)

Непрочитанное сообщение Alex Keda » 2009-12-02 21:23:45

а то что по мелочи - это особенность snmpd - при большой он иногда не отдаёт вообще ничего.
Убей их всех! Бог потом рассортирует...

Larin
лейтенант
Сообщения: 975
Зарегистрирован: 2008-01-29 20:08:41
Откуда: РБ, Минск

Re: Йа переехал на zfs =)

Непрочитанное сообщение Larin » 2009-12-03 6:04:14

кстати, вопрос.
создал обычный пул. могу ли я добавив еще винтов сделать из этого пула raidz?

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Йа переехал на zfs =)

Непрочитанное сообщение Alex Keda » 2009-12-03 9:51:21

конечно.
тока инфу вначале сохрани куданить =))))
Убей их всех! Бог потом рассортирует...

Гость
проходил мимо

Re: Йа переехал на zfs =)

Непрочитанное сообщение Гость » 2009-12-03 19:51:44

Ребят, подскажите создал 2 пула, на одном система, другой - шары, при запуке фряха монтирует только первый. В мане ясно сказано - не требуется fstab. Решил проблему созданием /usr/local/etc/rc.d/zfs_force_mount.sh c zfs mount -a, после чего при ребуте всё ок. Но ведь не так ДОЛЖНО работать?

Код: Выделить всё

home.local# zpool list
NAME   SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
big    232G  31.1G   201G    13%  ONLINE  -
tank  74.5G  2.29G  72.2G     3%  ONLINE  -
home.local# zfs list
NAME             USED  AVAIL  REFER  MOUNTPOINT
big             31.1G   197G    18K  none
big/pub         31.1G   197G    24K  /pub
big/pub/adam    24.0M   197G  24.0M  /pub/adam
big/pub/alya    1.36G   197G  1.36G  /pub/alya
big/pub/dist    13.1G   197G  13.1G  /pub/dist
big/pub/iurii   5.90M   197G  5.90M  /pub/iurii
big/pub/media   16.7G   197G  16.7G  /pub/media
tank            4.28G  69.1G    19K  /tank
tank/rootfs      763M  3.26G   763M  /
tank/swap          2G  71.1G  2.17M  -
tank/test         18K  69.1G    18K  /tank/test
tank/tmp          23K  1024M    23K  /tmp
tank/usr        1.46G  69.1G   696M  /usr
tank/usr/ports   635M  69.1G   635M  /usr/ports
tank/usr/src     162M  69.1G   162M  /usr/src
tank/var        81.5M  3.92G  81.5M  /var

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Йа переехал на zfs =)

Непрочитанное сообщение Alex Keda » 2009-12-04 1:54:22

Код: Выделить всё

HP$ grep zfs /etc/defaults/rc.conf
zfs_enable="NO"         # Set to YES to automatically mount ZFS file systems
HP$
Убей их всех! Бог потом рассортирует...

Гость
проходил мимо

Re: Йа переехал на zfs =)

Непрочитанное сообщение Гость » 2009-12-04 17:25:07

lissyara писал(а):

Код: Выделить всё

HP$ grep zfs /etc/defaults/rc.conf
zfs_enable="NO"         # Set to YES to automatically mount ZFS file systems
HP$
У меня в rc.conf zfs_enable="YES", и всё равно не монтируется второй пул.

Код: Выделить всё

home.local# uname -a
FreeBSD home.local 8.0-RELEASE FreeBSD 8.0-RELEASE #0: Sat Nov 21 15:48:17 UTC 2009     
root@almeida.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC  i386
home.local# /etc/rc.d/zfs rcvar
# zfs
zfs_enable=YES

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Йа переехал на zfs =)

Непрочитанное сообщение Alex Keda » 2009-12-04 20:52:08

это странно.
попобуйте в fstab прописать...
я всё ранво туда прописываю - иначе net-snmp не может мониторить
Убей их всех! Бог потом рассортирует...

Vix
рядовой
Сообщения: 10
Зарегистрирован: 2009-11-29 22:26:17

Re: Йа переехал на zfs =)

Непрочитанное сообщение Vix » 2009-12-05 15:11:22

Гость писал(а):Ребят, подскажите создал 2 пула, на одном система, другой - шары, при запуке фряха монтирует только первый. В мане ясно сказано - не требуется fstab. Решил проблему созданием /usr/local/etc/rc.d/zfs_force_mount.sh c zfs mount -a, после чего при ребуте всё ок. Но ведь не так ДОЛЖНО работать?

Код: Выделить всё

home.local# zfs list
NAME             USED  AVAIL  REFER  MOUNTPOINT
big             31.1G   197G    18K  none
...
Нет точки монтирования)

Код: Выделить всё

tank            4.28G  69.1G    19K  /tank
tank/rootfs      763M  3.26G   763M  /
tank/swap          2G  71.1G  2.17M  -
И это у вас как то странно примонтировано, не знаю насколько это правильно... Но раз работает - пусть будет))

Аватара пользователя
sudosu
мл. сержант
Сообщения: 81
Зарегистрирован: 2008-05-27 12:17:32
Откуда: Что такое петровско-разумовская?

Re: Йа переехал на zfs =)

Непрочитанное сообщение sudosu » 2009-12-17 19:59:55

на amd64 уже давно кручу. Попробовал тут на i386 запустить и...

Код: Выделить всё

/FreeBSD/i386 boot
Default: zroot:/boot/kernel/kernel
boot:
/
Все, за сим все останавливается и ничего не происходит. При этом ошибок тоже не вываливается. На сколько я ничего не понимаю - она не может загрузить в память ядро.
Кто-нить сталкивался с таким? Кто-нить знает как это лечится?
Последний раз редактировалось sudosu 2009-12-21 16:17:50, всего редактировалось 2 раза.

Гость
проходил мимо

Re: Йа переехал на zfs =)

Непрочитанное сообщение Гость » 2009-12-18 7:11:50

sudosu писал(а):

Код: Выделить всё

FreeBSD/i386 boot
Default: zroot:/boot/kernel/kernel
boot:
/
ЕМНИП, gptzfsboot и zfsboot не умеют напрямую грузить ядро (возможно дело в компрессии). Попробуй сначала загрузить loader или zfsloader.

Аватара пользователя
sudosu
мл. сержант
Сообщения: 81
Зарегистрирован: 2008-05-27 12:17:32
Откуда: Что такое петровско-разумовская?

Re: Йа переехал на zfs =)

Непрочитанное сообщение sudosu » 2009-12-18 10:29:38

Гость писал(а): ...
ЕМНИП, gptzfsboot и zfsboot не умеют напрямую грузить ядро (возможно дело в компрессии). Попробуй сначала загрузить loader или zfsloader.
хм. У меня gpt-шные партиции, вот список:

Код: Выделить всё

80r-i386-dl# gpart list da0
Geom name: da0             
fwheads: 255               
fwsectors: 63              
last: 71651294             
first: 34
entries: 128
scheme: GPT
Providers:
1. Name: da0p1
   Mediasize: 65536 (64K)
   Sectorsize: 512
   Mode: r0w0e0
   rawtype: 83bd6b9d-7f41-11dc-be0b-001560b84f0f
   label: (null)
   length: 65536
   offset: 17408
   type: freebsd-boot
   index: 1
   end: 161
   start: 34
2. Name: da0p2
   Mediasize: 4294967296 (4.0G)
   Sectorsize: 512
   Mode: r1w1e1
   rawtype: 516e7cb5-6ecf-11d6-8ff8-00022d09712b
   label: swap0
   length: 4294967296
   offset: 82944
   type: freebsd-swap
   index: 2
   end: 8388769
   start: 162
3. Name: da0p3
   Mediasize: 32390412800 (30G)
   Sectorsize: 512
   Mode: r1w1e2
   rawtype: 516e7cba-6ecf-11d6-8ff8-00022d09712b
   label: disk0
   length: 32390412800
   offset: 4295050240
   type: freebsd-zfs
   index: 3
   end: 71651294
   start: 8388770
Consumers:
1. Name: da0
   Mediasize: 36685479936 (34G)
   Sectorsize: 512
   Mode: r2w2e5

80r-i386-dl#
Загрузчик в da0p1 помещал так:

Код: Выделить всё

80r-i386-dl# gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 da0
da0 has bootcode
80r-i386-dl#
Я что-то сделал не так? На amd64 этот загрузочный код ядро грузит...

Аватара пользователя
sudosu
мл. сержант
Сообщения: 81
Зарегистрирован: 2008-05-27 12:17:32
Откуда: Что такое петровско-разумовская?

Re: Йа переехал на zfs =)

Непрочитанное сообщение sudosu » 2009-12-18 11:04:47

вопрос решился очень странно:

Код: Выделить всё

80r-i386-dl# gpart bootcode -b /mnt/boot/pmbr -p /mnt/boot/gptzfsboot -i 1 da0
da0 has bootcode
80r-i386-dl#
в /mnt был смонтирован загрузочный диск. С винта записывал какой-то неработающий загрузчик, с ливЦД записал нормальный. Весьма странно, если учесть, что на винт этот загрузчик в итоге попал с того-же ливЦД...
Последний раз редактировалось sudosu 2009-12-18 11:17:30, всего редактировалось 1 раз.

Larin
лейтенант
Сообщения: 975
Зарегистрирован: 2008-01-29 20:08:41
Откуда: РБ, Минск

Re: Йа переехал на zfs =)

Непрочитанное сообщение Larin » 2009-12-18 11:13:48

тык, расскажите, что там с мусей?
вот и на хабре что-то писали, что у mysql и zfs траблы с кэшированием откуда падение производительности...

Аватара пользователя
sudosu
мл. сержант
Сообщения: 81
Зарегистрирован: 2008-05-27 12:17:32
Откуда: Что такое петровско-разумовская?

Re: Йа переехал на zfs =)

Непрочитанное сообщение sudosu » 2009-12-18 14:42:55

Собрал. На дисках, включенных в аппаратный райд - первый раз. Наблюдаю странное явление.

Код: Выделить всё

vjik# tail /var/log/messages
Dec 18 14:29:42 vjik kernel: (da0:mly0:1:0:0): SCSI Status: Check Condition
Dec 18 14:29:42 vjik kernel: (da0:mly0:1:0:0): ILLEGAL REQUEST asc:24,0
Dec 18 14:29:42 vjik kernel: (da0:mly0:1:0:0): Invalid field in CDB
Dec 18 14:29:42 vjik kernel: (da0:mly0:1:0:0): Unretryable error
Dec 18 14:29:42 vjik kernel: (da1:mly0:1:1:0): SYNCHRONIZE CACHE(10). CDB: 35 0 0 0 0 0 0 0 0 0
Dec 18 14:29:42 vjik kernel: (da1:mly0:1:1:0): CAM Status: SCSI Status Error
Dec 18 14:29:42 vjik kernel: (da1:mly0:1:1:0): SCSI Status: Check Condition
Dec 18 14:29:42 vjik kernel: (da1:mly0:1:1:0): ILLEGAL REQUEST asc:24,0
Dec 18 14:29:42 vjik kernel: (da1:mly0:1:1:0): Invalid field in CDB
Dec 18 14:29:42 vjik kernel: (da1:mly0:1:1:0): Unretryable error
vjik#
Тут всего 6 дисков, не собранных на контроллере ни в какие массивы, все массивы средствами zfs. Сыпят этот мусор они абсолютно все и абсолютно постоянно.

При этом сама zfs никаких проблем не испытывает:

Код: Выделить всё

vjik# zpool status
  pool: zroot
 state: ONLINE
 scrub: none requested
config:

        NAME           STATE     READ WRITE CKSUM
        zroot          ONLINE       0     0     0
          mirror       ONLINE       0     0     0
            gpt/disk0  ONLINE       0     0     0
            gpt/disk1  ONLINE       0     0     0

errors: No known data errors

  pool: zstorage
 state: ONLINE
 scrub: none requested
config:

        NAME           STATE     READ WRITE CKSUM
        zstorage       ONLINE       0     0     0
          raidz1       ONLINE       0     0     0
            gpt/disk2  ONLINE       0     0     0
            gpt/disk3  ONLINE       0     0     0
            gpt/disk4  ONLINE       0     0     0
            gpt/disk5  ONLINE       0     0     0

errors: No known data errors
vjik#
Сам рэйд и диски такие:

Код: Выделить всё

vjik# egrep "mly0|da[0-5]" /var/run/dmesg.boot 
mly0: <Mylex AcceleRAID 170> mem 0xfa000000-0xfbffffff irq 29 at device 10.0 on pci1
mly0: [GIANT-LOCKED]                                                                
mly0: [ITHREAD]                                                                     
mly0: AcceleRAID 170  , 1 channel, firmware 7.00-3-00 (20011219), 32MB RAM          
da0 at mly0 bus 1 target 0 lun 0                                                    
da0: <RAID 7 online > Fixed Direct Access SCSI-3 device                             
da0: 135.168MB/s transfers                                                          
da0: 34986MB (71651328 512 byte sectors: 255H 63S/T 4460C)                          
da1 at mly0 bus 1 target 1 lun 0                                                    
da1: <RAID 7 online > Fixed Direct Access SCSI-3 device                             
da1: 135.168MB/s transfers                                                          
da1: 34986MB (71651328 512 byte sectors: 255H 63S/T 4460C)                          
da2 at mly0 bus 1 target 2 lun 0                                                    
da2: <RAID 7 online > Fixed Direct Access SCSI-3 device                             
da2: 135.168MB/s transfers                                                          
da2: 69990MB (143339520 512 byte sectors: 255H 63S/T 8922C)                         
da3 at mly0 bus 1 target 3 lun 0                                                    
da3: <RAID 7 online > Fixed Direct Access SCSI-3 device                             
da3: 135.168MB/s transfers                                                          
da3: 69990MB (143339520 512 byte sectors: 255H 63S/T 8922C)                         
da4 at mly0 bus 1 target 4 lun 0                                                    
da4: <RAID 7 online > Fixed Direct Access SCSI-3 device                             
da4: 135.168MB/s transfers                                                          
da4: 69990MB (143339520 512 byte sectors: 255H 63S/T 8922C)                         
da5 at mly0 bus 1 target 5 lun 0                                                    
da5: <RAID 7 online > Fixed Direct Access SCSI-3 device                             
da5: 135.168MB/s transfers                                                          
da5: 69990MB (143339520 512 byte sectors: 255H 63S/T 8922C)
Создается впечатление, что либо контроллер умирает, либо я что-то не так делаю =\
Кто-нибудь сталкивался?

alexz
рядовой
Сообщения: 20
Зарегистрирован: 2009-11-20 15:06:27

Re: Йа переехал на zfs =)

Непрочитанное сообщение alexz » 2009-12-20 11:25:22

sudosu писал(а):Собрал. На дисках, включенных в аппаратный райд - первый раз. Наблюдаю странное явление.

Код: Выделить всё

vjik# tail /var/log/messages
Dec 18 14:29:42 vjik kernel: (da0:mly0:1:0:0): SCSI Status: Check Condition
Dec 18 14:29:42 vjik kernel: (da0:mly0:1:0:0): ILLEGAL REQUEST asc:24,0
Dec 18 14:29:42 vjik kernel: (da0:mly0:1:0:0): Invalid field in CDB
Dec 18 14:29:42 vjik kernel: (da0:mly0:1:0:0): Unretryable error
Dec 18 14:29:42 vjik kernel: (da1:mly0:1:1:0): SYNCHRONIZE CACHE(10). CDB: 35 0 0 0 0 0 0 0 0 0
Dec 18 14:29:42 vjik kernel: (da1:mly0:1:1:0): CAM Status: SCSI Status Error
Dec 18 14:29:42 vjik kernel: (da1:mly0:1:1:0): SCSI Status: Check Condition
Dec 18 14:29:42 vjik kernel: (da1:mly0:1:1:0): ILLEGAL REQUEST asc:24,0
Dec 18 14:29:42 vjik kernel: (da1:mly0:1:1:0): Invalid field in CDB
Dec 18 14:29:42 vjik kernel: (da1:mly0:1:1:0): Unretryable error
vjik#
Тут всего 6 дисков, не собранных на контроллере ни в какие массивы, все массивы средствами zfs. Сыпят этот мусор они абсолютно все и абсолютно постоянно.
Кто-нибудь сталкивался?
Очень интересно!
А поподробнее можно? После чего все началось?
Есть ли диски, подключенные к этому контроллеру и не входящие в пул ZFS?

Аватара пользователя
sudosu
мл. сержант
Сообщения: 81
Зарегистрирован: 2008-05-27 12:17:32
Откуда: Что такое петровско-разумовская?

Re: Йа переехал на zfs =)

Непрочитанное сообщение sudosu » 2009-12-20 21:39:40

alexz писал(а): Очень интересно!
А поподробнее можно? После чего все началось?
Есть ли диски, подключенные к этому контроллеру и не входящие в пул ZFS?
Невключенных в пул дисков нет.
Началось все вобщем-то сразу, как только я добавил диски в zfs-пулы. Много гуглил и нашел вот этот длиннющий тред.
Там чел упорно борется с нежеланием подобного контроллера адекватно работать с журналируемой ФС. Синдромы контроллера у него такие же как у меня. Ему рекомендуют вырубить нафиг кэш контроллера, потому что контроллер старый и его драйвер к такому поведению ФС не готов.
Я пока потестить не могу, потому что забыл включить в ядре apm и мне удаленно не погрузить сервер. Доберусь до него завтра, выключу кэш - отпишу.

Аватара пользователя
sudosu
мл. сержант
Сообщения: 81
Зарегистрирован: 2008-05-27 12:17:32
Откуда: Что такое петровско-разумовская?

Re: Йа переехал на zfs =)

Непрочитанное сообщение sudosu » 2009-12-21 15:39:35

Вобщем, все кончилось не очень хорошо.
Опции выключить кэш в утилите управления контроллером не оказалось. Однако 16% cpu time, которые отжирал syslog мне стало жалко. Поэтому я выпилил syslogd, поставил syslog-ng и написал этим событиям фильтр. Но полностью на этом приключения не кончились, потому что часть событий автор драйвера предпочел кидать не в лог, а на std err. А вот на это я уже забил, потому что патчить его драйвер всякий раз после обновления мне точно лень =)

kirill.adw
сержант
Сообщения: 217
Зарегистрирован: 2009-05-21 16:26:40

Re: Йа переехал на zfs =)

Непрочитанное сообщение kirill.adw » 2010-01-02 13:10:44

+1

pimlab
прапорщик
Сообщения: 483
Зарегистрирован: 2007-10-09 11:31:03

Re: Йа переехал на zfs =)

Непрочитанное сообщение pimlab » 2010-01-08 15:32:36

Может ктониить обьяснить, как лучше для freebsd8 amd64 4G ram

Код: Выделить всё

vfs.zfs.prefetch_disable=0 или 1
нигде так и не нашел, разумного обьяснения :(

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Йа переехал на zfs =)

Непрочитанное сообщение LMik » 2010-01-08 16:07:11

pimlab писал(а):Может ктониить обьяснить, как лучше для freebsd8 amd64 4G ram

Код: Выделить всё

vfs.zfs.prefetch_disable=0 или 1
нигде так и не нашел, разумного обьяснения :(
Причем тут разумное объяснение? Сами себе объясняйте, когда поймете что это и как работает.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

zgen
рядовой
Сообщения: 10
Зарегистрирован: 2011-01-23 10:19:56

Re: Йа переехал на zfs =)

Непрочитанное сообщение zgen » 2011-01-23 10:34:18

Господа, скажите пожалуйста, какие трудности возникают с эксплуатацией mysql/myisam на zfs?

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Йа переехал на zfs =)

Непрочитанное сообщение Alex Keda » 2011-01-23 18:42:06

тормозит
Убей их всех! Бог потом рассортирует...