FBFS ( FreeBSD BFS ) scheduler

[fidaj]

Приветствую сообщество!

Пришел сюда с просьбой к желающим и активным протестировать SUBJ.

Лично меня интересуют платформы amd64 и BETA1. Но буду рад любому результату тестирования...

Собственно говоря приведу ссылку на другой ресурс (да простят меня админы и модераторы - но, как говорится, ради общего дела)
http://www.bsdportal.ru/viewtopic.php?t=24660

Собственно говоря там в топике всё расписано... по ссылкам тоже желательно пробежаться, чтобы было понимание вопроса...

Спасибо!

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Mox]

крутняк! я попробую)

[iZEN]

Началось официальное портирование Linux BUG#12309?

[fidaj]

Началось официальное портирование Linux BUG#12309?

И тут напишу - НЕ Втему реплика! Совсем не в тему!

[Mox]

троллить на тему BUG#12309 стоило если бы это был планироващик ввода/вывода

[iZEN]

троллить на тему BUG#12309 стоило если бы это был планироващик ввода/вывода

Показатели Linux BUG#12309 налицо.

[fidaj]

троллить на тему BUG#12309 стоило если бы это был планироващик ввода/вывода

Показатели Linux BUG#12309 налицо.

http://www.bsdportal.ru/viewtopic.php?p=148545#148545

хочешь я попытаюсь договориться о твоем бане на двух форумах? по причине троллинга....

[Mox]

iZEN, очень прошу, правда, хватит.

[iZEN]

троллить на тему BUG#12309 стоило если бы это был планироващик ввода/вывода

Показатели Linux BUG#12309 налицо.

http://www.bsdportal.ru/viewtopic.php?p=148545#148545

хочешь я попытаюсь договориться о твоем бане на двух форумах? по причине троллинга....

Что, правда в лицо колет?

Линуксовые диверсанты такие линуксовые, что за версту понятно, что вместо улучшений в базовую систему они всеми правдами и неправдами пытаются пропихнуть своё линуксовое говно, опустить FreeBSD до уровня показателей GNU/Linux или ещё хуже, тем самым предотвратить прогресс в развитии чужеродной операционной системы.

[iZEN]

Linux BUG#12309 не определён однозначно, от чего он возник. Но показатели-то все имеются! И они в этой теме в сообщениях ТЕ ЖЕ САМЫЕ.

Linux BUG#12309 — это совокупность проблем, связанных с с отдельными планировщиками, которые отвечают за планирование ресурсов процессов, нитей, операций ввода-вывода в ядре Linux. Когда кто-то пытается пропихнуть идею ТАКОГО ЖЕ разделения планирования ресурсов в FreeBSD, я очень трепетно и внимательно отношусь к ПОКАЗАТЕЛЯМ ДО и ПОСЛЕ внесённых изменений. И они не в пользу этих изменений. А значит, идея распределения функций планирования ресурсов между разными планировщиками нежизнеспособна по факту ухудшения основных показателей для пользователя — мнение пользователя на реакцию системы важнее, чем ускорение некоторых системных процессов. Ядро Linux много лет оптимизировали для работы на многопроцессорных системах, в результате получили дикую латентность на современном десктопе. И ситуация не меняется, как ни странно! Неуловимый Linux BUG#12309 в действии.

[Mox]

Вот сколько юзал Линух на десктопе, никогда не испытывал проблем, похожих на BUG#12309

[iZEN]

Вот сколько юзал Линух на десктопе, никогда не испытывал проблем, похожих на BUG#12309

Правда что ли? Тогда почему о нём так яростно говорят? На пустом месте это не может возникнуть.

Моё личное мнение: BUG#12309 связан с интеграцией в CPU контроллёра памяти. С момента появления первых интегрированных Athlon x64 и Intel, то есть "оптимизации" DMA (прямого доступа в память), возникли затыки распределения ресурсов между шедулерами CPU и I/O. Но так как в FreeBSD нету отдельного планировщика I/O, то затыков не наблюдается.

[fidaj]

обновил свой патч по ссылке
нашел свои принципиальные ошибки, которые исправил.

эти исправления, в том числе, повлияли на поведение системы в лучшую сторону.

приятного тестирования.

жду таки отчетов.

[wageslave]

Началось официальное портирование Linux BUG#12309?

Эм, iZEN, вообще BFS и BFQ в линуксах - один из немногих способов, который помогает изабвляться от #12309 или снижать его влияние (у тех, кто его наблюдает в принципе).
Проблемы в FBFS скорее всего связаны с его сыростью и недопиленостью, чем с портированием багов из ядра другой ОС, в которое, к слову, ни BFS ни BFQ пока не входят. Если бы они были виной 12309, ядро линукса приходилось бы патчить для его достижения. Как-то так.

[fidaj]

Началось официальное портирование Linux BUG#12309?

Эм, iZEN, вообще BFS и BFQ в линуксах - один из немногих способов, который помогает изабвляться от #12309 или снижать его влияние (у тех, кто его наблюдает в принципе).
Проблемы в FBFS скорее всего связаны с его сыростью и недопиленостью, чем с портированием багов из ядра другой ОС, в которое, к слову, ни BFS ни BFQ пока не входят. Если бы они были виной 12309, ядро линукса приходилось бы патчить для его достижения. Как-то так.

мне интерсно - одно - все говорят о сырости (или еще что-то там) FBFS... Но кто-то уже пробовал использовать с последними обновлениями патчей??? Есть и для 8.2 и для BETA1...

Я не говорю о серверах ,конечно же - я говорю о desktop системах.

у меня

Код: Выделить всё

sysctl -a | grep kern.sched.name
kern.sched.name: FBFS

И показал он себя, для моих повседневных задач, намного лучше чем ULE и даже иногда лучше чем 4BSD... И пока я именно на нем и остаюсь.... Потому что меньше нервов трачу когда система то в своп начинает лезть, то при запуске софтины монстров - которые выжирают ресурсы системы вцелом....

Для того что бы обсуждать - нужно, по крайней мере, попробовать протестировать и сравнить... IMHO

А так хоть бы один отозвался о результатах.... Поэтому и понятно почему такими темпами идут разработки и развивается система... Мал ресурс активных и инициативных пользователей... Короч, ладно - а то опять я в лирику ушел...

[wageslave]

мне интерсно - одно - все говорят о сырости (или еще что-то там) FBFS... Но кто-то уже пробовал использовать с последними обновлениями патчей??? Есть и для 8.2 и для BETA1...

Ну я собственно немного некорректно высказался пожалуй. Сам я тесты ещё не производил, мой пост был попыткой объяснить iZEN'у, что едва ли 12309 и проблемы FBFS (если они есть, это уточнение я забыл) связаны.

Что касается тестов, то постараюсь потестить на выходных. Отпишусь сюда, если что-то получится/не получится.

[fidaj]

Сам я тесты ещё не производил, мой пост был попыткой объяснить iZEN'у, что едва ли 12309 и проблемы FBFS (если они есть, это уточнение я забыл) связаны.

Да ему по барабану доводы всех... Во всем видит заговор против FreeBSD... Обвиняет в том, что

линуксовые диверсанты

, но забыл туда еще и Ивана Вораса приплюсовать, который курировал проект портирования... Просто гомерический смех...

Что касается тестов, то постараюсь потестить на выходных. Отпишусь сюда, если что-то получится/не получится.

ok

[iZEN]

Да ему по барабану доводы всех... Во всем видит заговор против FreeBSD... Обвиняет в том, что

линуксовые диверсанты

, но забыл туда еще и Ивана Вораса приплюсовать, который курировал проект портирования... Просто гомерический смех...

Вот только не надо на меня проецировать своё состояние видения проблем.

[Mox]

Вот так
I just tried to compile it on FreeBSD 8.2 RELEASE i386 and got

Код: Выделить всё

cc -c -O2 -pipe -fno-strict-aliasing -std=c99 -Wall -Wredundant-decls -Wnested-externs -Wstrict-prototypes -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual -Wundef -Wno-pointer-sign -fformat-extensions -nostdinc -I. -I/usr/src/sys -I/usr/src/sys/contrib/altq -D_KERNEL -DHAVE_KERNEL_OPTION_HEADERS -include opt_global.h -fno-common -finline-limit=8000 –param inline-unit-growth=100 –param large-function-growth=1000 -mno-align-long-strings -mpreferred-stack-boundary=2 -mno-mmx -mno-3dnow -mno-sse -mno-sse2 -mno-sse3 -ffreestanding -fstack-protector -Werror /usr/src/sys/kern/sched_fbfs.c
cc1: warnings being treated as errors
/usr/src/sys/kern/sched_fbfs.c: In function ‘sched_setup’:
/usr/src/sys/kern/sched_fbfs.c:189: warning: implicit declaration of function ‘smp_topo’
/usr/src/sys/kern/sched_fbfs.c:189: warning: nested extern declaration of ‘smp_topo’
/usr/src/sys/kern/sched_fbfs.c:189: warning: assignment makes pointer from integer without a cast
/usr/src/sys/kern/sched_fbfs.c:193: warning: implicit declaration of function ‘smp_topo_find’
/usr/src/sys/kern/sched_fbfs.c:193: warning: nested extern declaration of ‘smp_topo_find’
/usr/src/sys/kern/sched_fbfs.c:193: warning: assignment makes pointer from integer without a cast
/usr/src/sys/kern/sched_fbfs.c: In function ‘preempt_lastcpu’:
/usr/src/sys/kern/sched_fbfs.c:625: warning: implicit declaration of function ‘ipi_cpu’
/usr/src/sys/kern/sched_fbfs.c:625: warning: nested extern declaration of ‘ipi_cpu’
/usr/src/sys/kern/sched_fbfs.c:625: error: ‘IPI_AST’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:625: error: (Each undeclared identifier is reported only once
/usr/src/sys/kern/sched_fbfs.c:625: error: for each function it appears in.)
/usr/src/sys/kern/sched_fbfs.c: In function ‘sched_add’:
/usr/src/sys/kern/sched_fbfs.c:744: error: ‘stopped_cpus’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:744: error: ‘hlt_cpus_mask’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:745: error: ‘idle_cpus_mask’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:753: warning: implicit declaration of function ‘ipi_selected’
/usr/src/sys/kern/sched_fbfs.c:753: warning: nested extern declaration of ‘ipi_selected’
/usr/src/sys/kern/sched_fbfs.c:753: error: ‘IPI_AST’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:761: error: dereferencing pointer to incomplete type
/usr/src/sys/kern/sched_fbfs.c:762: error: dereferencing pointer to incomplete type
/usr/src/sys/kern/sched_fbfs.c:763: error: dereferencing pointer to incomplete type
/usr/src/sys/kern/sched_fbfs.c:764: error: dereferencing pointer to incomplete type
*** Error code 1

Stop in /usr/obj/usr/src/sys/TIMBSD.
*** Error code 1

Stop in /usr/src.
*** Error code 1

Stop in /usr/src.

[gx_ua]

о какой лучшей отзывчивости идет речь? как проверить по сравнению с ule на десктопе? или только на глаз?

[Mox]

На глаз конечно, и только на десктопе
Запустил сборку ядра в несколько потоков, включил музычку, и пошел гулять по инету. Мне в этом случае с ULE гулять по инету совсем не комфортно

[fidaj]

Вот так
I just tried to compile it on FreeBSD 8.2 RELEASE i386 and got

Код: Выделить всё

cc -c -O2 -pipe -fno-strict-aliasing -std=c99 -Wall -Wredundant-decls -Wnested-externs -Wstrict-prototypes -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual -Wundef -Wno-pointer-sign -fformat-extensions -nostdinc -I. -I/usr/src/sys -I/usr/src/sys/contrib/altq -D_KERNEL -DHAVE_KERNEL_OPTION_HEADERS -include opt_global.h -fno-common -finline-limit=8000 –param inline-unit-growth=100 –param large-function-growth=1000 -mno-align-long-strings -mpreferred-stack-boundary=2 -mno-mmx -mno-3dnow -mno-sse -mno-sse2 -mno-sse3 -ffreestanding -fstack-protector -Werror /usr/src/sys/kern/sched_fbfs.c
cc1: warnings being treated as errors
/usr/src/sys/kern/sched_fbfs.c: In function ‘sched_setup’:
/usr/src/sys/kern/sched_fbfs.c:189: warning: implicit declaration of function ‘smp_topo’
/usr/src/sys/kern/sched_fbfs.c:189: warning: nested extern declaration of ‘smp_topo’
/usr/src/sys/kern/sched_fbfs.c:189: warning: assignment makes pointer from integer without a cast
/usr/src/sys/kern/sched_fbfs.c:193: warning: implicit declaration of function ‘smp_topo_find’
/usr/src/sys/kern/sched_fbfs.c:193: warning: nested extern declaration of ‘smp_topo_find’
/usr/src/sys/kern/sched_fbfs.c:193: warning: assignment makes pointer from integer without a cast
/usr/src/sys/kern/sched_fbfs.c: In function ‘preempt_lastcpu’:
/usr/src/sys/kern/sched_fbfs.c:625: warning: implicit declaration of function ‘ipi_cpu’
/usr/src/sys/kern/sched_fbfs.c:625: warning: nested extern declaration of ‘ipi_cpu’
/usr/src/sys/kern/sched_fbfs.c:625: error: ‘IPI_AST’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:625: error: (Each undeclared identifier is reported only once
/usr/src/sys/kern/sched_fbfs.c:625: error: for each function it appears in.)
/usr/src/sys/kern/sched_fbfs.c: In function ‘sched_add’:
/usr/src/sys/kern/sched_fbfs.c:744: error: ‘stopped_cpus’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:744: error: ‘hlt_cpus_mask’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:745: error: ‘idle_cpus_mask’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:753: warning: implicit declaration of function ‘ipi_selected’
/usr/src/sys/kern/sched_fbfs.c:753: warning: nested extern declaration of ‘ipi_selected’
/usr/src/sys/kern/sched_fbfs.c:753: error: ‘IPI_AST’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:761: error: dereferencing pointer to incomplete type
/usr/src/sys/kern/sched_fbfs.c:762: error: dereferencing pointer to incomplete type
/usr/src/sys/kern/sched_fbfs.c:763: error: dereferencing pointer to incomplete type
/usr/src/sys/kern/sched_fbfs.c:764: error: dereferencing pointer to incomplete type
*** Error code 1

Stop in /usr/obj/usr/src/sys/TIMBSD.
*** Error code 1

Stop in /usr/src.
*** Error code 1

Stop in /usr/src.

Привет!
Ты точно тот что нужно патч для 8-ки взял? http://rudot.blog.com/latest-patch-available/

[fidaj]

На глаз конечно, и только на десктопе
Запустил сборку ядра в несколько потоков, включил музычку, и пошел гулять по инету. Мне в этом случае с ULE гулять по инету совсем не комфортно

Ну почему же на глаз...
Вот человек тесты пишет http://rtbsd.org/ru/2011/05/test-pthread-kill-latency/ http://rtbsd.org/ru/2011/05/test-posix-mq/
Можно по ним попробовать, возможно придется код адаптировать под версию ядра...

Можно при тяжелых сборках на системе использовать

Код: Выделить всё

time make buildworld

тоже показательно...

Ребята - ULE для серваков разрабатывалась в первую очередь... Там в алгоритме другие цели приследуются...

[Mox]

Вот так
I just tried to compile it on FreeBSD 8.2 RELEASE i386 and got

Код: Выделить всё

cc -c -O2 -pipe -fno-strict-aliasing -std=c99 -Wall -Wredundant-decls -Wnested-externs -Wstrict-prototypes -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual -Wundef -Wno-pointer-sign -fformat-extensions -nostdinc -I. -I/usr/src/sys -I/usr/src/sys/contrib/altq -D_KERNEL -DHAVE_KERNEL_OPTION_HEADERS -include opt_global.h -fno-common -finline-limit=8000 –param inline-unit-growth=100 –param large-function-growth=1000 -mno-align-long-strings -mpreferred-stack-boundary=2 -mno-mmx -mno-3dnow -mno-sse -mno-sse2 -mno-sse3 -ffreestanding -fstack-protector -Werror /usr/src/sys/kern/sched_fbfs.c
cc1: warnings being treated as errors
/usr/src/sys/kern/sched_fbfs.c: In function ‘sched_setup’:
/usr/src/sys/kern/sched_fbfs.c:189: warning: implicit declaration of function ‘smp_topo’
/usr/src/sys/kern/sched_fbfs.c:189: warning: nested extern declaration of ‘smp_topo’
/usr/src/sys/kern/sched_fbfs.c:189: warning: assignment makes pointer from integer without a cast
/usr/src/sys/kern/sched_fbfs.c:193: warning: implicit declaration of function ‘smp_topo_find’
/usr/src/sys/kern/sched_fbfs.c:193: warning: nested extern declaration of ‘smp_topo_find’
/usr/src/sys/kern/sched_fbfs.c:193: warning: assignment makes pointer from integer without a cast
/usr/src/sys/kern/sched_fbfs.c: In function ‘preempt_lastcpu’:
/usr/src/sys/kern/sched_fbfs.c:625: warning: implicit declaration of function ‘ipi_cpu’
/usr/src/sys/kern/sched_fbfs.c:625: warning: nested extern declaration of ‘ipi_cpu’
/usr/src/sys/kern/sched_fbfs.c:625: error: ‘IPI_AST’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:625: error: (Each undeclared identifier is reported only once
/usr/src/sys/kern/sched_fbfs.c:625: error: for each function it appears in.)
/usr/src/sys/kern/sched_fbfs.c: In function ‘sched_add’:
/usr/src/sys/kern/sched_fbfs.c:744: error: ‘stopped_cpus’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:744: error: ‘hlt_cpus_mask’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:745: error: ‘idle_cpus_mask’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:753: warning: implicit declaration of function ‘ipi_selected’
/usr/src/sys/kern/sched_fbfs.c:753: warning: nested extern declaration of ‘ipi_selected’
/usr/src/sys/kern/sched_fbfs.c:753: error: ‘IPI_AST’ undeclared (first use in this function)
/usr/src/sys/kern/sched_fbfs.c:761: error: dereferencing pointer to incomplete type
/usr/src/sys/kern/sched_fbfs.c:762: error: dereferencing pointer to incomplete type
/usr/src/sys/kern/sched_fbfs.c:763: error: dereferencing pointer to incomplete type
/usr/src/sys/kern/sched_fbfs.c:764: error: dereferencing pointer to incomplete type
*** Error code 1

Stop in /usr/obj/usr/src/sys/TIMBSD.
*** Error code 1

Stop in /usr/src.
*** Error code 1

Stop in /usr/src.

Привет!
Ты точно тот что нужно патч для 8-ки взял? http://rudot.blog.com/latest-patch-available/

Кажись да, он называется fbfs_12_8_2011_RELENG_8_2.patch

[Mox]

...
Ребята - ULE для серваков разрабатывалась в первую очередь... Там в алгоритме другие цели приследуются...

Да это понятно
Алгоритмы рулят