gconcat/jbod на freebsd

[kisliy2000]

День добрый.
Подскажите плиз, каким образом можно под фрей реализовать следующее:
есть 3x1Tb hdd, стоят на файлопомойке.Каким образом их можно слить в один виртуальный?
Хочется:
1) Чтобы запись шла на первый hdd, до тех пор пока он не забит, дальше второй и т.д.
2) Чтобы при вылете одно диска - он автоматически убирался из массива с последующим его уменьшением (3Tb > 2Tb).

gconcat - вроде как пишет на все харды по очереди, т.е. 1 файл на первый, второй файл на второй и т.п.

Есть ли способ реализовать то, что хочется? без извратов с union/null fs, т.к. юзерам неудобно будет.
Или придется извращаться?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

2) Чтобы при вылете одно диска - он автоматически убирался из массива с последующим его уменьшением (3Tb > 2Tb).

никак
========
лучше объясни цель сего действа.
особенно как ты видишь процитированный кусок...

[kisliy2000]

ok, а если убрать 2 пункт?

[paix]

gconcat наоборот благо, что пишет данные с разбросом по разным хардам..сохраняется целостность файлов, причем они записуются равномерными блоками - увеличиывается скорость записи и скорость чтения. Как записуются данные на переполненном харде думаю обяснять не нужно?

Если данные не критичные, то ничего не сливать и юзать как есть.
Если критичные то делать рейд1 (1 хард прийдется перепрофилировтаь) или докупить еще хард и делать рейд10

Делать рейд0 в виде gstripe\gconcat крайне не рекомендую

[Phanthom]

Есть несколько не совсем нужных дисков. Есть файлопомойка.
Диски объединены в один массив и по самбе расшарены. Плюсом на сервере стоит трансмишн, который качает торренты в этот же каталог.
в общем то вылет одного диска не критичен. просто уменьшаем массив на емкость этого диска, по возможности наращиваем массив новыми ненужными дисками.
теперь вопрос.
Есть один диск - он еще не помер, помрёт возможно не скоро. емкость 160 гигов. Но на нем ufs этого массива.
Есть другой диск - не нужный. 500 гигов. нужно сделать замену одного на другой.
Перестраивать массив не хочу. Только как крайний случай. (под перестроением я понимаю составление нового массива с форматированием в новую ФС если я не прав - поправьте). Дампить все - слишком долго и не целесообразно, да и не куда.
dd хой клонировать диск - так на выходе получим 160 - кастрат от питика.
Подскажите как лучше сделать.

[Phanthom]

А вообще, я давно не мониторю что происходит в мире. Может давно изобрели что то, с помощью чего можно реализовать то что я сделал, не заморачиваясь с файловыми системами.
В идеале цель - есть носители в виде свободных и разных винтов. На них можно размещать файло. информация о файлах, то бишь файловая система должна быть распределённой. Имею в виду - допустим на винт наносится метка что де тут такая-то файловая система, а дальше размещение файлов - идёт в локальной для этого диска файловой системе. и так для каждого диска массива. при вылете одного диска - теряется только то, что было на этом диске, весь остальной массив продолжает работать с минимальными вмешательствами. Файлы в основном - фильмы. т.е. большой фрагментации быть не должно, хотя в общем то не принципиально.
хотелось бы добавлять в этот массив новые диски и убирать старые без перестроения массива.
В принципе gconcat решает вопрос с добавлением и удалением дисков на лету. Остаётся вопрос с файловой системой.
И еще вопрос, возможно ли вытащить данные с живого диска, выдранного из массива. Т.е. предположим можно ли взять один винт из этого массива и выдрать только то, что лежит именно на нём.
Сразу оговорюсь. что то, что лежит в переходах между винтами (т.е. имеем фрагмент файла) - этим пренебрегаем.

[Alex Keda]

portalfs называется, чтоле...
непомню точно, но в манах на какой-то mount_* видел такое, правда, с ограниченями, типа пишется всегда на последний диск, или около того...
решаемо скритапми, думаю...

[Phanthom]

в топку эти костыли.
Прочитал тут про mhddfs - тема.
Можно вообще заюзать несколько сетевых дисков типа дропбокса или хернЯ-дисков и выкинуть на помойку винты в привычном понимании.
Ясен-красен без инета - не будет ничего работать, но по большому счёту у меня инет отпадывал 1 раз в год, и то для апгрейда оборудования прова.
А по теме - штука сама выбирает диск на который записывать файл, если ёмкости не хватает - перекидывает на лету. падение производительности незначительное. Файлы не режет - один минус. Т.е. если есть свободного места 10 гигов на одном и 2 на другом винте а надо записать файл 11 гигов - то скажет фигушки.
Как я понял вроде бы при отключении одного из дисков из массива - файло на диске остаётся так же как и файло на оставшемся массиве. Т.е. при падении одного из винтов массива - получаем массив меньшей ёмкостью и теряется только то, что было на павшем винте, что в общем то для файлопомойки и торренто-помойки практически идеально. Щас солью 9-ку, попробую погонять тестами на флэшках. Но штука мне уже нравится. Думаю дома такую поставлю если всё ок.

[Phanthom]

Было бы еще более шикарным функционалом - помечать винт как предсмертный. Т.е. было бы круто, если бы можно было при знании того, что винт скоро скончается, или например хочется просто освободить старый винт меньшей ёмкости для того чтобы поставить вместо него новый с большей ёмкостью - просто поставить метку на старом и перераспределить данные с него на остальные винты и безболезненно удалить мелкий/дохлый винт, возможно даже на лету.
Может и такое придумали? Или это пока моя фантазия?

[serzh]

Было бы еще более шикарным функционалом - помечать винт как предсмертный. Т.е. было бы круто, если бы можно было при знании того, что винт скоро скончается, или например хочется просто освободить старый винт меньшей ёмкости для того чтобы поставить вместо него новый с большей ёмкостью - просто поставить метку на старом и перераспределить данные с него на остальные винты и безболезненно удалить мелкий/дохлый винт, возможно даже на лету.
Может и такое придумали? Или это пока моя фантазия?

Наконец-то я нашёл единомышленника. Та же задача - необходимо хранить кучу больших файлов в одной точке входа без избыточности, если часть потеряется - нестрашно, желательно только знать что именно потерялось :-)