Как разбить по папкам хранение файлов?

[Духовитин]

Доброго дня Уважаемые!

У меня для моей информационной системы возникла задача организации хранения файлов.
Поясню:
Когда файл добавляется в ИС, то информация о нём заносится в БД. От самого файла вычисляется SHA-хеш и сам файл кладётся в папку по первым символам в хеше, т.е.

Код: Выделить всё

SHA2(file) = abcdef.....

значит лежать он будет в папке:
/var/storage/ab/cd/

Так вот вопрос в том, сколько делать уровней папок?
Для указанного варианта с двумя уровнями по два символа получается что всего вариантов подпапок будет на первом уровне 256 и на втором по 256 для каждой из папок первого уровня, и того всего 65536 подпапок.

В плане производительности доступа к файлам, оптимального хранения и других может каких-либо имеющихся заморочек стоит ли по другому организовать организацию хранилища?

Сама ФС хранилища - ZFS RaidZ, файлов подразумевается что может быть много.

Вобщем ваши мысли на этот счёт?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Neus]

А если в каждую положить по 256 файлов, в сумме будет ~16 миллионов. Нормально придумал:)

[Bayerische]

В гугол
https://habrahabr.ru/post/227855/

[Духовитин]

Всем спасибо, теперь спокойно значит сделаю как задумал.

[FiL]

Всем спасибо, теперь спокойно значит сделаю как задумал.

коментарии не читал, видимо

[Духовитин]

коментарии не читал, видимо

Имеешь в виду комменты к статье на хабре? Почитал. То что у меня велосипед, даже не сомневался изначально. Да я и не претендую на оригинальность предложенного подхода. Так как сама идея возникла на основе организации папок кэшей у squid'а. Когда ему говоришь кол-во папок и он формирует своё кэш-хранилище.
В комментах на хабре вроде как основные претензии были к стилю и качеству php кода предложенного в качестве реализации этой идеи.
Если я чего-то не увидел, то укажи пожалуйста что именно.

[FiL]

Основная мысль хоть как-то сформулированная в каментах там заключалась в том, что если есть возможность настроить современную файловую систему, то нужно это делать. И тогда нет вообще никакой необходимости делить файлы на каталоги.
Структура имеет смысл если по ней надо будет ручками шастать или если не известно на чем оно будет лежать и как файловая система относится к большому количеству файлов в каталоге.

[Духовитин]

Там до чего договорились, так это что после тюнинга стало в 20 раз быстрей, а вот насчёт того что разницы между плоским размещением и многоуровневым нет, про это ничего не говорилось. Тут для выбора безуровневого способа хранения со сколь угодно большим количеством файлов в папке надо как минимум провести тесты самому.
Всё таки не зря разработчики squid'а , всяких ВК и ФБ выбрали способ хранения с разбиением по подпапкам. Да ещё и с гибко настраиваемыми параметрами этого разбития.

Я в данном случае если запарюсь, то может и запарюсь ради интереса с проверкой двух способов. Но сейчас делаю всё таки как изначально предположил.

[FiL]

у разработчиков сквида нет влияния на FS. Оно где поставилось - там поставилось. И они пытаются оптимизировать так, чтоб оно везде прилично работало. И это не говоря о том, что сквид писали во времена ext2, что не добавляло оптимизма.
а "всякие" VК и FB - это не совсем всякие. У них файлов в день новых больше, чем в твоем доморощенном проекте за 10 лет наберется, скорее всего. И при этом...
https://scontent-lga3-1.xx.fbcdn.net/hp ... lename.jpg> - то есть по сути только один уровень вложенности.

Еще раз, я не говорю, что разбиение по подпапкам плохо. Это хорошо. При прявильной реализации. Но плохая реализация может оказаться хуже, чем плоское хранилище с нормально настроенной FS. Ну, до определенного количества файлов.

[Духовитин]

За дискуссию однозначно спасибо. Из неё в любом случае полезная информация в голове осела. Вопрос подняли, обсудили и для себя что-то из него вынесли

[Bayerische]

Погодите, это как — не влияет?
Вот к примеру, FTP. На любой ФС листинг забитой директории нудное дело.

[FiL]

a зачем делать листинг забитой директории? Полные пути есть в базе. Делать полный листинг с тысячами файлов с названием вида 012345FED ни нафик не сдалось.

[Alex Keda]

Ручками никогда не приходилось рыться в хранилище организованном такими вот гениями - мильён файлов в директории одной?

Мне приходится, минимум раз в неделю.

Поверьте, никаких восторгов по поводу быстрой и хорошей файловой системы у меня давно уже нет

[FiL]

A что можно ручками найти в хранилище, где имена файлов - это MD5 от содержимого?
В том-то и дело, что если имена файлов хоть как-то осмысленны и в них надо лазить ручками, то тогда и структура каталогов имеет смысл. И смысл может быть очень разный. А если одни MD5, то и смысла нет.

[Alex Keda]

это потому что вам не надо было ручками достать такой вот файлик

[ADRE]

есть решение от солярки всем известное. засунул и забыл. zfs

Код: Выделить всё

2^56 — количество файлов в директории (реально ограничен 2^48 на количество файлов в файловой системе ZFS);

Отправлено спустя 2 минуты 39 секунд:
не 256, а 2 в 48 степени по факту. -

Код: Выделить всё

281474976710656 - файлов в одной папке