Файловый кластер.

[toxot]

Добрый вечер.

Нужен файловый кластер, с репликацией данных. Есть несколько физически отдаленных серверов. На них куча маленьких файлов (до 64 кб) + несколько крупных, все это хозяйство отдается через веб.
Какой посоветуете?

П.С. Тестировал вариант с glusterfs и NFS но производительность никакая получается.
Заранее спасибо.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Burner]

ну тупо rsync, например

[toxot]

Данные могут изменять на обоих серверах.

ЗЫ Может я просто не совсем понял как rsync юзать)

[ProFTP]

MogileFS (ЖЖ использует)
я бы поставил в PostgreSQL и побайтово считывал данные (в том числе видео, аудио, картинки), т.е. как бы открывал файлы... (или в Oracle, MS SQL, там есть даже специальные типы данных для стримминга)

[ProFTP]

если много маленьких файлов порядка десяка миллионов, лучше использовать не файловый кластер, а распределенный файловый кластер.


1) можно видео через скрипт транслировать из Oracle прикольно http://search.cpan.org/~pythian/DBD-Ora ... e_database

Код: Выделить всё

Example: Streaming character data from the database

In this example, we demonstrate a technique for streaming data from the database to a file handle, in this case STDOUT. This allows more data to be read in and written out than could be stored in memory at a given time.
   my $lob_id = 17;   # Arbitrary row identifier, for example

   $sth = $dbh->prepare( <<"   SQL", { ora_auto_lob => 0 } );
      SELECT chardata
      FROM lob_example
      WHERE lob_id = ?
   SQL
   $sth->execute( $lob_id );
   my ( $char_locator ) = $sth->fetchrow_array();

   my $chunk_size = 1034;   # Arbitrary chunk size, for example
   my $offset = 1;   # Offsets start at 1, not 0
   while(1) {
      my $data = $dbh->ora_lob_read( $char_locator, $offset, $chunk_size );
      last unless length $data;
      print STDOUT $data;
      $offset += $chunk_size;
   }

2) в PgSQL есть seek

lo_lseek

$loc = $dbh->pg_lo_lseek($lobj_fd, $offset, $whence);

Changes the current read or write location on the large object $obj_id. Currently $whence can only be 0 (which is L_SET). Returns the current location and undef upon failure. This function cannot be used if AutoCommit is enabled.

3) дополнение у MySQL
есть как дополнение:
http://blobstreaming.org/

[princeps]

есть ещё файловая система Coda

[mef]

Попробуйте ZFS. Говорят очень достойная производительность при наличии большого объема памяти.

[Burner]

Попробуйте ZFS. Говорят очень достойная производительность при наличии большого объема памяти.

а кластер тут причем?

[toxot]

Да ZFS тут совсем не "в кассу". Почитал про Coda не могу понять какой минимальный комплект серверов нужен?

Про MogileFS тоже выходит что там нет репликации типа мастер-мастер.

[Burner]

Про coda я слышал только плохое. Если файлы мелкие, возможно и правда имеет смысл попробовать БД. Хотя в этом опыта у меня мало. Из распределенных систем я бы помотрел GFS, GlusterFS

[mef]

а кластер тут причем?

Я имею ввиду использовать ZFS+NFS, для увеличения производительности.

[princeps]

отказоустойчивость при этом будет низкая.

Почитал про Coda не могу понять какой минимальный комплект серверов нужен?

два

Про coda я слышал только плохое.

Кинь ссылок. Начиная с седьмой версии фри обещали стабильную работу и рекомендовали к установке на сервера.
Вроде ещё собирались drbd портировать, никто не в курсе, как там с этим дела обстоят?

[Fastman]

Добрый вечер.

Нужен файловый кластер, с репликацией данных. Есть несколько физически отдаленных серверов. На них куча маленьких файлов (до 64 кб) + несколько крупных, все это хозяйство отдается через веб.
Какой посоветуете?

П.С. Тестировал вариант с glusterfs и NFS но производительность никакая получается.
Заранее спасибо.

Не озвучен бюджет.
Варианты:
1. Бубен+Linux+GPFS
2. Специализированное дорогое решение (NetApp, Isilon,) + инфраструктура(FC/iSCSI/etc)

[ADRE]

бюджет в космос вылетает.

[vadim64]

я думаю ИС уже поxyй
по теме: hastd же появился, ёпт