Страница 1 из 1

Файловый кластер.

Добавлено: 2010-07-13 2:43:12
toxot
Добрый вечер.

Нужен файловый кластер, с репликацией данных. Есть несколько физически отдаленных серверов. На них куча маленьких файлов (до 64 кб) + несколько крупных, все это хозяйство отдается через веб.
Какой посоветуете?

П.С. Тестировал вариант с glusterfs и NFS но производительность никакая получается.
Заранее спасибо.

Re: Файловый кластер.

Добавлено: 2010-07-13 9:01:24
Burner
ну тупо rsync, например

Re: Файловый кластер.

Добавлено: 2010-07-13 14:27:58
toxot
Данные могут изменять на обоих серверах.

ЗЫ Может я просто не совсем понял как rsync юзать)

Re: Файловый кластер.

Добавлено: 2010-07-13 16:13:50
ProFTP
MogileFS (ЖЖ использует)
я бы поставил в PostgreSQL и побайтово считывал данные (в том числе видео, аудио, картинки), т.е. как бы открывал файлы... (или в Oracle, MS SQL, там есть даже специальные типы данных для стримминга)

Re: Файловый кластер.

Добавлено: 2010-07-13 16:24:44
ProFTP
если много маленьких файлов порядка десяка миллионов, лучше использовать не файловый кластер, а распределенный файловый кластер.


1) можно видео через скрипт транслировать из Oracle прикольно http://search.cpan.org/~pythian/DBD-Ora ... e_database

Код: Выделить всё

Example: Streaming character data from the database

In this example, we demonstrate a technique for streaming data from the database to a file handle, in this case STDOUT. This allows more data to be read in and written out than could be stored in memory at a given time.
   my $lob_id = 17;   # Arbitrary row identifier, for example

   $sth = $dbh->prepare( <<"   SQL", { ora_auto_lob => 0 } );
      SELECT chardata
      FROM lob_example
      WHERE lob_id = ?
   SQL
   $sth->execute( $lob_id );
   my ( $char_locator ) = $sth->fetchrow_array();

   my $chunk_size = 1034;   # Arbitrary chunk size, for example
   my $offset = 1;   # Offsets start at 1, not 0
   while(1) {
      my $data = $dbh->ora_lob_read( $char_locator, $offset, $chunk_size );
      last unless length $data;
      print STDOUT $data;
      $offset += $chunk_size;
   }
2) в PgSQL есть seek
lo_lseek

$loc = $dbh->pg_lo_lseek($lobj_fd, $offset, $whence);

Changes the current read or write location on the large object $obj_id. Currently $whence can only be 0 (which is L_SET). Returns the current location and undef upon failure. This function cannot be used if AutoCommit is enabled.
3) дополнение у MySQL
есть как дополнение:
http://blobstreaming.org/

Re: Файловый кластер.

Добавлено: 2010-07-15 11:17:40
princeps
есть ещё файловая система Coda

Re: Файловый кластер.

Добавлено: 2010-07-16 10:42:16
mef
Попробуйте ZFS. Говорят очень достойная производительность при наличии большого объема памяти.

Re: Файловый кластер.

Добавлено: 2010-07-16 10:43:37
Burner
mef писал(а):Попробуйте ZFS. Говорят очень достойная производительность при наличии большого объема памяти.
а кластер тут причем?

Re: Файловый кластер.

Добавлено: 2010-07-16 14:48:33
toxot
Да ZFS тут совсем не "в кассу". Почитал про Coda не могу понять какой минимальный комплект серверов нужен?

Про MogileFS тоже выходит что там нет репликации типа мастер-мастер.

Re: Файловый кластер.

Добавлено: 2010-07-17 8:50:13
Burner
Про coda я слышал только плохое. Если файлы мелкие, возможно и правда имеет смысл попробовать БД. Хотя в этом опыта у меня мало. Из распределенных систем я бы помотрел GFS, GlusterFS

Re: Файловый кластер.

Добавлено: 2010-07-18 8:27:00
mef
Burner писал(а):а кластер тут причем?
Я имею ввиду использовать ZFS+NFS, для увеличения производительности.

Re: Файловый кластер.

Добавлено: 2010-07-18 19:06:00
princeps
отказоустойчивость при этом будет низкая.
toxot писал(а):Почитал про Coda не могу понять какой минимальный комплект серверов нужен?
два
Burner писал(а):Про coda я слышал только плохое.
Кинь ссылок. Начиная с седьмой версии фри обещали стабильную работу и рекомендовали к установке на сервера.
Вроде ещё собирались drbd портировать, никто не в курсе, как там с этим дела обстоят?

Re: Файловый кластер.

Добавлено: 2010-07-19 12:18:21
Fastman
toxot писал(а):Добрый вечер.

Нужен файловый кластер, с репликацией данных. Есть несколько физически отдаленных серверов. На них куча маленьких файлов (до 64 кб) + несколько крупных, все это хозяйство отдается через веб.
Какой посоветуете?

П.С. Тестировал вариант с glusterfs и NFS но производительность никакая получается.
Заранее спасибо.
Не озвучен бюджет.
Варианты:
1. Бубен+Linux+GPFS
2. Специализированное дорогое решение (NetApp, Isilon,) + инфраструктура(FC/iSCSI/etc)

Re: Файловый кластер.

Добавлено: 2013-02-13 18:14:42
ADRE
бюджет в космос вылетает.

Re: Файловый кластер.

Добавлено: 2013-02-14 13:56:29
vadim64
я думаю ИС уже поxyй
по теме: hastd же появился, ёпт