Файловый кластер.

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
toxot
рядовой
Сообщения: 25
Зарегистрирован: 2009-07-17 23:04:02

Файловый кластер.

Непрочитанное сообщение toxot » 2010-07-13 2:43:12

Добрый вечер.

Нужен файловый кластер, с репликацией данных. Есть несколько физически отдаленных серверов. На них куча маленьких файлов (до 64 кб) + несколько крупных, все это хозяйство отдается через веб.
Какой посоветуете?

П.С. Тестировал вариант с glusterfs и NFS но производительность никакая получается.
Заранее спасибо.
Последний раз редактировалось f_andrey 2010-07-13 4:45:14, всего редактировалось 1 раз.
Причина: Автору, выбирайте пожалуйста раздел соответствуюший тематике вашего сообщения.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Burner
лейтенант
Сообщения: 693
Зарегистрирован: 2009-06-14 7:02:26

Re: Файловый кластер.

Непрочитанное сообщение Burner » 2010-07-13 9:01:24

ну тупо rsync, например

Аватара пользователя
toxot
рядовой
Сообщения: 25
Зарегистрирован: 2009-07-17 23:04:02

Re: Файловый кластер.

Непрочитанное сообщение toxot » 2010-07-13 14:27:58

Данные могут изменять на обоих серверах.

ЗЫ Может я просто не совсем понял как rsync юзать)

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Файловый кластер.

Непрочитанное сообщение ProFTP » 2010-07-13 16:13:50

MogileFS (ЖЖ использует)
я бы поставил в PostgreSQL и побайтово считывал данные (в том числе видео, аудио, картинки), т.е. как бы открывал файлы... (или в Oracle, MS SQL, там есть даже специальные типы данных для стримминга)
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Файловый кластер.

Непрочитанное сообщение ProFTP » 2010-07-13 16:24:44

если много маленьких файлов порядка десяка миллионов, лучше использовать не файловый кластер, а распределенный файловый кластер.


1) можно видео через скрипт транслировать из Oracle прикольно http://search.cpan.org/~pythian/DBD-Ora ... e_database

Код: Выделить всё

Example: Streaming character data from the database

In this example, we demonstrate a technique for streaming data from the database to a file handle, in this case STDOUT. This allows more data to be read in and written out than could be stored in memory at a given time.
   my $lob_id = 17;   # Arbitrary row identifier, for example

   $sth = $dbh->prepare( <<"   SQL", { ora_auto_lob => 0 } );
      SELECT chardata
      FROM lob_example
      WHERE lob_id = ?
   SQL
   $sth->execute( $lob_id );
   my ( $char_locator ) = $sth->fetchrow_array();

   my $chunk_size = 1034;   # Arbitrary chunk size, for example
   my $offset = 1;   # Offsets start at 1, not 0
   while(1) {
      my $data = $dbh->ora_lob_read( $char_locator, $offset, $chunk_size );
      last unless length $data;
      print STDOUT $data;
      $offset += $chunk_size;
   }
2) в PgSQL есть seek
lo_lseek

$loc = $dbh->pg_lo_lseek($lobj_fd, $offset, $whence);

Changes the current read or write location on the large object $obj_id. Currently $whence can only be 0 (which is L_SET). Returns the current location and undef upon failure. This function cannot be used if AutoCommit is enabled.
3) дополнение у MySQL
есть как дополнение:
http://blobstreaming.org/
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Файловый кластер.

Непрочитанное сообщение princeps » 2010-07-15 11:17:40

есть ещё файловая система Coda
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

mef
проходил мимо
Сообщения: 4
Зарегистрирован: 2010-05-14 9:39:11

Re: Файловый кластер.

Непрочитанное сообщение mef » 2010-07-16 10:42:16

Попробуйте ZFS. Говорят очень достойная производительность при наличии большого объема памяти.

Burner
лейтенант
Сообщения: 693
Зарегистрирован: 2009-06-14 7:02:26

Re: Файловый кластер.

Непрочитанное сообщение Burner » 2010-07-16 10:43:37

mef писал(а):Попробуйте ZFS. Говорят очень достойная производительность при наличии большого объема памяти.
а кластер тут причем?

Аватара пользователя
toxot
рядовой
Сообщения: 25
Зарегистрирован: 2009-07-17 23:04:02

Re: Файловый кластер.

Непрочитанное сообщение toxot » 2010-07-16 14:48:33

Да ZFS тут совсем не "в кассу". Почитал про Coda не могу понять какой минимальный комплект серверов нужен?

Про MogileFS тоже выходит что там нет репликации типа мастер-мастер.

Burner
лейтенант
Сообщения: 693
Зарегистрирован: 2009-06-14 7:02:26

Re: Файловый кластер.

Непрочитанное сообщение Burner » 2010-07-17 8:50:13

Про coda я слышал только плохое. Если файлы мелкие, возможно и правда имеет смысл попробовать БД. Хотя в этом опыта у меня мало. Из распределенных систем я бы помотрел GFS, GlusterFS

mef
проходил мимо
Сообщения: 4
Зарегистрирован: 2010-05-14 9:39:11

Re: Файловый кластер.

Непрочитанное сообщение mef » 2010-07-18 8:27:00

Burner писал(а):а кластер тут причем?
Я имею ввиду использовать ZFS+NFS, для увеличения производительности.

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Файловый кластер.

Непрочитанное сообщение princeps » 2010-07-18 19:06:00

отказоустойчивость при этом будет низкая.
toxot писал(а):Почитал про Coda не могу понять какой минимальный комплект серверов нужен?
два
Burner писал(а):Про coda я слышал только плохое.
Кинь ссылок. Начиная с седьмой версии фри обещали стабильную работу и рекомендовали к установке на сервера.
Вроде ещё собирались drbd портировать, никто не в курсе, как там с этим дела обстоят?
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Файловый кластер.

Непрочитанное сообщение Fastman » 2010-07-19 12:18:21

toxot писал(а):Добрый вечер.

Нужен файловый кластер, с репликацией данных. Есть несколько физически отдаленных серверов. На них куча маленьких файлов (до 64 кб) + несколько крупных, все это хозяйство отдается через веб.
Какой посоветуете?

П.С. Тестировал вариант с glusterfs и NFS но производительность никакая получается.
Заранее спасибо.
Не озвучен бюджет.
Варианты:
1. Бубен+Linux+GPFS
2. Специализированное дорогое решение (NetApp, Isilon,) + инфраструктура(FC/iSCSI/etc)
Главное в жизни здоровье и любовь, остальное я все куплю.

Аватара пользователя
ADRE
майор
Сообщения: 2641
Зарегистрирован: 2007-07-26 8:53:49
Контактная информация:

Re: Файловый кластер.

Непрочитанное сообщение ADRE » 2013-02-13 18:14:42

бюджет в космос вылетает.
//del

Аватара пользователя
vadim64
майор
Сообщения: 2098
Зарегистрирован: 2009-09-17 15:15:26
Откуда: Засратовец

Re: Файловый кластер.

Непрочитанное сообщение vadim64 » 2013-02-14 13:56:29

я думаю ИС уже поxyй
по теме: hastd же появился, ёпт
Люди не делятся на национальности, партии, фракции и религии. Люди делятся на умных и дураков, а вот дураки делятся на национальности, партии, фракции и религии.