синхронность зеркалированного raid

oklas · Непрочитанное сообщение **oklas** » 2015-02-27 16:10:24

Думаю тема относится скорее к железу, тк как связан с питанием
и хранинием данных на дисках раид, чем к софту, тем более
к какой либо ОС, но может конечно и перенести в другой раздел.

Райд защищает только от поломки самих дисков, но не защищает
от сбоев питания падения ос и т.п. Например если выдергивается
провод из бесперебойника или т.п. Диски "как райд" нельзя трогать
на запись, в частности производить проверку файловой системы.
Нужно либо проверять ФС, работая с одним из дисков, затем залить
с него всё на второй. Или наоборот сделать копию одного из них на
другой и только после этого работать с ними как райд.

При пропадании питания в одном и том-же месте на разных дисках
может содержаться разная информация. А чтение, например при
восстановлении, производится с произвольно взятого диска, или с
обоих по кускам. В итоге получаем мусор вместо данных и фс может
даже не быть исправлена или исправлена но в файлах мусор.

Так вот хорошо бы использовать не запись целиком всего диска поверх другого, а чтение-сравнение обоих и синхронизацию с одним из них при
различиях. Вот какой инструмент хотелось бы иметь.

PS:
В частности у меня был случай после одного из таких падений что-то
задело системное, и система падала с дампом ядра, почти сразу после
загрузки, что вылечилось просто установкой ядра и мира из тех же
исходников. Аналогично в одной конторе долгое время сидел такой
сбой в mysql базе с годовыми данными и не всплывал из-за её размера.

Заодно интересно чем лучше хуже аппаратный райд чем программмный,
по скорости/надёжности/ возможности восстановления, кешированию,
возможности дозаписи незаписанного при сбоев питания и т.д.

Хостинг HostFood.ru · **Хостинг HostFood.ru**

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Neus · Непрочитанное сообщение **Neus** » 2015-02-27 23:06:07

Use HBA+ZFS

snorlov · Непрочитанное сообщение **snorlov** » 2015-02-28 12:26:09

Neus писал(а):Use HBA+ZFS

Поддерживаю, а автору темы хочу сказать, что заявленное им знают, как минимум с появления ит-нидустрии и также знают как с этим бороться, придумывая память с ECC, кластеры, различные raidX и прочие творения головного мозга... И реализация борьбы с этим зависит от стоимости ваших данных и времени простоя...

oklas · Непрочитанное сообщение **oklas** » 2015-02-28 20:46:46

Neus писал(а): ZFS

вещщ конечно хорошая, вроде решает проблему. Но если упало,
то надеятся надо на её алгоритмы, как она будет проверять/выводить?
Может не так уж сами они уверенны, не зря ведь:

SunTM рекомендует использовать от трех... дисков

От трёх оно и на обычном райде уверенней себя чувствуется.

А если не zfs, винда например, аппаратный райд, и т.п.

тема "синхронность зеркалированного raid" речь только об этом.

Вопрос как привести в соответствие два рассинхронизированных диска в
зеркалированном массиве, не путем "копирования с одного на другой"
а путем чтения обоих и сравнения. Или как убедиться в сихнронности.

Можно своё написать, но может есть готовое что? например в man gmirror
не видно чего либо для решения этой задачи. То есть там предусмотрено
только введение чистого диска, на который производится копирование.

Alex Keda

купите нормальный контроллер с батарейкой.
если совсем всё плохо - можно на ebay сторговать в пределах 5k рублей, даже с нынешним курсом.

Alteron · Непрочитанное сообщение **Alteron** » 2015-03-01 23:42:26

Согласен с предыдущим постом. Много лет работаю с нормальными рейд-контроллерами (3ware, HP и т.д.), пока ещё не сталкивался с рассинхронизацией рейда. Вышеописанным страдают фейковые или полностью софтовые массивы. Но рассматривать работу с ними на серверах... по меньшей мере глупо.

oklas · Непрочитанное сообщение **oklas** » 2015-03-02 11:26:11

Alteron писал(а): Много лет работаю с нормальными рейд-контроллерами (3ware, HP и т.д.), пока ещё не сталкивался с рассинхронизацией рейда. Вышеописанным страдают фейковые или полностью софтовые массивы. Но рассматривать работу с ними на серверах... по меньшей мере глупо.

Да конечно, на серверах не вопрос...

Можно конечно утверждать что мы не сталкивались с рассинхронизацией
рейда если бы был инструмент, который это проверяет, про что и вопрос,
как проверить это на фейковом и т.п.

Если серьёзный контроллер читает с обоих дисков-зеркал, и проверят совпадение данных, то он обнаруживает рассинхронизацию, и даст аларм и т.п.

Но, по определению, распараллеливание запросов при чтении в райд, гарантирует
что рассинхронизация не обнаруживается. Она правда может обнаружиться на
контрольной сумме сектора или ФС. тогда вопрос о вероятности коллизий
контрольных сумм, тут если кратко, то контрольные суммы гарантируют
не абсолютно, а только с хорошей вероятностью.

Как отличить рассинхронизацию раид, например по косяку в базе, вызванному
например прибиванием процесса по ошибке админа или недостатка памяти?
В таких случаях просто считается - косяк, причём давний, и неизвестно как
возник... Вобщем то действительно без разницы как возник. Хотя приятней
знать причину, чем подозревать админа, или какую-то мистику в железе.

Просто интересно есть ли такой инструмент, интересно было бы периодически
проверить, или тем более проверить после выдергивания шнура или bsod/panic.
Не то чтобы такое часто случается. Если есть райд и может быть такая проблема,
то где инструмент на этот случай? Словом раз такой утили нет - можно на досуге
сделать, хоть на sh+dd, только на сях побыстрее будет.

Alteron · Непрочитанное сообщение **Alteron** » 2015-03-02 14:08:15

Думаю, что никак, ибо железка просто не предназначена для каких-то критичных случаев.

Neus · Непрочитанное сообщение **Neus** » 2015-03-02 16:27:36

Думаю что в исходниках gmirror найдешь ответы.

Alex Keda

Какие-то сферические рейды в вакууме....
Какая должна быть ситуация для рассинхронизации аппаратного рейда?

Если сбой питания, ресет и т.п. - для него штатные операции?

snorlov · Непрочитанное сообщение **snorlov** » 2015-03-05 17:23:20

oklas,
Вы какой-то бред начали нести, начнем с того, что появление различных raid'ов связано с отказом механики в дисках, другими словами слабое звено это механика в дисках и вентиляторах. А то, что админ прибил процесс, это вообще к raid'ам не относится... В старые времена, во время NT3.51, я тогда был молодым и зеленым и попался мне adaptec с интерфейсом scsi-1 в коробочнома варианте и толстенькой книжкой на англицком языке, так вот по той документации тот контроллер записывал данные поблочно сразу на 2-а устройства, сразу их считывая, сверяя между собой и оригиналом, в случае отказа сектора помечались как битые ну и соответсвенно писались в другое место, а вот когда шло чтение, то в систему выдавался первый пришедший блок без верификации...

oklas · Непрочитанное сообщение **oklas** » 2015-03-08 23:12:21

Alex Keda писал(а):Какие-то сферические рейды в вакууме....
Какая должна быть ситуация для рассинхронизации аппаратного рейда?
Если сбой питания, ресет и т.п. - для него штатные операции?

Вы же сами написали про батарейку. Где написано, что аппаратный рэйд
значит с батарейкой? Во многих платах имеется аппаратный рэид.
Аппаратный рэйд это микросхема, и про питание ничего не говорится.
Для аппаратного рейда без батарейки, ни как не может быть "сбой питания,
штатной операцией" (а ресет - вполне может).

Когда питание пропадает, негде взять энергию, как минимум на
перемещение головок не так-ли? Каждый из дисков имеет различные
физически параметры, и данные пишутся несколько неодновременно,
остановка записи в итоге происходит неодновременно. В итоге на каждом
из дисков дозаписано разное количество инфы, следовательно рассинхронизация.
Пропадание питания с дисков не гарантирует запись писавшегося куска данных,
соответственно в зеркалированном рэйд есть вероятность рассинхронизации.

Что может предотвратить это? Никакого сигнала о том что питание пропадёт.
Вот мы спокойно пишем, и в следующий момент, всё, нет питания, ни головку
подвинуть, ни бит послать. В каждой плате такие райды, ничего сферичского.

snorlov · Непрочитанное сообщение **snorlov** » 2015-03-09 12:08:59

oklas,
Вы только забываете, что при появлении питания, данные, хранящиеся в кеше контроллера с батарейкой будут гарантированно записаны на диск, если вы ничего не сделали с компом и дисками...
Развели холивар, тексты geom_mirror в наличии у вас навероне имеютя, взяли и посмотрели что и как, поверьте биос raid контроллера не очень отличается...

Alex Keda

Незнаю насчёт кэша, но вот что точно помню - при пропадании питания двигатель переключается в режим генерации, и энергия идёт на парковку головок....

Контроллер без батарейки - бессмысленно. Тока собирать массивы. В плане надёжности выигрыша не получается....

forum.lissyara.su