dd почему снимаються такие размеры ??

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

dd почему снимаються такие размеры ??

Непрочитанное сообщение Morty » 2008-01-30 13:06:12

есть комп , размер винта на нем 80 гиг
хочу снять с помощью dd образы.
подцепил на этот же комп еще один винт размером 4 гига - на него бум писать образ
(сделано намеренно т.к. образ большего размера не интересен)
есть такой простенький скрипт

Код: Выделить всё

!/bin/sh
echo "PLease wait, maiking HDD img....."
#dd if=/dev/ad0s1 | gzip > /mnt/disk.img.gz
echo "kolbasim koren..."
dd if=/dev/ad0s1a | gzip > /mnt/root.img.gz
echo "/ done..."
echo "kolbasim /tmp"
dd if=/dev/ad0s1d | gzip > /mnt/tmp.img.gz
echo "/tmp done...."
echo "kolbasim /usr"
dd if=/dev/ad0s1f | gzip > /mnt/usr.img.gz
echo "/usr done ...
echo "kolbasim /var""
dd if=/dev/ad0s1e | gzip > /mnt/var.img.gz
echo "/var done"
echo "...... Job Done !!!"
Вопрос : почему получаються образы разделов больше чем они физически занимают место ...???

Код: Выделить всё

# df -h
Filesystem     Size    Used   Avail Capacity  Mounted on
/dev/ad0s1a    496M     81M    375M    18%    /
devfs          1.0K    1.0K      0B   100%    /dev
/dev/ad0s1d    1.9G     18K    1.8G     0%    /tmp
/dev/ad0s1f     60G    362M     54G     1%    /usr
/dev/ad0s1e    9.7G     39M    8.9G     0%    /var
/dev/ad2s1     3.9G    3.9G   -320M   109%    /mnt

Код: Выделить всё

ls -lahFG /mnt/
total 4097238
drwxr-xr-x   3 root  wheel      512B 30 янв 11:38 ./
drwxr-xr-x  20 root  wheel      512B 29 янв 19:18 ../
drwxrwxr-x   2 root  operator   512B 29 янв 14:24 .snap/
-rw-r--r--   1 root  wheel      242M 29 янв 18:07 root.img.gz
-rw-r--r--   1 root  wheel      1,1G 29 янв 18:29 tmp.img.gz
-rw-r--r--   1 root  wheel      2,6G 29 янв 19:16 usr.img.gz
#
Почему в корне занято 81М а образ 242М,
tmp 1,1Gb а реально там занято всего 18кб
причем это все с сжатием !! капец какойто :?

ЗЫ: в теории я ожидал увидеть 480мб образ - если без сжатия ,со сжатием около 240мб

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35466
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение Alex Keda » 2008-01-30 13:08:10

и вкуривание в принцип его работы.
не думаю, что у тебя нулёвый диск из магазина заполненный нулями...
Убей их всех! Бог потом рассортирует...

Аватара пользователя
terminus
майор
Сообщения: 2305
Зарегистрирован: 2007-10-29 11:27:35
Откуда: Рига

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение terminus » 2008-01-30 13:11:52

Строго так! Тогда уж dump / restore используйте - он на уровне ФС работает, а dd на уровне секторов диска.
Модель: AST-PM-105/0044; Тип: Универсальный, ремонтный; Название: Терминус; Род повреждения: Распад функций; Выводы: Сдать на слом.

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение Morty » 2008-01-30 14:38:55

dump / restore хорошо, но там перед restore нада сначала винт нарезать на разделы чтобы было куда ресторить
а dd не нада

Аватара пользователя
dikens3
подполковник
Сообщения: 4856
Зарегистрирован: 2006-09-06 16:24:08
Откуда: Нижний Новгород
Контактная информация:

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение dikens3 » 2008-01-30 21:10:13

dd я так понимаю копирует всё, включая предыдущие данные. (Не помню затираются данные нулями после освобождения блока или нет. Вроде нет.)
Лучше установить FreeBSD, чем потратить 30 лет на Linux'ы и выяснить какой из них хуже.

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение Morty » 2008-01-30 21:27:35

dikens3 писал(а):dd я так понимаю копирует всё, включая предыдущие данные. (Не помню затираются данные нулями после освобождения блока или нет. Вроде нет.)
а вот с этого место поподробнее)
я так окончательно и не понял принципа dd :?
тоесть может быть стоит сначала сделать аля лоу левле формат винта чтобы удалить все что на нем было до этого ,а потом ? пробовать ,
или ерунду говорю?

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35466
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение Alex Keda » 2008-01-30 22:18:32

дд делает полный образ диска/раздела.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
dikens3
подполковник
Сообщения: 4856
Зарегистрирован: 2006-09-06 16:24:08
Откуда: Нижний Новгород
Контактная информация:

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение dikens3 » 2008-01-30 22:59:33

Удалённые данные не затираются нулями, иначе нафига моя статья?
Лучше установить FreeBSD, чем потратить 30 лет на Linux'ы и выяснить какой из них хуже.

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение Morty » 2008-01-30 23:46:30

да серьёзная статья(здесь не все удаёться прочитать)...нада будет очень хорошо поковырять в этом
направлении...почему то мне кажеться у меня начинаеться просветление.

Вспомнил подобный пример но с акронисом - правда по какому принципу он снимает образ не знаю.
Был новый магазинный винт на 320 Гб на нем настроил что просили, снял образ (Акронисом) = 3Гига
Потом тем же акронисом попробовал обычный шлюз снять но на очень б/у шном винте размером в 40Гиг
образ вышел равным 20 Гиг.

Встречный вопрос

Код: Выделить всё

dd if=/dev/zero of=/dev/ad0
таким образом я забью нулями винт - тоесть полноценно очистить , чтобы там уже точно ничего не осталось смогу ?

Аватара пользователя
dikens3
подполковник
Сообщения: 4856
Зарегистрирован: 2006-09-06 16:24:08
Откуда: Нижний Новгород
Контактная информация:

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение dikens3 » 2008-01-31 0:38:17

таким образом я забью нулями винт - тоесть полноценно очистить , чтобы там уже точно ничего не осталось смогу ?
Ну да. Потом попробуй образ сжать :-)
Лучше установить FreeBSD, чем потратить 30 лет на Linux'ы и выяснить какой из них хуже.

Аватара пользователя
freeman
лейтенант
Сообщения: 734
Зарегистрирован: 2007-03-18 5:13:25

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение freeman » 2008-01-31 13:00:55

Morty писал(а):Вспомнил подобный пример но с акронисом - правда по какому принципу он снимает образ не знаю.
Был новый магазинный винт на 320 Гб на нем настроил что просили, снял образ (Акронисом) = 3Гига
Потом тем же акронисом попробовал обычный шлюз снять но на очень б/у шном винте размером в 40Гиг
образ вышел равным 20 Гиг.
Акронис пока (это я надеюсь что пока, а так похоже что никогда) не умеет работать с UFS и тем более UFS2 файловыми системами, поэтому включает режим посектроного копирования, не получил ты по 40Гб в обоих случаях только потому что по дефолту включил сжатие образа, он где то в 2 раза и сжимает забитые данными места.
Остатся должен только один ...

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение Morty » 2008-01-31 17:40:04

поставил утром "обнулять" 80Гиг до сих пор обрабатывает, начинают закрадываться сомнения что
что-то не так. Или все нормально - можно спокойно ждать завершения ?
Как минимум уже 6 часов прошло

Аватара пользователя
terminus
майор
Сообщения: 2305
Зарегистрирован: 2007-10-29 11:27:35
Откуда: Рига

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение terminus » 2008-01-31 17:46:48

Важно указать bs! Иначе он цедит по 512byte

# dd if=/dev/zero of=/dev/ad0 bs=10m

смотрите потом
# iostat 3

скорость должна быть 50bm/s на ad0
Модель: AST-PM-105/0044; Тип: Универсальный, ремонтный; Название: Терминус; Род повреждения: Распад функций; Выводы: Сдать на слом.

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение Morty » 2008-01-31 18:22:20

мда - посмеялся над собой -)
ниче...щас исправим

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение Morty » 2008-02-01 18:07:38

всем спасибо за небезразличность - очень помогли.
после обнуления и поновой ddшил - получил желаемую картинку
usr - размер слайса 75G занято 325 Мб
после

Код: Выделить всё

dd if=/dev/ad0s1f | gzip > /mnt/usr.img.gz
получил образ раздела в 196мб
...буду дивгаться дальше -)

Аватара пользователя
terminus
майор
Сообщения: 2305
Зарегистрирован: 2007-10-29 11:27:35
Откуда: Рига

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение terminus » 2008-02-01 18:32:09

А gzip -9 зажал бы стльнее... :wink:

Код: Выделить всё

dd if=/dev/ad0s1f | gzip -9  > /mnt/usr.img.gz
Модель: AST-PM-105/0044; Тип: Универсальный, ремонтный; Название: Терминус; Род повреждения: Распад функций; Выводы: Сдать на слом.

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение Morty » 2008-02-01 18:43:42

terminus писал(а):А gzip -9 зажал бы стльнее... :wink:

Код: Выделить всё

dd if=/dev/ad0s1f | gzip -9  > /mnt/usr.img.gz
-) да так меня пока устраивает, фактор времени тоже важен, а то будет долго жать

Аватара пользователя
freeman
лейтенант
Сообщения: 734
Зарегистрирован: 2007-03-18 5:13:25

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение freeman » 2008-02-02 13:42:19

А bzip2 -9 ещё сильнее бы сжал ? :)
Остатся должен только один ...

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение Morty » 2008-02-02 14:32:56

не знаю сильнее не сильнее - так тоже нормально -)
нада дальше , вникнуть в
mkisofs, закинуть в образ cdboot чтоб грузилось с СДюка, образ который снял с помощью dd,
и маленький скриптик как то так

Код: Выделить всё

gunzip -c /usr/img/disk.img.gz | dd of=/dev/ad0s1
если все получиться то будет готовая ,настроенная freeBSD from CD
по моим прикидам должно на "разворот" с компакта уходит 20-30 мин.

ЗЫ: а на этом сайте есть что собрать в один компакт :wink:

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение manefesto » 2008-02-04 14:54:58

учти....если ты снимаешь копию с помощью dd, для разворачивания тебе придется разделы размечать таким же образом каким они и были размечены.
То есть если ты снимал образ с 80 gb hdd, то тебе понадобится идиентичный. С dump && restore намного проще.
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: dd почему снимаються такие размеры ??

Непрочитанное сообщение Morty » 2008-02-04 18:37:49

я это учитываю... я сечас перенес все это на 4гиговый винт
с таким набором софта:

Код: Выделить всё

FreeBSD6.3rel
 mc-light,squid,nmap,apache13,poptop,php5,
      php5-extentions,proftpd,elinks, portupgrade,
      ipcalc, mysql50-server(UTF-8),phpmyadmin,
      ipsec-tools,bsdstats
с помощью mkisofs сделал исошку - покачто влажу в мини-СД до 200мб
тоесть моя цель сделать некий установочный диск с уже собранным софтом для типичных
(инсталить-собирать каждый раз все с 0 не хочеться - лениво )
"средних шлюзов". А если нада будет вкл прокси - кэш можно подцепить на отдельный винт.
А может нада будет добавить какой-то скриптик для расширения раздела
А потом посмотрим что с этого выйдет...может еще один СД соберу с другим набором софта :wink:
пока что меня это решение устраивает