Зеркало pkg.freebsd.org

[a1.0]

Добрый день!
Появилась необходимость сделать зеркало http://pkg.freebsd.org/, но не смог найти инструкций, как это сделать. Может кто сталкивался?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[guest]

Добрый день!
Появилась необходимость сделать зеркало http://pkg.freebsd.org/, но не смог найти инструкций, как это сделать. Может кто сталкивался?

инструкция как зеркалить сайты по http?

Код: Выделить всё

# host -t srv _http._tcp.pkg.freebsd.org
_http._tcp.pkg.freebsd.org has SRV record 10 10 80 pkgmir.pkg.freebsd.org.
_http._tcp.pkg.freebsd.org has SRV record 50 10 80 pkg0.bme.freebsd.org.
_http._tcp.pkg.freebsd.org has SRV record 50 10 80 pkg0.isc.freebsd.org.
_http._tcp.pkg.freebsd.org has SRV record 50 10 80 pkg0.nyi.freebsd.org.
_http._tcp.pkg.freebsd.org has SRV record 50 10 80 pkg0.ydx.freebsd.org.
#

лучше всего использовать lftp для зеркалирования, зеркалить лучше с зеркала yandex:
pkg0.ydx.freebsd.org или искать ближайшее к себе.

[a1.0]

С lftp не получается, он сохраняет несколько файлов и всё. получается как то так:

Код: Выделить всё

-rw-r--r-- 1 root    root    1610 Авг  4 17:08 freebsd:10:x86:32
-rw-r--r-- 1 root    root    1610 Авг  4 17:08 freebsd:10:x86:64
-rw-r--r-- 1 root    root    1212 Авг  4 17:08 freebsd:11:x86:32
-rw-r--r-- 1 root    root    1212 Авг  4 17:08 freebsd:11:x86:64
-rw-r--r-- 1 root    root    1121 Авг  4 17:08 freebsd:8:x86:32
-rw-r--r-- 1 root    root    1121 Авг  4 17:08 freebsd:8:x86:64
-rw-r--r-- 1 root    root    1511 Авг  4 17:08 freebsd:9:x86:32
-rw-r--r-- 1 root    root    1511 Авг  4 17:08 freebsd:9:x86:64
-rw-r--r-- 1 root    root    2816 Мар  8 12:01 index.html
-rw-r--r-- 1 root    root    4248 Янв 30  2014 index-ru.html

[f_andrey]

но не смог найти инструкций, как это сделать.

Ибо её пока нет, как указано выше, можно пытаться смиррорить через публичный веб, а вообще рекомендуют организовать свой билд сервер и делать свой репозиторий, благо теперь это дело пары команд.
Если очень нужно, то пожалуй стоит поднять тему в одной из профильных англоязычных рассылок, предыдущие заходы были где то по весне, там вроде обещали что что то готовится.

[guest]

С lftp не получается, он сохраняет несколько файлов и всё. получается как то так:

Код: Выделить всё

-rw-r--r-- 1 root    root    1610 Авг  4 17:08 freebsd:10:x86:32
-rw-r--r-- 1 root    root    1610 Авг  4 17:08 freebsd:10:x86:64
-rw-r--r-- 1 root    root    1212 Авг  4 17:08 freebsd:11:x86:32
-rw-r--r-- 1 root    root    1212 Авг  4 17:08 freebsd:11:x86:64
-rw-r--r-- 1 root    root    1121 Авг  4 17:08 freebsd:8:x86:32
-rw-r--r-- 1 root    root    1121 Авг  4 17:08 freebsd:8:x86:64
-rw-r--r-- 1 root    root    1511 Авг  4 17:08 freebsd:9:x86:32
-rw-r--r-- 1 root    root    1511 Авг  4 17:08 freebsd:9:x86:64
-rw-r--r-- 1 root    root    2816 Мар  8 12:01 index.html
-rw-r--r-- 1 root    root    4248 Янв 30  2014 index-ru.html

боже, как все запущено, кусок из скрипта собственного зеркала, поскольку мне
не нужно все а только 10(32/64) и 9(32/64), кусок для 10x64:

#!/bin/sh
...
MIRROR=/usr/local/bin/lftp
LOGDIR=/var/log/mirror
NAME="pkgng10x64"

$MIRROR -e "mirror --delete --only-newer --verbose=3 \
freebsd:10:x86:64 /pub/BSD/pkg/freebsd:10:x86:64 ; bye;" \
http://pkg0.ydx.freebsd.org/ >>$LOGDIR/$NAME.log 2>&1
...

lftp потому что удобней всего остального хлама, плюс нет проблем с timestamp.
Все остальное типа pavuk, curl - слишком могутное в сборке и неудобное в использовании,
wget для этих целей и вовсе отстой

[a1.0]

Спасибо!
Спустя несколько дней, всё синхронизировалось и заработало.

[guest]

Спасибо!
Спустя несколько дней, всё синхронизировалось и заработало.

дык понятно, объем то приличный, зачем Вам все:

Код: Выделить всё

    freebsd:8:x86:32
    freebsd:8:x86:64
    freebsd:9:x86:32
    freebsd:9:x86:64
    freebsd:10:x86:32
    freebsd:10:x86:64
    freebsd:11:x86:32
    freebsd:11:x86:64 

сделайте несколько сриптов только для нужных Вам версий и запускайте по крону разнося друг от друга по времени,
плюс проверку что скрипт с именем таким уже работает, если вдруг предыдущий запуск не завершил перекачку.

8'ка нафик не нужна, 11'ая - тоже, ибо кто current использует и сам с усам.

[a1.0]

Не, это только на freebsd:9:x86:64 у меня ушло несколько суток. Всё синхрить я не стал.