Страница 34 из 39

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-15 12:23:54
harmless
ak42 писал(а):harmless, а где скачать ?
20180214

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-15 12:45:49
ak42
Спасибо, скачалось и потом обновилось.
Проблема была в том, что rel-sta заменили на rel-bat

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-16 18:00:50
V0lk
harmless писал(а):
ak42 писал(а):harmless, а где скачать ?
20180214
Поставил для эксперимента эту версию.
Первый раз завис скрипт при ручном запуске.
Пару раз стоп/старт - скачались базы, но без версии 11.
Записал пуск через планировщик.
Скрипт "сошел с ума" - все время по кругу выполняется.
В логе (пример):

Код: Выделить всё

[2018-02-16, 16:52:16] [ver. 9] Mirror um05.eset.com active
[2018-02-16, 16:52:16] [ver. 11] Mirror um16.cn.eset.com inactive
[2018-02-16, 16:52:16] [ver. 9] Mirror um06.eset.com active
[2018-02-16, 16:52:16] [ver. 11] Mirror um10.za.eset.com inactive
[2018-02-16, 16:52:16] [ver. 9] Mirror um07.eset.com active
[2018-02-16, 16:52:16] [ver. 11] Mirror um01.ru.eset.com inactive
[2018-02-16, 16:52:16] [ver. 11] All mirrors is down!
[2018-02-16, 16:52:16] Total size for all databases: 1.94 GBytes
[2018-02-16, 16:52:16] Generating html...
[2018-02-16, 16:52:16] Total working time: 03:15
[2018-02-16, 16:52:16] Stop script.
[2018-02-16, 16:52:17] [ver. 9] Mirror um08.eset.com active
[2018-02-16, 16:52:17] [ver. 9] Mirror um09.eset.com active
[2018-02-16, 16:52:18] [ver. 9] Mirror um10.eset.com active
Web:
ИзображениеИзображение

Система, та же что и была:

Код: Выделить всё

$ cat /etc/debian_version 
9.3

$ uname -a
Linux lab 4.9.0-5-amd64 #1 SMP Debian 4.9.65-3+deb9u2 (2018-01-04) x86_64 GNU/Linux

$ php -m
[PHP Modules]
calendar
Core
ctype
curl
date
dom
exif
fileinfo
filter
ftp
gettext
hash
iconv
json
libxml
mbstring
openssl
pcntl
pcre
PDO
Phar
posix
readline
Reflection
session
shmop
SimpleXML
sockets
SPL
standard
sysvmsg
sysvsem
sysvshm
tokenizer
wddx
xml
xmlreader
xmlwriter
xsl
Zend OPcache
zlib

[Zend Modules]
Zend OPcache

$ php -v
PHP 7.0.27-0+deb9u1 (cli) (built: Jan  5 2018 13:51:52) ( NTS )
Copyright (c) 1997-2017 The PHP Group
Zend Engine v3.0.0, Copyright (c) 1998-2017 Zend Technologies
    with Zend OPcache v7.0.27-0+deb9u1, Copyright (c) 1999-2017, by Zend Technologies
P.S. Поставил для теста у виртуалку с Centos 7 - тоже завис на этапе загрузки файлов.
P.P.S. Инет 100Мбит/с.

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-16 23:23:22
harmless
V0lk, читать топик внимательно - бд 11 ещё не существует, 11 версия качает бд 10
По поводу зависаний - дебаг и выхлоп сюда, но перед этим обновить curl!
У меня было замечено торможение скачивания на Debian на одной виртуалке на одном хосте - на других хостах и ос все как часики

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-17 9:51:28
ak42
версия 20180214 запускается на VPS под Ubuntu.
некоторые файлы очень медленно грузятся, буквально сотня байт в секунду.

Код: Выделить всё

[2018-02-17, 08:01:23] [ver. 6] С update.eset.com загружено em023_32_n12.nup [256.37 KBytes] [4.19 KBytes/s]
[2018-02-17, 08:02:22] [ver. 6] С update.eset.com загружено em021_32_n14.nup [601.11 KBytes] [722 Bytes/s]
[2018-02-17, 08:06:25] [ver. 6] С update.eset.com загружено em021_32_n1.nup [80.3 KBytes] [169 Bytes/s]
[2018-02-17, 08:06:27] [ver. 6] С update.eset.com загружено em002_32_n19.nup [200.3 KBytes] [164 Bytes/s]
[2018-02-17, 08:08:25] [ver. 6] С update.eset.com загружено em002_32_n18.nup [196.73 KBytes] [317 Bytes/s]
[2018-02-17, 08:10:22] [ver. 6] С update.eset.com загружено em002_32_n11.nup [124.64 KBytes] [138 Bytes/s]
[2018-02-17, 08:10:25] [ver. 6] С update.eset.com загружено em002_32_l2.nup [1.3 MBytes] [138 Bytes/s]
[2018-02-17, 08:10:26] [ver. 6] С update.eset.com загружено em023_32_n8.nup [108.63 KBytes] [138 Bytes/s]
[2018-02-17, 08:12:25] [ver. 6] С update.eset.com загружено em002_32_n15.nup [174.13 KBytes] [115 Bytes/s]
из-за этого скрипт очень долго работает иногда даже часа не хватает и принудительно убивается timeout'ом.
можно сделать, чтобы скрипт перезапускал закачку, если скорость меньше определенного порога ?

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-17 10:14:56
harmless
ak42, такое заметил на одной виртуалке с Debian 9 под bhyve.
Но на другом гипервизоре в такой же виртуалке все ок.
Попробуй отключить многопоточную загрузку сигнатур(отключи self_update и отредактируй Mirror::download функцию

Код: Выделить всё

static protected function download($download_files)
    {
        Log::write_log(Language::t("Running %s", __METHOD__), 5, static::$version);
        switch (function_exists('curl_multi_init')) {
            case true:
                #static::multi_download($download_files);
                #break;
            case false:
            default:
                static::single_download($download_files);
                break;
        }
    }
Включи дебаг и если что-то будет не так - выкладывай сюда

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-17 10:53:52
ak42
harmless, сделал
а где искать debug info ?
запустил update.php, но скрипт ничего не качал, т.к. "ваша база актуальна"
но тем не менее он в конце написал, что база обновлена с версии 16918 до версии 16918

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-17 11:53:01
harmless
ak42 писал(а):harmless, сделал
а где искать debug info ?
запустил update.php, но скрипт ничего не качал, т.к. "ваша база актуальна"
но тем не менее он в конце написал, что база обновлена с версии 16918 до версии 16918
Удали файлы баз и запусти скрипт - дебаг будет в консоли и в логе

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-17 11:56:34
V0lk
harmless писал(а):V0lk, читать топик внимательно - бд 11 ещё не существует, 11 версия качает бд 10
Да мне она и не сильно нужна, я фанат Endpoint редакций :)
harmless писал(а):По поводу зависаний - дебаг и выхлоп сюда, но перед этим обновить curl!

Код: Выделить всё

$ curl -V
curl 7.52.1 (x86_64-pc-linux-gnu) libcurl/7.52.1 OpenSSL/1.0.2l zlib/1.2.8 libidn2/0.16 libpsl/0.17.0 (+libidn2/0.16) libssh2/1.7.0 nghttp2/1.18.1 librtmp/2.3
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtmp rtsp scp sftp smb smbs smtp smtps telnet tftp
Features: AsynchDNS IDN IPv6 Largefile GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz TLS-SRP HTTP2 UnixSockets HTTPS-proxy PSL
Новее в дистрибутиве нет.
Сегодня скрипт нормально отработал, НО после чистки файла ключей.
Буду дальше наблюдать. Для себя придумал "костыль":

Код: Выделить всё

#ESET update
15 */4 * * * cd /etc/nod32ms/ && /usr/bin/php update.php >/dev/null 2>&1
#Kill all PHP
* */1 * * * /usr/bin/killall php >/dev/null 2>&1
Суть "костыля": если скрипт "висит" 45 минут, его прибьет планировщик.

P.S. Centos я с хостом своей рабочей машины юзал с Debian, может дело в этом было в плане зависания процесса загрузки файлов.

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-17 12:18:46
ak42
harmless, все нормально скачалось, лог выкладывать ?
V0lk, у меня так 0 0,8,16 * * * timeout -s 9 3600 php /home/user/nod32/update.php > /dev/null

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-17 12:21:01
harmless
ak42, если все ок - то не нужно
Я не могу отловить почему на некоторых виртуалках и со притормаживает

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-17 12:30:08
ak42
harmless, ну так может сделать установку в конфиге: скорость меньше этого значения - презапускаем закачку ?

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-17 19:36:11
V0lk
ak42 писал(а):harmless, ну так может сделать установку в конфиге: скорость меньше этого значения - презапускаем закачку ?
Актуально. Смотрю, PHP висит уже больше 15 минут. Последние записи в логе:

Код: Выделить всё

[2018-02-17, 18:23:32] [ver. 9] Checking mirror um05.eset.com with key [TRIAL-0206907654:xxxxxxxx]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n1.nup [10.04 KBytes] [134.99 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n1.nup [9.14 KBytes] [118.4 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n4.nup [30.81 KBytes] [215.13 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em021_64_n1.nup [34.21 KBytes] [226.7 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n2.nup [18.34 KBytes] [116.57 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n3.nup [30.35 KBytes] [181.32 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_l2.nup [62.98 KBytes] [253.72 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n5.nup [49.03 KBytes] [197.71 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n9.nup [83.91 KBytes] [207.86 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n19.nup [219.91 KBytes] [487.87 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n18.nup [212.53 KBytes] [455.07 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n2.nup [20.94 KBytes] [40.59 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n5.nup [40.18 KBytes] [75.53 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n8.nup [79.21 KBytes] [125.2 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n2.nup [112.92 KBytes] [167.21 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n10.nup [438.73 KBytes] [643.42 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n17.nup [203.93 KBytes] [291.67 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n10.nup [124.35 KBytes] [177.93 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n20.nup [493.02 KBytes] [640.63 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n13.nup [266.96 KBytes] [321.11 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_l1.nup [275.8 KBytes] [317.82 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n11.nup [143.01 KBytes] [163.16 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n6.nup [275.81 KBytes] [306.42 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n15.nup [298.99 KBytes] [308.52 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n11.nup [461.17 KBytes] [462.21 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n20.nup [225.81 KBytes] [222.25 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n4.nup [39.09 KBytes] [37.5 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n7.nup [62.99 KBytes] [54.11 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n13.nup [602.7 KBytes] [370 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em002_64_l2.nup [2.25 MBytes] [1.24 MBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n5.nup [250.88 KBytes] [136.08 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n4.nup [201.76 KBytes] [108.41 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em002_64_n3.nup [23.29 KBytes] [12.39 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n12.nup [520.55 KBytes] [234.74 KBytes/s]
[2018-02-17, 18:23:35] [ver. 9] From um05.eset.com downloaded em021_64_n15.nup [630.38 KBytes] [275.85 KBytes/s]
[2018-02-17, 18:23:37] [ver. 9] From um05.eset.com downloaded em023_64_n19.nup [445.02 KBytes] [96.44 KBytes/s]
[2018-02-17, 18:23:38] [ver. 9] From um05.eset.com downloaded em002_64_n16.nup [194.83 KBytes] [39.71 KBytes/s]
[2018-02-17, 18:23:49] [ver. 9] From um05.eset.com downloaded em002_64_n14.nup [180.71 KBytes] [10.79 KBytes/s]
[2018-02-17, 18:23:49] [ver. 9] From um05.eset.com downloaded em002_64_n11.nup [105.13 KBytes] [6.22 KBytes/s]
[2018-02-17, 18:24:04] [ver. 9] From um05.eset.com downloaded em021_64_n7.nup [361.14 KBytes] [11.18 KBytes/s]
[2018-02-17, 18:24:05] [ver. 9] From um05.eset.com downloaded em023_64_n12.nup [180.37 KBytes] [5.47 KBytes/s]
[2018-02-17, 18:24:05] [ver. 9] From um05.eset.com downloaded em023_64_n16.nup [345.26 KBytes] [10.45 KBytes/s]
[2018-02-17, 18:24:05] [ver. 9] From um05.eset.com downloaded em002_64_n6.nup [67.81 KBytes] [2.02 KBytes/s]
[2018-02-17, 18:24:06] [ver. 9] From um05.eset.com downloaded em002_64_n13.nup [154.41 KBytes] [4.56 KBytes/s]
[2018-02-17, 18:24:06] [ver. 9] From um05.eset.com downloaded em023_64_n18.nup [401.54 KBytes] [11.84 KBytes/s]
[2018-02-17, 18:24:06] [ver. 9] From um05.eset.com downloaded em002_64_n15.nup [184.07 KBytes] [5.42 KBytes/s]
[2018-02-17, 18:24:08] [ver. 9] From um05.eset.com downloaded em021_64_n8.nup [398.49 KBytes] [11.39 KBytes/s]
[2018-02-17, 18:24:37] [ver. 9] From um05.eset.com downloaded em021_64_n3.nup [180.75 KBytes] [1.25 KBytes/s]
[2018-02-17, 18:24:38] [ver. 9] From um05.eset.com downloaded em023_64_n10.nup [122.59 KBytes] [1.88 KBytes/s]
[2018-02-17, 18:24:38] [ver. 9] From um05.eset.com downloaded em023_64_n6.nup [53.4 KBytes] [831 Bytes/s]
[2018-02-17, 18:25:41] [ver. 9] From um05.eset.com downloaded em023_64_n17.nup [364.75 KBytes] [621 Bytes/s]
[2018-02-17, 18:27:45] [ver. 9] From um05.eset.com downloaded em023_64_n14.nup [268.43 KBytes] [308 Bytes/s]
[2018-02-17, 18:27:49] [ver. 9] From um05.eset.com downloaded em021_64_n14.nup [623.29 KBytes] [325 Bytes/s]
Посмотрите, как закономерно падает скорость закачки. Роутер MikroTik hEX lite (RB750r2), если что.
ak42 писал(а):V0lk, у меня так 0 0,8,16 * * * timeout -s 9 3600 php /home/user/nod32/update.php > /dev/null
Тоже хорошее решение.

P.S. Скрипт таки выкачал обновы где-то за 20 минут мучений. Продолжу наблюдения за его работой.

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-22 16:16:29
ak42
harmless, после автообновления на версию 20180222 скрипт обновил базы ver6 и вышел, а ver8 не стал обновлять.
При повторном запуске обе версии баз обвновились нормально

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-22 16:55:16
fahr
относительно тормозов при закачке баз, замечено неоднократно, что при загрузке с um01.ru.eset.com тормозов нет

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-22 17:16:02
harmless
Исправил мелкие баги в последней версии - все должно работать нормально со следующего запуска после обновления
++++++++++
По поводу проседания скорости при загрузке - баг замечен только на виртуалках разных гипервизоров, проверял на docker и lxd(lxc) контейнерах на разных ОС(macosx, debian 9, ubuntu 16.04) скрипт работает как нужно и без обновления пакета curl
Если у кого-то есть идеи как выловить причину - пишите

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-22 20:34:41
5973785
Я в списке зеркал откуда тянуть обновы оставил только упдатед.Есет.ком и с тех пор больше месяца глюк не проявлялся, хотя не исключают что это связано счемто другим.

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-26 12:22:08
V0lk
harmless, 5973785, а я, как всегда, костылями проблему решил - скрипт запускаю каждый час в 15 минут, а каждый час в 5 минут прибиваю скрипт. Суть - если закачка зависла, через час скрипт начнет качать заново.
Знаю, некрасиво, но работает.

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-26 12:37:00
AlexVPetrov
V0lk, можно через утилиту timeout

Код: Выделить всё

timeout 55m /usr/local/bin/php -q update.php

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-02-26 13:45:58
V0lk
AlexVPetrov, спасибо! Это же Linux-way - решать как удобней конкретно вам :)

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-03-01 14:44:10
kc_duke
Всем доброго времени суток,
прошу прощение что с порога и сразу о плохом. Но как мне кажется я нашел странный баг. Хотел сделать чтобы update.ver и сами обновы были в одном каталоге и поправил init.php, ну вот так для 5 версии:

Код: Выделить всё

$DIRECTORIES = array(
    3 => 'eset_upd',
    4 => 'eset_upd/v4',
    5 => 'v5-rel-sta',
    6 => 'eset_upd/v6',
    7 => 'eset_upd/v7',
    8 => 'eset_upd/v8',
    9 => 'eset_upd/v9',
    10 => 'eset_upd/v10',
    11 => 'eset_upd/v11',
После этой правки абсолютно все серверы становятся недоступными:

Код: Выделить всё

2018-03-01, 11:31:25] [ver. 5] Зеркало update.eset.com недоступно
[2018-03-01, 11:31:25] [ver. 5] Зеркало um01.eset.com недоступно
[2018-03-01, 11:31:26] [ver. 5] Зеркало um02.eset.com недоступно
[2018-03-01, 11:31:26] [ver. 5] Зеркало um03.eset.com недоступно
[2018-03-01, 11:31:26] [ver. 5] Зеркало um04.eset.com недоступно
[2018-03-01, 11:31:26] [ver. 5] Зеркало um05.eset.com недоступно
[2018-03-01, 11:31:27] [ver. 5] Зеркало um06.eset.com недоступно
[2018-03-01, 11:31:27] [ver. 5] Зеркало um07.eset.com недоступно
[2018-03-01, 11:31:28] [ver. 5] Зеркало um08.eset.com недоступно
[2018-03-01, 11:31:28] [ver. 5] Зеркало um09.eset.com недоступно
[2018-03-01, 11:31:29] [ver. 5] Зеркало um10.eset.com недоступно
[2018-03-01, 11:31:29] [ver. 5] Зеркало um21.eset.com недоступно
[2018-03-01, 11:31:29] [ver. 5] Зеркало um23.eset.com недоступно
[2018-03-01, 11:31:50] [ver. 5] Зеркало um13.cn.eset.com недоступно
[2018-03-01, 11:32:11] [ver. 5] Зеркало um15.cn.eset.com недоступно
[2018-03-01, 11:32:32] [ver. 5] Зеркало um16.cn.eset.com недоступно
[2018-03-01, 11:32:33] [ver. 5] Зеркало um10.za.eset.com недоступно
[2018-03-01, 11:32:33] [ver. 5] Зеркало um01.ru.eset.com недоступно
[2018-03-01, 11:32:33] [ver. 5] Ни одно зеркало не отвечает!
Как только привожу обратно к виду eset_upd/v5 сервера находятся.

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-03-01 15:01:01
fahr
kc_duke писал(а): мне кажется я нашел странный баг
вам кажется, это не баг :smile:
оставьте все как есть, зачем изобретать велосипед?

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-03-01 15:09:22
kc_duke
Не хочу чтобы ссылка была вида eset_upd/v*. Есть домен и хотел сделать что-то типа: v4.домен.нет, v5.домен.нет. Подумал что это самый простой способ. Но не тут то было. :(

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-03-01 15:38:36
Plague
а что мешает вырулить тоже самое средствами веб-сервера, не трогая скрипт?
кстати, не уверен, что это понравится клиентам.

шустрый скрипт скрипт зеркала NOD32

Добавлено: 2018-03-01 15:43:17
fahr
вот-вот, простой и правильный способ - это сконфигурировать ваш веб-сервер