шустрый скрипт скрипт зеркала NOD32

[harmless]

harmless, а где скачать ?

20180214

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[ak42]

Спасибо, скачалось и потом обновилось.
Проблема была в том, что rel-sta заменили на rel-bat

[V0lk]

harmless, а где скачать ?

20180214

Поставил для эксперимента эту версию.
Первый раз завис скрипт при ручном запуске.
Пару раз стоп/старт - скачались базы, но без версии 11.
Записал пуск через планировщик.
Скрипт "сошел с ума" - все время по кругу выполняется.
В логе (пример):

Код: Выделить всё

[2018-02-16, 16:52:16] [ver. 9] Mirror um05.eset.com active
[2018-02-16, 16:52:16] [ver. 11] Mirror um16.cn.eset.com inactive
[2018-02-16, 16:52:16] [ver. 9] Mirror um06.eset.com active
[2018-02-16, 16:52:16] [ver. 11] Mirror um10.za.eset.com inactive
[2018-02-16, 16:52:16] [ver. 9] Mirror um07.eset.com active
[2018-02-16, 16:52:16] [ver. 11] Mirror um01.ru.eset.com inactive
[2018-02-16, 16:52:16] [ver. 11] All mirrors is down!
[2018-02-16, 16:52:16] Total size for all databases: 1.94 GBytes
[2018-02-16, 16:52:16] Generating html...
[2018-02-16, 16:52:16] Total working time: 03:15
[2018-02-16, 16:52:16] Stop script.
[2018-02-16, 16:52:17] [ver. 9] Mirror um08.eset.com active
[2018-02-16, 16:52:17] [ver. 9] Mirror um09.eset.com active
[2018-02-16, 16:52:18] [ver. 9] Mirror um10.eset.com active

Web:


Система, та же что и была:

Код: Выделить всё

$ cat /etc/debian_version 
9.3

$ uname -a
Linux lab 4.9.0-5-amd64 #1 SMP Debian 4.9.65-3+deb9u2 (2018-01-04) x86_64 GNU/Linux

$ php -m
[PHP Modules]
calendar
Core
ctype
curl
date
dom
exif
fileinfo
filter
ftp
gettext
hash
iconv
json
libxml
mbstring
openssl
pcntl
pcre
PDO
Phar
posix
readline
Reflection
session
shmop
SimpleXML
sockets
SPL
standard
sysvmsg
sysvsem
sysvshm
tokenizer
wddx
xml
xmlreader
xmlwriter
xsl
Zend OPcache
zlib

[Zend Modules]
Zend OPcache

$ php -v
PHP 7.0.27-0+deb9u1 (cli) (built: Jan  5 2018 13:51:52) ( NTS )
Copyright (c) 1997-2017 The PHP Group
Zend Engine v3.0.0, Copyright (c) 1998-2017 Zend Technologies
    with Zend OPcache v7.0.27-0+deb9u1, Copyright (c) 1999-2017, by Zend Technologies

P.S. Поставил для теста у виртуалку с Centos 7 - тоже завис на этапе загрузки файлов.
P.P.S. Инет 100Мбит/с.

[harmless]

V0lk, читать топик внимательно - бд 11 ещё не существует, 11 версия качает бд 10
По поводу зависаний - дебаг и выхлоп сюда, но перед этим обновить curl!
У меня было замечено торможение скачивания на Debian на одной виртуалке на одном хосте - на других хостах и ос все как часики

[ak42]

версия 20180214 запускается на VPS под Ubuntu.
некоторые файлы очень медленно грузятся, буквально сотня байт в секунду.

Код: Выделить всё

[2018-02-17, 08:01:23] [ver. 6] С update.eset.com загружено em023_32_n12.nup [256.37 KBytes] [4.19 KBytes/s]
[2018-02-17, 08:02:22] [ver. 6] С update.eset.com загружено em021_32_n14.nup [601.11 KBytes] [722 Bytes/s]
[2018-02-17, 08:06:25] [ver. 6] С update.eset.com загружено em021_32_n1.nup [80.3 KBytes] [169 Bytes/s]
[2018-02-17, 08:06:27] [ver. 6] С update.eset.com загружено em002_32_n19.nup [200.3 KBytes] [164 Bytes/s]
[2018-02-17, 08:08:25] [ver. 6] С update.eset.com загружено em002_32_n18.nup [196.73 KBytes] [317 Bytes/s]
[2018-02-17, 08:10:22] [ver. 6] С update.eset.com загружено em002_32_n11.nup [124.64 KBytes] [138 Bytes/s]
[2018-02-17, 08:10:25] [ver. 6] С update.eset.com загружено em002_32_l2.nup [1.3 MBytes] [138 Bytes/s]
[2018-02-17, 08:10:26] [ver. 6] С update.eset.com загружено em023_32_n8.nup [108.63 KBytes] [138 Bytes/s]
[2018-02-17, 08:12:25] [ver. 6] С update.eset.com загружено em002_32_n15.nup [174.13 KBytes] [115 Bytes/s]

из-за этого скрипт очень долго работает иногда даже часа не хватает и принудительно убивается timeout'ом.
можно сделать, чтобы скрипт перезапускал закачку, если скорость меньше определенного порога ?

[harmless]

ak42, такое заметил на одной виртуалке с Debian 9 под bhyve.
Но на другом гипервизоре в такой же виртуалке все ок.
Попробуй отключить многопоточную загрузку сигнатур(отключи self_update и отредактируй Mirror::download функцию

Код: Выделить всё

static protected function download($download_files)
    {
        Log::write_log(Language::t("Running %s", __METHOD__), 5, static::$version);
        switch (function_exists('curl_multi_init')) {
            case true:
                #static::multi_download($download_files);
                #break;
            case false:
            default:
                static::single_download($download_files);
                break;
        }
    }

Включи дебаг и если что-то будет не так - выкладывай сюда

[ak42]

harmless, сделал
а где искать debug info ?
запустил update.php, но скрипт ничего не качал, т.к. "ваша база актуальна"
но тем не менее он в конце написал, что база обновлена с версии 16918 до версии 16918

[harmless]

harmless, сделал
а где искать debug info ?
запустил update.php, но скрипт ничего не качал, т.к. "ваша база актуальна"
но тем не менее он в конце написал, что база обновлена с версии 16918 до версии 16918

Удали файлы баз и запусти скрипт - дебаг будет в консоли и в логе

[V0lk]

V0lk, читать топик внимательно - бд 11 ещё не существует, 11 версия качает бд 10

Да мне она и не сильно нужна, я фанат Endpoint редакций

По поводу зависаний - дебаг и выхлоп сюда, но перед этим обновить curl!

Код: Выделить всё

$ curl -V
curl 7.52.1 (x86_64-pc-linux-gnu) libcurl/7.52.1 OpenSSL/1.0.2l zlib/1.2.8 libidn2/0.16 libpsl/0.17.0 (+libidn2/0.16) libssh2/1.7.0 nghttp2/1.18.1 librtmp/2.3
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtmp rtsp scp sftp smb smbs smtp smtps telnet tftp
Features: AsynchDNS IDN IPv6 Largefile GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz TLS-SRP HTTP2 UnixSockets HTTPS-proxy PSL

Новее в дистрибутиве нет.
Сегодня скрипт нормально отработал, НО после чистки файла ключей.
Буду дальше наблюдать. Для себя придумал "костыль":

Код: Выделить всё

#ESET update
15 */4 * * * cd /etc/nod32ms/ && /usr/bin/php update.php >/dev/null 2>&1
#Kill all PHP
* */1 * * * /usr/bin/killall php >/dev/null 2>&1

Суть "костыля": если скрипт "висит" 45 минут, его прибьет планировщик.

P.S. Centos я с хостом своей рабочей машины юзал с Debian, может дело в этом было в плане зависания процесса загрузки файлов.

[ak42]

harmless, все нормально скачалось, лог выкладывать ?
V0lk, у меня так 0 0,8,16 * * * timeout -s 9 3600 php /home/user/nod32/update.php > /dev/null

[harmless]

ak42, если все ок - то не нужно
Я не могу отловить почему на некоторых виртуалках и со притормаживает

[ak42]

harmless, ну так может сделать установку в конфиге: скорость меньше этого значения - презапускаем закачку ?

[V0lk]

harmless, ну так может сделать установку в конфиге: скорость меньше этого значения - презапускаем закачку ?

Актуально. Смотрю, PHP висит уже больше 15 минут. Последние записи в логе:

Код: Выделить всё

[2018-02-17, 18:23:32] [ver. 9] Checking mirror um05.eset.com with key [TRIAL-0206907654:xxxxxxxx]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n1.nup [10.04 KBytes] [134.99 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n1.nup [9.14 KBytes] [118.4 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n4.nup [30.81 KBytes] [215.13 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em021_64_n1.nup [34.21 KBytes] [226.7 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n2.nup [18.34 KBytes] [116.57 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n3.nup [30.35 KBytes] [181.32 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_l2.nup [62.98 KBytes] [253.72 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n5.nup [49.03 KBytes] [197.71 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n9.nup [83.91 KBytes] [207.86 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n19.nup [219.91 KBytes] [487.87 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n18.nup [212.53 KBytes] [455.07 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n2.nup [20.94 KBytes] [40.59 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n5.nup [40.18 KBytes] [75.53 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n8.nup [79.21 KBytes] [125.2 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n2.nup [112.92 KBytes] [167.21 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n10.nup [438.73 KBytes] [643.42 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n17.nup [203.93 KBytes] [291.67 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n10.nup [124.35 KBytes] [177.93 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n20.nup [493.02 KBytes] [640.63 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n13.nup [266.96 KBytes] [321.11 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_l1.nup [275.8 KBytes] [317.82 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n11.nup [143.01 KBytes] [163.16 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n6.nup [275.81 KBytes] [306.42 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n15.nup [298.99 KBytes] [308.52 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n11.nup [461.17 KBytes] [462.21 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n20.nup [225.81 KBytes] [222.25 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n4.nup [39.09 KBytes] [37.5 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n7.nup [62.99 KBytes] [54.11 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n13.nup [602.7 KBytes] [370 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em002_64_l2.nup [2.25 MBytes] [1.24 MBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n5.nup [250.88 KBytes] [136.08 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n4.nup [201.76 KBytes] [108.41 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em002_64_n3.nup [23.29 KBytes] [12.39 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n12.nup [520.55 KBytes] [234.74 KBytes/s]
[2018-02-17, 18:23:35] [ver. 9] From um05.eset.com downloaded em021_64_n15.nup [630.38 KBytes] [275.85 KBytes/s]
[2018-02-17, 18:23:37] [ver. 9] From um05.eset.com downloaded em023_64_n19.nup [445.02 KBytes] [96.44 KBytes/s]
[2018-02-17, 18:23:38] [ver. 9] From um05.eset.com downloaded em002_64_n16.nup [194.83 KBytes] [39.71 KBytes/s]
[2018-02-17, 18:23:49] [ver. 9] From um05.eset.com downloaded em002_64_n14.nup [180.71 KBytes] [10.79 KBytes/s]
[2018-02-17, 18:23:49] [ver. 9] From um05.eset.com downloaded em002_64_n11.nup [105.13 KBytes] [6.22 KBytes/s]
[2018-02-17, 18:24:04] [ver. 9] From um05.eset.com downloaded em021_64_n7.nup [361.14 KBytes] [11.18 KBytes/s]
[2018-02-17, 18:24:05] [ver. 9] From um05.eset.com downloaded em023_64_n12.nup [180.37 KBytes] [5.47 KBytes/s]
[2018-02-17, 18:24:05] [ver. 9] From um05.eset.com downloaded em023_64_n16.nup [345.26 KBytes] [10.45 KBytes/s]
[2018-02-17, 18:24:05] [ver. 9] From um05.eset.com downloaded em002_64_n6.nup [67.81 KBytes] [2.02 KBytes/s]
[2018-02-17, 18:24:06] [ver. 9] From um05.eset.com downloaded em002_64_n13.nup [154.41 KBytes] [4.56 KBytes/s]
[2018-02-17, 18:24:06] [ver. 9] From um05.eset.com downloaded em023_64_n18.nup [401.54 KBytes] [11.84 KBytes/s]
[2018-02-17, 18:24:06] [ver. 9] From um05.eset.com downloaded em002_64_n15.nup [184.07 KBytes] [5.42 KBytes/s]
[2018-02-17, 18:24:08] [ver. 9] From um05.eset.com downloaded em021_64_n8.nup [398.49 KBytes] [11.39 KBytes/s]
[2018-02-17, 18:24:37] [ver. 9] From um05.eset.com downloaded em021_64_n3.nup [180.75 KBytes] [1.25 KBytes/s]
[2018-02-17, 18:24:38] [ver. 9] From um05.eset.com downloaded em023_64_n10.nup [122.59 KBytes] [1.88 KBytes/s]
[2018-02-17, 18:24:38] [ver. 9] From um05.eset.com downloaded em023_64_n6.nup [53.4 KBytes] [831 Bytes/s]
[2018-02-17, 18:25:41] [ver. 9] From um05.eset.com downloaded em023_64_n17.nup [364.75 KBytes] [621 Bytes/s]
[2018-02-17, 18:27:45] [ver. 9] From um05.eset.com downloaded em023_64_n14.nup [268.43 KBytes] [308 Bytes/s]
[2018-02-17, 18:27:49] [ver. 9] From um05.eset.com downloaded em021_64_n14.nup [623.29 KBytes] [325 Bytes/s]

Посмотрите, как закономерно падает скорость закачки. Роутер MikroTik hEX lite (RB750r2), если что.

V0lk, у меня так 0 0,8,16 * * * timeout -s 9 3600 php /home/user/nod32/update.php > /dev/null

Тоже хорошее решение.

P.S. Скрипт таки выкачал обновы где-то за 20 минут мучений. Продолжу наблюдения за его работой.

[ak42]

harmless, после автообновления на версию 20180222 скрипт обновил базы ver6 и вышел, а ver8 не стал обновлять.
При повторном запуске обе версии баз обвновились нормально

[fahr]

относительно тормозов при закачке баз, замечено неоднократно, что при загрузке с um01.ru.eset.com тормозов нет

[harmless]

Исправил мелкие баги в последней версии - все должно работать нормально со следующего запуска после обновления
++++++++++
По поводу проседания скорости при загрузке - баг замечен только на виртуалках разных гипервизоров, проверял на docker и lxd(lxc) контейнерах на разных ОС(macosx, debian 9, ubuntu 16.04) скрипт работает как нужно и без обновления пакета curl
Если у кого-то есть идеи как выловить причину - пишите

[5973785]

Я в списке зеркал откуда тянуть обновы оставил только упдатед.Есет.ком и с тех пор больше месяца глюк не проявлялся, хотя не исключают что это связано счемто другим.

[V0lk]

harmless, 5973785, а я, как всегда, костылями проблему решил - скрипт запускаю каждый час в 15 минут, а каждый час в 5 минут прибиваю скрипт. Суть - если закачка зависла, через час скрипт начнет качать заново.
Знаю, некрасиво, но работает.

[AlexVPetrov]

V0lk, можно через утилиту timeout

Код: Выделить всё

timeout 55m /usr/local/bin/php -q update.php

[V0lk]

AlexVPetrov, спасибо! Это же Linux-way - решать как удобней конкретно вам

[kc_duke]

Всем доброго времени суток,
прошу прощение что с порога и сразу о плохом. Но как мне кажется я нашел странный баг. Хотел сделать чтобы update.ver и сами обновы были в одном каталоге и поправил init.php, ну вот так для 5 версии:

Код: Выделить всё

$DIRECTORIES = array(
    3 => 'eset_upd',
    4 => 'eset_upd/v4',
    5 => 'v5-rel-sta',
    6 => 'eset_upd/v6',
    7 => 'eset_upd/v7',
    8 => 'eset_upd/v8',
    9 => 'eset_upd/v9',
    10 => 'eset_upd/v10',
    11 => 'eset_upd/v11',

После этой правки абсолютно все серверы становятся недоступными:

Код: Выделить всё

2018-03-01, 11:31:25] [ver. 5] Зеркало update.eset.com недоступно
[2018-03-01, 11:31:25] [ver. 5] Зеркало um01.eset.com недоступно
[2018-03-01, 11:31:26] [ver. 5] Зеркало um02.eset.com недоступно
[2018-03-01, 11:31:26] [ver. 5] Зеркало um03.eset.com недоступно
[2018-03-01, 11:31:26] [ver. 5] Зеркало um04.eset.com недоступно
[2018-03-01, 11:31:26] [ver. 5] Зеркало um05.eset.com недоступно
[2018-03-01, 11:31:27] [ver. 5] Зеркало um06.eset.com недоступно
[2018-03-01, 11:31:27] [ver. 5] Зеркало um07.eset.com недоступно
[2018-03-01, 11:31:28] [ver. 5] Зеркало um08.eset.com недоступно
[2018-03-01, 11:31:28] [ver. 5] Зеркало um09.eset.com недоступно
[2018-03-01, 11:31:29] [ver. 5] Зеркало um10.eset.com недоступно
[2018-03-01, 11:31:29] [ver. 5] Зеркало um21.eset.com недоступно
[2018-03-01, 11:31:29] [ver. 5] Зеркало um23.eset.com недоступно
[2018-03-01, 11:31:50] [ver. 5] Зеркало um13.cn.eset.com недоступно
[2018-03-01, 11:32:11] [ver. 5] Зеркало um15.cn.eset.com недоступно
[2018-03-01, 11:32:32] [ver. 5] Зеркало um16.cn.eset.com недоступно
[2018-03-01, 11:32:33] [ver. 5] Зеркало um10.za.eset.com недоступно
[2018-03-01, 11:32:33] [ver. 5] Зеркало um01.ru.eset.com недоступно
[2018-03-01, 11:32:33] [ver. 5] Ни одно зеркало не отвечает!

Как только привожу обратно к виду eset_upd/v5 сервера находятся.

[fahr]

мне кажется я нашел странный баг

вам кажется, это не баг
оставьте все как есть, зачем изобретать велосипед?

[kc_duke]

Не хочу чтобы ссылка была вида eset_upd/v*. Есть домен и хотел сделать что-то типа: v4.домен.нет, v5.домен.нет. Подумал что это самый простой способ. Но не тут то было.

[Plague]

а что мешает вырулить тоже самое средствами веб-сервера, не трогая скрипт?
кстати, не уверен, что это понравится клиентам.

[fahr]

вот-вот, простой и правильный способ - это сконфигурировать ваш веб-сервер