шустрый скрипт скрипт зеркала NOD32

[around]

Итак, для тех, кто наступает на те же грабли, что и я - СМОТРИТЕ ВЫВОД curl -V! Если увидите, что

Код: Выделить всё

[root@srv-msk nod32ms]# curl -V
curl 7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.27.1 zlib/1.2.3 libidn/1.18 libssh2/1.4.2
Protocols: tftp ftp telnet dict ldap ldaps http file https ftps scp sftp
Features: GSS-Negotiate IDN IPv6 Largefile NTLM SSL libz

обновляйте curl. После того, как стало

Код: Выделить всё

[root@srv-msk nod32ms]# curl -V
curl 7.57.0 (x86_64-redhat-linux-gnu) libcurl/7.57.0 OpenSSL/1.0.1e zlib/1.2.3 c-ares/1.13.0 libssh2/1.8.0 nghttp2/1.6.0
Release-Date: 2017-11-29
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp scp sftp smb smbs smtp smtps telnet tftp
Features: AsynchDNS IPv6 Largefile GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz HTTP2 UnixSockets HTTPS-proxy Metalink

всё заработало.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[harmless]

Замечено притормаживание на debian-like системах
Пока причину не определил, но скорость скачивания файлов рандомно скачет, возможно это только на моей виртуалке

[harmless]

В версии 20180126:
все сетевые функции заменены curl'ом(для поддержки работы скрипта за прокси)
исправлена функция проверки зеркал - http code 404 - зекрало недоступно, для предотвращения перебора ключей(так как раньше скрипт считал их невалидными)

[Bossl]

Уважаемый harmless,

Если не трудно поправьте в Non32ms.class строка 562: $key[2] на $key[3] а то в html выводится версия ключа а не дата вилидности ключа.

Спасибо

[harmless]

20180129:
Исправлено:
- Функция генерации html-страницы
Изменено:
- Таблица html-страницы(для каждой версии выводится свой ключ)

[harmless]

20180214:
Исправлено:
- Фильтр для баз(update_version_filter), теперь работает мультиопределение
Добавлено:
- В фильтр update_version_filter добавлено rel-bat

[ak42]

harmless, а где скачать ?

[around]

harmless, а где скачать ?

Автообновление же нормально работает у harmless. Само всё качает.

[ak42]

around, ну это если уже есть его скрипт......
а у меня его еще нет, по-этому и спрашиваю.
в первом сообщении темы скрипт старый

Отправлено спустя 41 минуту 55 секунд:
в скрипте, которым я пользуюсь (я уже не помню чей он) при скачивании обновлений Ver. 8 - ни одно зеркало не отвечает, ver. 6 обновляется нормально. В чем может быть дело ? На серверах что-то изменили ?

[around]

around, ну это если уже есть его скрипт......
а у меня его еще нет, по-этому и спрашиваю.

Возьми вот этот и он при первом запуске обновится

[harmless]

harmless, а где скачать ?

20180214

[ak42]

Спасибо, скачалось и потом обновилось.
Проблема была в том, что rel-sta заменили на rel-bat

[V0lk]

harmless, а где скачать ?

20180214

Поставил для эксперимента эту версию.
Первый раз завис скрипт при ручном запуске.
Пару раз стоп/старт - скачались базы, но без версии 11.
Записал пуск через планировщик.
Скрипт "сошел с ума" - все время по кругу выполняется.
В логе (пример):

Код: Выделить всё

[2018-02-16, 16:52:16] [ver. 9] Mirror um05.eset.com active
[2018-02-16, 16:52:16] [ver. 11] Mirror um16.cn.eset.com inactive
[2018-02-16, 16:52:16] [ver. 9] Mirror um06.eset.com active
[2018-02-16, 16:52:16] [ver. 11] Mirror um10.za.eset.com inactive
[2018-02-16, 16:52:16] [ver. 9] Mirror um07.eset.com active
[2018-02-16, 16:52:16] [ver. 11] Mirror um01.ru.eset.com inactive
[2018-02-16, 16:52:16] [ver. 11] All mirrors is down!
[2018-02-16, 16:52:16] Total size for all databases: 1.94 GBytes
[2018-02-16, 16:52:16] Generating html...
[2018-02-16, 16:52:16] Total working time: 03:15
[2018-02-16, 16:52:16] Stop script.
[2018-02-16, 16:52:17] [ver. 9] Mirror um08.eset.com active
[2018-02-16, 16:52:17] [ver. 9] Mirror um09.eset.com active
[2018-02-16, 16:52:18] [ver. 9] Mirror um10.eset.com active

Web:


Система, та же что и была:

Код: Выделить всё

$ cat /etc/debian_version 
9.3

$ uname -a
Linux lab 4.9.0-5-amd64 #1 SMP Debian 4.9.65-3+deb9u2 (2018-01-04) x86_64 GNU/Linux

$ php -m
[PHP Modules]
calendar
Core
ctype
curl
date
dom
exif
fileinfo
filter
ftp
gettext
hash
iconv
json
libxml
mbstring
openssl
pcntl
pcre
PDO
Phar
posix
readline
Reflection
session
shmop
SimpleXML
sockets
SPL
standard
sysvmsg
sysvsem
sysvshm
tokenizer
wddx
xml
xmlreader
xmlwriter
xsl
Zend OPcache
zlib

[Zend Modules]
Zend OPcache

$ php -v
PHP 7.0.27-0+deb9u1 (cli) (built: Jan  5 2018 13:51:52) ( NTS )
Copyright (c) 1997-2017 The PHP Group
Zend Engine v3.0.0, Copyright (c) 1998-2017 Zend Technologies
    with Zend OPcache v7.0.27-0+deb9u1, Copyright (c) 1999-2017, by Zend Technologies

P.S. Поставил для теста у виртуалку с Centos 7 - тоже завис на этапе загрузки файлов.
P.P.S. Инет 100Мбит/с.

[harmless]

V0lk, читать топик внимательно - бд 11 ещё не существует, 11 версия качает бд 10
По поводу зависаний - дебаг и выхлоп сюда, но перед этим обновить curl!
У меня было замечено торможение скачивания на Debian на одной виртуалке на одном хосте - на других хостах и ос все как часики

[ak42]

версия 20180214 запускается на VPS под Ubuntu.
некоторые файлы очень медленно грузятся, буквально сотня байт в секунду.

Код: Выделить всё

[2018-02-17, 08:01:23] [ver. 6] С update.eset.com загружено em023_32_n12.nup [256.37 KBytes] [4.19 KBytes/s]
[2018-02-17, 08:02:22] [ver. 6] С update.eset.com загружено em021_32_n14.nup [601.11 KBytes] [722 Bytes/s]
[2018-02-17, 08:06:25] [ver. 6] С update.eset.com загружено em021_32_n1.nup [80.3 KBytes] [169 Bytes/s]
[2018-02-17, 08:06:27] [ver. 6] С update.eset.com загружено em002_32_n19.nup [200.3 KBytes] [164 Bytes/s]
[2018-02-17, 08:08:25] [ver. 6] С update.eset.com загружено em002_32_n18.nup [196.73 KBytes] [317 Bytes/s]
[2018-02-17, 08:10:22] [ver. 6] С update.eset.com загружено em002_32_n11.nup [124.64 KBytes] [138 Bytes/s]
[2018-02-17, 08:10:25] [ver. 6] С update.eset.com загружено em002_32_l2.nup [1.3 MBytes] [138 Bytes/s]
[2018-02-17, 08:10:26] [ver. 6] С update.eset.com загружено em023_32_n8.nup [108.63 KBytes] [138 Bytes/s]
[2018-02-17, 08:12:25] [ver. 6] С update.eset.com загружено em002_32_n15.nup [174.13 KBytes] [115 Bytes/s]

из-за этого скрипт очень долго работает иногда даже часа не хватает и принудительно убивается timeout'ом.
можно сделать, чтобы скрипт перезапускал закачку, если скорость меньше определенного порога ?

[harmless]

ak42, такое заметил на одной виртуалке с Debian 9 под bhyve.
Но на другом гипервизоре в такой же виртуалке все ок.
Попробуй отключить многопоточную загрузку сигнатур(отключи self_update и отредактируй Mirror::download функцию

Код: Выделить всё

static protected function download($download_files)
    {
        Log::write_log(Language::t("Running %s", __METHOD__), 5, static::$version);
        switch (function_exists('curl_multi_init')) {
            case true:
                #static::multi_download($download_files);
                #break;
            case false:
            default:
                static::single_download($download_files);
                break;
        }
    }

Включи дебаг и если что-то будет не так - выкладывай сюда

[ak42]

harmless, сделал
а где искать debug info ?
запустил update.php, но скрипт ничего не качал, т.к. "ваша база актуальна"
но тем не менее он в конце написал, что база обновлена с версии 16918 до версии 16918

[harmless]

harmless, сделал
а где искать debug info ?
запустил update.php, но скрипт ничего не качал, т.к. "ваша база актуальна"
но тем не менее он в конце написал, что база обновлена с версии 16918 до версии 16918

Удали файлы баз и запусти скрипт - дебаг будет в консоли и в логе

[V0lk]

V0lk, читать топик внимательно - бд 11 ещё не существует, 11 версия качает бд 10

Да мне она и не сильно нужна, я фанат Endpoint редакций

По поводу зависаний - дебаг и выхлоп сюда, но перед этим обновить curl!

Код: Выделить всё

$ curl -V
curl 7.52.1 (x86_64-pc-linux-gnu) libcurl/7.52.1 OpenSSL/1.0.2l zlib/1.2.8 libidn2/0.16 libpsl/0.17.0 (+libidn2/0.16) libssh2/1.7.0 nghttp2/1.18.1 librtmp/2.3
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtmp rtsp scp sftp smb smbs smtp smtps telnet tftp
Features: AsynchDNS IDN IPv6 Largefile GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz TLS-SRP HTTP2 UnixSockets HTTPS-proxy PSL

Новее в дистрибутиве нет.
Сегодня скрипт нормально отработал, НО после чистки файла ключей.
Буду дальше наблюдать. Для себя придумал "костыль":

Код: Выделить всё

#ESET update
15 */4 * * * cd /etc/nod32ms/ && /usr/bin/php update.php >/dev/null 2>&1
#Kill all PHP
* */1 * * * /usr/bin/killall php >/dev/null 2>&1

Суть "костыля": если скрипт "висит" 45 минут, его прибьет планировщик.

P.S. Centos я с хостом своей рабочей машины юзал с Debian, может дело в этом было в плане зависания процесса загрузки файлов.

[ak42]

harmless, все нормально скачалось, лог выкладывать ?
V0lk, у меня так 0 0,8,16 * * * timeout -s 9 3600 php /home/user/nod32/update.php > /dev/null

[harmless]

ak42, если все ок - то не нужно
Я не могу отловить почему на некоторых виртуалках и со притормаживает

[ak42]

harmless, ну так может сделать установку в конфиге: скорость меньше этого значения - презапускаем закачку ?

[V0lk]

harmless, ну так может сделать установку в конфиге: скорость меньше этого значения - презапускаем закачку ?

Актуально. Смотрю, PHP висит уже больше 15 минут. Последние записи в логе:

Код: Выделить всё

[2018-02-17, 18:23:32] [ver. 9] Checking mirror um05.eset.com with key [TRIAL-0206907654:xxxxxxxx]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n1.nup [10.04 KBytes] [134.99 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n1.nup [9.14 KBytes] [118.4 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n4.nup [30.81 KBytes] [215.13 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em021_64_n1.nup [34.21 KBytes] [226.7 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n2.nup [18.34 KBytes] [116.57 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n3.nup [30.35 KBytes] [181.32 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_l2.nup [62.98 KBytes] [253.72 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n5.nup [49.03 KBytes] [197.71 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n9.nup [83.91 KBytes] [207.86 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n19.nup [219.91 KBytes] [487.87 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n18.nup [212.53 KBytes] [455.07 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n2.nup [20.94 KBytes] [40.59 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n5.nup [40.18 KBytes] [75.53 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n8.nup [79.21 KBytes] [125.2 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n2.nup [112.92 KBytes] [167.21 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n10.nup [438.73 KBytes] [643.42 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n17.nup [203.93 KBytes] [291.67 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n10.nup [124.35 KBytes] [177.93 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n20.nup [493.02 KBytes] [640.63 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n13.nup [266.96 KBytes] [321.11 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_l1.nup [275.8 KBytes] [317.82 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n11.nup [143.01 KBytes] [163.16 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n6.nup [275.81 KBytes] [306.42 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n15.nup [298.99 KBytes] [308.52 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n11.nup [461.17 KBytes] [462.21 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n20.nup [225.81 KBytes] [222.25 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n4.nup [39.09 KBytes] [37.5 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n7.nup [62.99 KBytes] [54.11 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n13.nup [602.7 KBytes] [370 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em002_64_l2.nup [2.25 MBytes] [1.24 MBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n5.nup [250.88 KBytes] [136.08 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n4.nup [201.76 KBytes] [108.41 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em002_64_n3.nup [23.29 KBytes] [12.39 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n12.nup [520.55 KBytes] [234.74 KBytes/s]
[2018-02-17, 18:23:35] [ver. 9] From um05.eset.com downloaded em021_64_n15.nup [630.38 KBytes] [275.85 KBytes/s]
[2018-02-17, 18:23:37] [ver. 9] From um05.eset.com downloaded em023_64_n19.nup [445.02 KBytes] [96.44 KBytes/s]
[2018-02-17, 18:23:38] [ver. 9] From um05.eset.com downloaded em002_64_n16.nup [194.83 KBytes] [39.71 KBytes/s]
[2018-02-17, 18:23:49] [ver. 9] From um05.eset.com downloaded em002_64_n14.nup [180.71 KBytes] [10.79 KBytes/s]
[2018-02-17, 18:23:49] [ver. 9] From um05.eset.com downloaded em002_64_n11.nup [105.13 KBytes] [6.22 KBytes/s]
[2018-02-17, 18:24:04] [ver. 9] From um05.eset.com downloaded em021_64_n7.nup [361.14 KBytes] [11.18 KBytes/s]
[2018-02-17, 18:24:05] [ver. 9] From um05.eset.com downloaded em023_64_n12.nup [180.37 KBytes] [5.47 KBytes/s]
[2018-02-17, 18:24:05] [ver. 9] From um05.eset.com downloaded em023_64_n16.nup [345.26 KBytes] [10.45 KBytes/s]
[2018-02-17, 18:24:05] [ver. 9] From um05.eset.com downloaded em002_64_n6.nup [67.81 KBytes] [2.02 KBytes/s]
[2018-02-17, 18:24:06] [ver. 9] From um05.eset.com downloaded em002_64_n13.nup [154.41 KBytes] [4.56 KBytes/s]
[2018-02-17, 18:24:06] [ver. 9] From um05.eset.com downloaded em023_64_n18.nup [401.54 KBytes] [11.84 KBytes/s]
[2018-02-17, 18:24:06] [ver. 9] From um05.eset.com downloaded em002_64_n15.nup [184.07 KBytes] [5.42 KBytes/s]
[2018-02-17, 18:24:08] [ver. 9] From um05.eset.com downloaded em021_64_n8.nup [398.49 KBytes] [11.39 KBytes/s]
[2018-02-17, 18:24:37] [ver. 9] From um05.eset.com downloaded em021_64_n3.nup [180.75 KBytes] [1.25 KBytes/s]
[2018-02-17, 18:24:38] [ver. 9] From um05.eset.com downloaded em023_64_n10.nup [122.59 KBytes] [1.88 KBytes/s]
[2018-02-17, 18:24:38] [ver. 9] From um05.eset.com downloaded em023_64_n6.nup [53.4 KBytes] [831 Bytes/s]
[2018-02-17, 18:25:41] [ver. 9] From um05.eset.com downloaded em023_64_n17.nup [364.75 KBytes] [621 Bytes/s]
[2018-02-17, 18:27:45] [ver. 9] From um05.eset.com downloaded em023_64_n14.nup [268.43 KBytes] [308 Bytes/s]
[2018-02-17, 18:27:49] [ver. 9] From um05.eset.com downloaded em021_64_n14.nup [623.29 KBytes] [325 Bytes/s]

Посмотрите, как закономерно падает скорость закачки. Роутер MikroTik hEX lite (RB750r2), если что.

V0lk, у меня так 0 0,8,16 * * * timeout -s 9 3600 php /home/user/nod32/update.php > /dev/null

Тоже хорошее решение.

P.S. Скрипт таки выкачал обновы где-то за 20 минут мучений. Продолжу наблюдения за его работой.

[ak42]

harmless, после автообновления на версию 20180222 скрипт обновил базы ver6 и вышел, а ver8 не стал обновлять.
При повторном запуске обе версии баз обвновились нормально

[fahr]

относительно тормозов при закачке баз, замечено неоднократно, что при загрузке с um01.ru.eset.com тормозов нет