шустрый скрипт скрипт зеркала NOD32

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.

Ответить


Этот вопрос предназначен для предотвращения автоматической отправки форм спам-ботами.
Смайлики
:smile: :( ;-) :roll: :pardon: 8) :x :oops: :shock: :cz2: :-D :ROFL: :Yahoo!: :cry: :Search: :Bravo: :good: :bad: :sorry: :no: :unknown: :evil: :crazy: :"": :fool: :-o :drinks: :st: :bn:
Ещё смайлики…

BBCode ВКЛЮЧЁН
[img] ВКЛЮЧЁН
[flash] ОТКЛЮЧЕН
[url] ВКЛЮЧЁН
Смайлики ВКЛЮЧЕНЫ

Обзор темы
   

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Развернуть Обзор темы: шустрый скрипт скрипт зеркала NOD32

шустрый скрипт скрипт зеркала NOD32

Сообщение 5973785 » 2018-02-22 20:34:41

Я в списке зеркал откуда тянуть обновы оставил только упдатед.Есет.ком и с тех пор больше месяца глюк не проявлялся, хотя не исключают что это связано счемто другим.

шустрый скрипт скрипт зеркала NOD32

Сообщение harmless » 2018-02-22 17:16:02

Исправил мелкие баги в последней версии - все должно работать нормально со следующего запуска после обновления
++++++++++
По поводу проседания скорости при загрузке - баг замечен только на виртуалках разных гипервизоров, проверял на docker и lxd(lxc) контейнерах на разных ОС(macosx, debian 9, ubuntu 16.04) скрипт работает как нужно и без обновления пакета curl
Если у кого-то есть идеи как выловить причину - пишите

шустрый скрипт скрипт зеркала NOD32

Сообщение fahr » 2018-02-22 16:55:16

относительно тормозов при закачке баз, замечено неоднократно, что при загрузке с um01.ru.eset.com тормозов нет

шустрый скрипт скрипт зеркала NOD32

Сообщение ak42 » 2018-02-22 16:16:29

harmless, после автообновления на версию 20180222 скрипт обновил базы ver6 и вышел, а ver8 не стал обновлять.
При повторном запуске обе версии баз обвновились нормально

шустрый скрипт скрипт зеркала NOD32

Сообщение V0lk » 2018-02-17 19:36:11

ak42 писал(а):harmless, ну так может сделать установку в конфиге: скорость меньше этого значения - презапускаем закачку ?

Актуально. Смотрю, PHP висит уже больше 15 минут. Последние записи в логе:

Код: Выделить всё

[2018-02-17, 18:23:32] [ver. 9] Checking mirror um05.eset.com with key [TRIAL-0206907654:xxxxxxxx]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n1.nup [10.04 KBytes] [134.99 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n1.nup [9.14 KBytes] [118.4 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n4.nup [30.81 KBytes] [215.13 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em021_64_n1.nup [34.21 KBytes] [226.7 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n2.nup [18.34 KBytes] [116.57 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n3.nup [30.35 KBytes] [181.32 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_l2.nup [62.98 KBytes] [253.72 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n5.nup [49.03 KBytes] [197.71 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n9.nup [83.91 KBytes] [207.86 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n19.nup [219.91 KBytes] [487.87 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n18.nup [212.53 KBytes] [455.07 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em023_64_n2.nup [20.94 KBytes] [40.59 KBytes/s]
[2018-02-17, 18:23:32] [ver. 9] From um05.eset.com downloaded em002_64_n5.nup [40.18 KBytes] [75.53 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n8.nup [79.21 KBytes] [125.2 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n2.nup [112.92 KBytes] [167.21 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n10.nup [438.73 KBytes] [643.42 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n17.nup [203.93 KBytes] [291.67 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n10.nup [124.35 KBytes] [177.93 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n20.nup [493.02 KBytes] [640.63 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n13.nup [266.96 KBytes] [321.11 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_l1.nup [275.8 KBytes] [317.82 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n11.nup [143.01 KBytes] [163.16 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n6.nup [275.81 KBytes] [306.42 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n15.nup [298.99 KBytes] [308.52 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em021_64_n11.nup [461.17 KBytes] [462.21 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em002_64_n20.nup [225.81 KBytes] [222.25 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n4.nup [39.09 KBytes] [37.5 KBytes/s]
[2018-02-17, 18:23:33] [ver. 9] From um05.eset.com downloaded em023_64_n7.nup [62.99 KBytes] [54.11 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n13.nup [602.7 KBytes] [370 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em002_64_l2.nup [2.25 MBytes] [1.24 MBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n5.nup [250.88 KBytes] [136.08 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n4.nup [201.76 KBytes] [108.41 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em002_64_n3.nup [23.29 KBytes] [12.39 KBytes/s]
[2018-02-17, 18:23:34] [ver. 9] From um05.eset.com downloaded em021_64_n12.nup [520.55 KBytes] [234.74 KBytes/s]
[2018-02-17, 18:23:35] [ver. 9] From um05.eset.com downloaded em021_64_n15.nup [630.38 KBytes] [275.85 KBytes/s]
[2018-02-17, 18:23:37] [ver. 9] From um05.eset.com downloaded em023_64_n19.nup [445.02 KBytes] [96.44 KBytes/s]
[2018-02-17, 18:23:38] [ver. 9] From um05.eset.com downloaded em002_64_n16.nup [194.83 KBytes] [39.71 KBytes/s]
[2018-02-17, 18:23:49] [ver. 9] From um05.eset.com downloaded em002_64_n14.nup [180.71 KBytes] [10.79 KBytes/s]
[2018-02-17, 18:23:49] [ver. 9] From um05.eset.com downloaded em002_64_n11.nup [105.13 KBytes] [6.22 KBytes/s]
[2018-02-17, 18:24:04] [ver. 9] From um05.eset.com downloaded em021_64_n7.nup [361.14 KBytes] [11.18 KBytes/s]
[2018-02-17, 18:24:05] [ver. 9] From um05.eset.com downloaded em023_64_n12.nup [180.37 KBytes] [5.47 KBytes/s]
[2018-02-17, 18:24:05] [ver. 9] From um05.eset.com downloaded em023_64_n16.nup [345.26 KBytes] [10.45 KBytes/s]
[2018-02-17, 18:24:05] [ver. 9] From um05.eset.com downloaded em002_64_n6.nup [67.81 KBytes] [2.02 KBytes/s]
[2018-02-17, 18:24:06] [ver. 9] From um05.eset.com downloaded em002_64_n13.nup [154.41 KBytes] [4.56 KBytes/s]
[2018-02-17, 18:24:06] [ver. 9] From um05.eset.com downloaded em023_64_n18.nup [401.54 KBytes] [11.84 KBytes/s]
[2018-02-17, 18:24:06] [ver. 9] From um05.eset.com downloaded em002_64_n15.nup [184.07 KBytes] [5.42 KBytes/s]
[2018-02-17, 18:24:08] [ver. 9] From um05.eset.com downloaded em021_64_n8.nup [398.49 KBytes] [11.39 KBytes/s]
[2018-02-17, 18:24:37] [ver. 9] From um05.eset.com downloaded em021_64_n3.nup [180.75 KBytes] [1.25 KBytes/s]
[2018-02-17, 18:24:38] [ver. 9] From um05.eset.com downloaded em023_64_n10.nup [122.59 KBytes] [1.88 KBytes/s]
[2018-02-17, 18:24:38] [ver. 9] From um05.eset.com downloaded em023_64_n6.nup [53.4 KBytes] [831 Bytes/s]
[2018-02-17, 18:25:41] [ver. 9] From um05.eset.com downloaded em023_64_n17.nup [364.75 KBytes] [621 Bytes/s]
[2018-02-17, 18:27:45] [ver. 9] From um05.eset.com downloaded em023_64_n14.nup [268.43 KBytes] [308 Bytes/s]
[2018-02-17, 18:27:49] [ver. 9] From um05.eset.com downloaded em021_64_n14.nup [623.29 KBytes] [325 Bytes/s]

Посмотрите, как закономерно падает скорость закачки. Роутер MikroTik hEX lite (RB750r2), если что.
ak42 писал(а):V0lk, у меня так 0 0,8,16 * * * timeout -s 9 3600 php /home/user/nod32/update.php > /dev/null

Тоже хорошее решение.

P.S. Скрипт таки выкачал обновы где-то за 20 минут мучений. Продолжу наблюдения за его работой.

шустрый скрипт скрипт зеркала NOD32

Сообщение ak42 » 2018-02-17 12:30:08

harmless, ну так может сделать установку в конфиге: скорость меньше этого значения - презапускаем закачку ?

шустрый скрипт скрипт зеркала NOD32

Сообщение harmless » 2018-02-17 12:21:01

ak42, если все ок - то не нужно
Я не могу отловить почему на некоторых виртуалках и со притормаживает

шустрый скрипт скрипт зеркала NOD32

Сообщение ak42 » 2018-02-17 12:18:46

harmless, все нормально скачалось, лог выкладывать ?
V0lk, у меня так 0 0,8,16 * * * timeout -s 9 3600 php /home/user/nod32/update.php > /dev/null

шустрый скрипт скрипт зеркала NOD32

Сообщение V0lk » 2018-02-17 11:56:34

harmless писал(а):V0lk, читать топик внимательно - бд 11 ещё не существует, 11 версия качает бд 10

Да мне она и не сильно нужна, я фанат Endpoint редакций :)

harmless писал(а):По поводу зависаний - дебаг и выхлоп сюда, но перед этим обновить curl!

Код: Выделить всё

$ curl -V
curl 7.52.1 (x86_64-pc-linux-gnu) libcurl/7.52.1 OpenSSL/1.0.2l zlib/1.2.8 libidn2/0.16 libpsl/0.17.0 (+libidn2/0.16) libssh2/1.7.0 nghttp2/1.18.1 librtmp/2.3
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtmp rtsp scp sftp smb smbs smtp smtps telnet tftp
Features: AsynchDNS IDN IPv6 Largefile GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz TLS-SRP HTTP2 UnixSockets HTTPS-proxy PSL

Новее в дистрибутиве нет.
Сегодня скрипт нормально отработал, НО после чистки файла ключей.
Буду дальше наблюдать. Для себя придумал "костыль":

Код: Выделить всё

#ESET update
15 */4 * * * cd /etc/nod32ms/ && /usr/bin/php update.php >/dev/null 2>&1
#Kill all PHP
* */1 * * * /usr/bin/killall php >/dev/null 2>&1

Суть "костыля": если скрипт "висит" 45 минут, его прибьет планировщик.

P.S. Centos я с хостом своей рабочей машины юзал с Debian, может дело в этом было в плане зависания процесса загрузки файлов.

шустрый скрипт скрипт зеркала NOD32

Сообщение harmless » 2018-02-17 11:53:01

ak42 писал(а):harmless, сделал
а где искать debug info ?
запустил update.php, но скрипт ничего не качал, т.к. "ваша база актуальна"
но тем не менее он в конце написал, что база обновлена с версии 16918 до версии 16918

Удали файлы баз и запусти скрипт - дебаг будет в консоли и в логе

шустрый скрипт скрипт зеркала NOD32

Сообщение ak42 » 2018-02-17 10:53:52

harmless, сделал
а где искать debug info ?
запустил update.php, но скрипт ничего не качал, т.к. "ваша база актуальна"
но тем не менее он в конце написал, что база обновлена с версии 16918 до версии 16918

шустрый скрипт скрипт зеркала NOD32

Сообщение harmless » 2018-02-17 10:14:56

ak42, такое заметил на одной виртуалке с Debian 9 под bhyve.
Но на другом гипервизоре в такой же виртуалке все ок.
Попробуй отключить многопоточную загрузку сигнатур(отключи self_update и отредактируй Mirror::download функцию

Код: Выделить всё

static protected function download($download_files)
    {
        Log::write_log(Language::t("Running %s", __METHOD__), 5, static::$version);
        switch (function_exists('curl_multi_init')) {
            case true:
                #static::multi_download($download_files);
                #break;
            case false:
            default:
                static::single_download($download_files);
                break;
        }
    }

Включи дебаг и если что-то будет не так - выкладывай сюда

шустрый скрипт скрипт зеркала NOD32

Сообщение ak42 » 2018-02-17 9:51:28

версия 20180214 запускается на VPS под Ubuntu.
некоторые файлы очень медленно грузятся, буквально сотня байт в секунду.

Код: Выделить всё

[2018-02-17, 08:01:23] [ver. 6] С update.eset.com загружено em023_32_n12.nup [256.37 KBytes] [4.19 KBytes/s]
[2018-02-17, 08:02:22] [ver. 6] С update.eset.com загружено em021_32_n14.nup [601.11 KBytes] [722 Bytes/s]
[2018-02-17, 08:06:25] [ver. 6] С update.eset.com загружено em021_32_n1.nup [80.3 KBytes] [169 Bytes/s]
[2018-02-17, 08:06:27] [ver. 6] С update.eset.com загружено em002_32_n19.nup [200.3 KBytes] [164 Bytes/s]
[2018-02-17, 08:08:25] [ver. 6] С update.eset.com загружено em002_32_n18.nup [196.73 KBytes] [317 Bytes/s]
[2018-02-17, 08:10:22] [ver. 6] С update.eset.com загружено em002_32_n11.nup [124.64 KBytes] [138 Bytes/s]
[2018-02-17, 08:10:25] [ver. 6] С update.eset.com загружено em002_32_l2.nup [1.3 MBytes] [138 Bytes/s]
[2018-02-17, 08:10:26] [ver. 6] С update.eset.com загружено em023_32_n8.nup [108.63 KBytes] [138 Bytes/s]
[2018-02-17, 08:12:25] [ver. 6] С update.eset.com загружено em002_32_n15.nup [174.13 KBytes] [115 Bytes/s]

из-за этого скрипт очень долго работает иногда даже часа не хватает и принудительно убивается timeout'ом.
можно сделать, чтобы скрипт перезапускал закачку, если скорость меньше определенного порога ?

шустрый скрипт скрипт зеркала NOD32

Сообщение harmless » 2018-02-16 23:23:22

V0lk, читать топик внимательно - бд 11 ещё не существует, 11 версия качает бд 10
По поводу зависаний - дебаг и выхлоп сюда, но перед этим обновить curl!
У меня было замечено торможение скачивания на Debian на одной виртуалке на одном хосте - на других хостах и ос все как часики

шустрый скрипт скрипт зеркала NOD32

Сообщение V0lk » 2018-02-16 18:00:50

harmless писал(а):
ak42 писал(а):harmless, а где скачать ?

20180214

Поставил для эксперимента эту версию.
Первый раз завис скрипт при ручном запуске.
Пару раз стоп/старт - скачались базы, но без версии 11.
Записал пуск через планировщик.
Скрипт "сошел с ума" - все время по кругу выполняется.
В логе (пример):

Код: Выделить всё

[2018-02-16, 16:52:16] [ver. 9] Mirror um05.eset.com active
[2018-02-16, 16:52:16] [ver. 11] Mirror um16.cn.eset.com inactive
[2018-02-16, 16:52:16] [ver. 9] Mirror um06.eset.com active
[2018-02-16, 16:52:16] [ver. 11] Mirror um10.za.eset.com inactive
[2018-02-16, 16:52:16] [ver. 9] Mirror um07.eset.com active
[2018-02-16, 16:52:16] [ver. 11] Mirror um01.ru.eset.com inactive
[2018-02-16, 16:52:16] [ver. 11] All mirrors is down!
[2018-02-16, 16:52:16] Total size for all databases: 1.94 GBytes
[2018-02-16, 16:52:16] Generating html...
[2018-02-16, 16:52:16] Total working time: 03:15
[2018-02-16, 16:52:16] Stop script.
[2018-02-16, 16:52:17] [ver. 9] Mirror um08.eset.com active
[2018-02-16, 16:52:17] [ver. 9] Mirror um09.eset.com active
[2018-02-16, 16:52:18] [ver. 9] Mirror um10.eset.com active

Web:
ИзображениеИзображение

Система, та же что и была:

Код: Выделить всё

$ cat /etc/debian_version
9.3

$ uname -a
Linux lab 4.9.0-5-amd64 #1 SMP Debian 4.9.65-3+deb9u2 (2018-01-04) x86_64 GNU/Linux

$ php -m
[PHP Modules]
calendar
Core
ctype
curl
date
dom
exif
fileinfo
filter
ftp
gettext
hash
iconv
json
libxml
mbstring
openssl
pcntl
pcre
PDO
Phar
posix
readline
Reflection
session
shmop
SimpleXML
sockets
SPL
standard
sysvmsg
sysvsem
sysvshm
tokenizer
wddx
xml
xmlreader
xmlwriter
xsl
Zend OPcache
zlib

[Zend Modules]
Zend OPcache

$ php -v
PHP 7.0.27-0+deb9u1 (cli) (built: Jan  5 2018 13:51:52) ( NTS )
Copyright (c) 1997-2017 The PHP Group
Zend Engine v3.0.0, Copyright (c) 1998-2017 Zend Technologies
    with Zend OPcache v7.0.27-0+deb9u1, Copyright (c) 1999-2017, by Zend Technologies

P.S. Поставил для теста у виртуалку с Centos 7 - тоже завис на этапе загрузки файлов.
P.P.S. Инет 100Мбит/с.

шустрый скрипт скрипт зеркала NOD32

Сообщение ak42 » 2018-02-15 12:45:49

Спасибо, скачалось и потом обновилось.
Проблема была в том, что rel-sta заменили на rel-bat

шустрый скрипт скрипт зеркала NOD32

Сообщение harmless » 2018-02-15 12:23:54

ak42 писал(а):harmless, а где скачать ?

20180214

шустрый скрипт скрипт зеркала NOD32

Сообщение around » 2018-02-15 11:21:32

ak42 писал(а):around, ну это если уже есть его скрипт......
а у меня его еще нет, по-этому и спрашиваю.

Возьми вот этот и он при первом запуске обновится =)

шустрый скрипт скрипт зеркала NOD32

Сообщение ak42 » 2018-02-15 11:12:51

around, ну это если уже есть его скрипт......
а у меня его еще нет, по-этому и спрашиваю.
в первом сообщении темы скрипт старый

Отправлено спустя 41 минуту 55 секунд:
в скрипте, которым я пользуюсь (я уже не помню чей он) при скачивании обновлений Ver. 8 - ни одно зеркало не отвечает, ver. 6 обновляется нормально. В чем может быть дело ? На серверах что-то изменили ?

шустрый скрипт скрипт зеркала NOD32

Сообщение around » 2018-02-15 10:26:45

ak42 писал(а):harmless, а где скачать ?

Автообновление же нормально работает у harmless. Само всё качает.

шустрый скрипт скрипт зеркала NOD32

Сообщение ak42 » 2018-02-15 9:30:41

harmless, а где скачать ?

шустрый скрипт скрипт зеркала NOD32

Сообщение harmless » 2018-02-14 19:33:05

20180214:
Исправлено:
- Фильтр для баз(update_version_filter), теперь работает мультиопределение
Добавлено:
- В фильтр update_version_filter добавлено rel-bat

шустрый скрипт скрипт зеркала NOD32

Сообщение harmless » 2018-01-29 13:04:19

20180129:
Исправлено:
- Функция генерации html-страницы
Изменено:
- Таблица html-страницы(для каждой версии выводится свой ключ)

шустрый скрипт скрипт зеркала NOD32

Сообщение Bossl » 2018-01-28 17:38:27

Уважаемый harmless,

Если не трудно поправьте в Non32ms.class строка 562: $key[2] на $key[3] а то в html выводится версия ключа а не дата вилидности ключа.

Спасибо

шустрый скрипт скрипт зеркала NOD32

Сообщение harmless » 2018-01-26 19:51:30

В версии 20180126:
все сетевые функции заменены curl'ом(для поддержки работы скрипта за прокси)
исправлена функция проверки зеркал - http code 404 - зекрало недоступно, для предотвращения перебора ключей(так как раньше скрипт считал их невалидными)

Вернуться к началу