шустрый скрипт скрипт зеркала NOD32

[V0lk]

harmless, не вели казнить, вели слово молвить)
По нужде ©, поставил скрипт крайней версии з git на машину с Ubuntu 14.04.
Обновил PHP до версии 7.0, доустановил необходимые модули:

Код: Выделить всё

Linux media 3.13.0-147-generic #196-Ubuntu SMP Wed May 2 15:51:34 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux
vova@media:/etc/eset_mirror_script$ php7.0 -m
[PHP Modules]
calendar
Core
ctype
curl
date
dom
exif
fileinfo
filter
ftp
gettext
hash
iconv
json
libxml
mbstring
mysqli
mysqlnd
openssl
pcntl
pcre
PDO
pdo_mysql
Phar
posix
readline
Reflection
session
shmop
SimpleXML
sockets
SPL
standard
sysvmsg
sysvsem
sysvshm
tokenizer
wddx
xml
xmlreader
xmlwriter
xsl
Zend OPcache
zlib

[Zend Modules]
Zend OPcache

Запускаю скрипт:

Код: Выделить всё

sudo php7.0 update.php

В логах получаю:

Код: Выделить всё

[2019-02-14, 19:39:20] Запущен скрипт 20180711 [Freedom for Ukraine by harmless]
[2019-02-14, 19:39:20] [ver. 3] Файл ключей пуст!
[2019-02-14, 19:39:20] [ver. 3] Начат поиск в google.pattern
[2019-02-14, 19:39:27] [ver. 3] Найдена ссылка [http://www.google.ru/search?num=100&hl=ru&safe=off&as_qdr=d3&q=nod32+username+password&start=0]
[2019-02-14, 19:39:27] [ver. 3] Найдено ключей: 9
[2019-02-14, 19:39:27] [ver. 3] Валидация ключа [TRIAL-0242835249:7nvn3v59a9]
[2019-02-14, 19:39:27] String could not be parsed as XML
[2019-02-14, 19:39:27] Script stopped!

На машине с Debian 9 ни единого разрыва с ноября месяца, все работает без проблем.
Дистрибутив сменить/обновить нет возможности.
Куда копать?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[harmless]

Куда копать?

В сторону что получает скрипт для парсинга xml!
Вероятнее всего что приходит либо просто текст, либо html-страница с текстом «У вас нет доступа к данному ресурсу либо он заблокирован»

[V0lk]

harmless, не помешали бы подробности.
Для парсинга необходим сторонний ресурс или парсер от гугла доступ не получает?
Что-то я за год в развитии скрипта упустил.

[harmless]

harmless, не помешали бы подробности.
Для парсинга необходим сторонний ресурс или парсер от гугла доступ не получает?
Что-то я за год в развитии скрипта упустил.

В скрипте используется официальный сайт eset для валидации ключей - http://expire.eset.com/getlicexp
Вот если доступ к этому api закрыт(я уже на это кому-то в этой ветке форума указывал и был прав) - то скрипт работать не будет!

[V0lk]

http://expire.eset.com/getlicexp

Действительно, этот сайт на той машине с Ubuntu 14.04 я не могу открыть ни в lynx, ни по telnet.
Но пингуется нормально.

А есть идеи, с чем это может быть связано?

[around]

Действительно, этот сайт на той машине с Ubuntu 14.04 я не могу открыть ни в lynx, ни по telnet.
Но пингуется нормально.
А есть идеи, с чем это может быть связано?

Чаще всего - с РКН. Чуть реже - с MTU, точнее - с Path MTU Discovering Black Hole...
А пингуется действительно то? Или провайдер Вам подсовывает не то?

Код: Выделить всё

C:\Users\akruglikov>nslookup expire.eset.com
╤хЁтхЁ:  UnKnown
Address:  2a02:e840:1000::16

Не заслуживающий доверия ответ:
╚ь :     expire.eset.com
Address:  91.228.167.125

[V0lk]

around, я вне юрисдикции РКН.

Код: Выделить всё

vova@media:~$ nslookup expire.eset.com 8.8.8.8
Server:         8.8.8.8
Address:        8.8.8.8#53

Non-authoritative answer:
Name:   expire.eset.com
Address: 91.228.165.81

vova@media:~$ nslookup expire.eset.com
Server:         192.168.0.1
Address:        192.168.0.1#53

Non-authoritative answer:
Name:   expire.eset.com
Address: 91.228.165.81

Вот только на этой машине много лет было "зеркало зеркала™" обновлений (только раздача, скачивание происходило с другой машины).
Возможно, этот ІР в каком-то списке самой ESET.
Слышал, что на днях забанили много зеркал.

[harmless]

Возможно, этот ІР в каком-то списке самой ESET.
Слышал, что на днях забанили много зеркал.

Попробуйте proxy использовать

[LDee]

Доброго времени суток, недавно столкнулся с такой фигней, перестали обновляться антивиры 4 и 5 (5 со слов пользователей) но не все, а те которые установлены с нуля, сборка 4 того с базой 4800 примерно. При подключению к серверу антивирь кричит ошибка подключения к серверу. После таких обращений начал копать у себя, убил базу вместе с логами и ключами, обновил версию скрипта, но ничего не дало. После полез в логи веб сервера и мне выплюнуло следующее :
Проблему решил временно так, обновляю ключем с оф сервера, после вставляю ссылку на свой, и работает, но это костыль.
У кого то есть идея как поправить ? Судя по всему ему не хватает каких то файлов на моем сервере, что то скрипт не сдул. но могу ошибаться.

[harmless]

Доброго времени суток, недавно столкнулся с такой фигней, перестали обновляться антивиры 4 и 5 (5 со слов пользователей) но не все, а те которые установлены с нуля, сборка 4 того с базой 4800 примерно. При подключению к серверу антивирь кричит ошибка подключения к серверу. После таких обращений начал копать у себя, убил базу вместе с логами и ключами, обновил версию скрипта, но ничего не дало. После полез в логи веб сервера и мне выплюнуло следующее :
Проблему решил временно так, обновляю ключем с оф сервера, после вставляю ссылку на свой, и работает, но это костыль.
У кого то есть идея как поправить ? Судя по всему ему не хватает каких то файлов на моем сервере, что то скрипт не сдул. но могу ошибаться.

ошибку не вижу! Предоставьте лог с проблемой.

[andrewju]

Подскажите, пожалуйста, алгоритм поиска причины ненахождения ключей!

Скрипт свежий (даже автоапдейт скрипта включал, на всякий случай), php 7.0, в логе ошибок не вижу:

Код: Выделить всё

[2019-03-08, 02:25:32] [ver. 3] Running Nod32ms::parse_www_page
[2019-03-08, 02:25:32] Running Config::getConnectionInfo
[2019-03-08, 02:25:32] [ver. 3] Running Tools::download_file
[2019-03-08, 02:25:33] [ver. 3] Link was found [http://go.microsoft.com/fwlink/?LinkId=521839]
[2019-03-08, 02:25:33] [ver. 3] Running Parser::parse_template
[2019-03-08, 02:25:33] [ver. 3] Running Nod32ms::parse_www_page
[2019-03-08, 02:25:33] Running Config::getConnectionInfo
[2019-03-08, 02:25:33] [ver. 3] Running Tools::download_file
[2019-03-08, 02:25:34] [ver. 3] Link was found [http://go.microsoft.com/fwlink/?LinkID=246338]
[2019-03-08, 02:25:34] [ver. 3] Running Parser::parse_template
[2019-03-08, 02:25:34] [ver. 3] Running Nod32ms::parse_www_page
[2019-03-08, 02:25:34] Running Config::getConnectionInfo
[2019-03-08, 02:25:34] [ver. 3] Running Tools::download_file
[2019-03-08, 02:25:37] [ver. 3] Link was found [https://go.microsoft.com/fwlink/?linkid=868922]
[2019-03-08, 02:25:37] [ver. 3] Running Parser::parse_template
[2019-03-08, 02:25:37] [ver. 3] Running Nod32ms::parse_www_page
[2019-03-08, 02:25:37] Running Config::getConnectionInfo
[2019-03-08, 02:25:37] [ver. 3] Running Tools::download_file

Таким образом скрипт проходит по всем штатным паттернам (MS и Google) и по всем версиям NOD.
Но ни одного ключа не находит...

[harmless]

Подскажите, пожалуйста, алгоритм поиска причины ненахождения ключей!

Включите дебаг

[andrewju]

Я думал, что именно его я и включил...

В nod32ms.conf установлен:

Код: Выделить всё

level = 5

и запускаю через 'php debuging_run.php'

[harmless]

andrewju, по предоставленному логу - по найденным ссылкам нет ключей! Если есть совпадения - будут записи вида:

Код: Выделить всё

[2019-03-08, 11:09:23] [ver. 4] Running Parser::delete_parse_line_in_file           
[2019-03-08, 11:09:23] [ver. 4] Running Nod32ms::validate_key                       
[2019-03-08, 11:09:23] [ver. 4] Validating key [TRIAL-0164365146:xj4tkx8uct]        
[2019-03-08, 11:09:23] [ver. 4] Running Nod32ms::key_exists_in_file                 
[2019-03-08, 11:09:23] [ver. 4] Running Parser::parse_keys                          
[2019-03-08, 11:09:23] [ver. 4] Running Parser::parse_line                          
[2019-03-08, 11:09:23] [ver. 4] Running Mirror::set_key                             
[2019-03-08, 11:09:23] [ver. 4] Running Nod32ms::get_expire_date                    
[2019-03-08, 11:09:23] [ver. 4] Running Mirror::exp_nod                             
[2019-03-08, 11:09:23] [ver. 4] Running Tools::download_file                        
[2019-03-08, 11:09:24] [ver. 4] Found expired key [TRIAL-0164365146:xj4tkx8uct] Expiration date 04.05.2016
[2019-03-08, 11:09:24] [ver. 4] Running Nod32ms::delete_key           

[harmless]

Ребята, у кого есть возможность отследить запросы на http://expire.eset.com/getlicexp для определения срока действия лицензии именно клиентом антивируса?
Именно из-за этих запросов перестал нормально работать скрипт!
Собрать информацию можно через прокси

[harmless]

Код: Выделить всё

request

    POST /query/chsquery.php HTTP/1.1
    content-type : multipart/form-data; boundary=------------------------3kMBisMe5c82f75
    host : ts.eset.com:80
    content-length : 2188

request body

--------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="chc_pversion" Content-Transfer-Encoding: 8bit 6 --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="chc_sversion" Content-Transfer-Encoding: 8bit 64 --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="chc_gmdatetime" Content-Transfer-Encoding: 8bit 2019-03-08 23:14:35 --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="chc_datetime" Content-Transfer-Encoding: 8bit 2019-03-09 01:14:35 --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="datatype" Content-Transfer-Encoding: 8bit  --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="key" Content-Transfer-Encoding: 8bit q$s%_Q]U XVLB\ EP[@[ZIQ,Y,)*WZ --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="priority" Content-Transfer-Encoding: 8bit d --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="hitcount" Content-Transfer-Encoding: 8bit  --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="firsthitdate" Content-Transfer-Encoding: 8bit gT[UL\T Y][FUD_ --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="lasthitdate" Content-Transfer-Encoding: 8bit gT[UL\T Y][FUD_ --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="firsthitdatedelta" Content-Transfer-Encoding: 8bit aQN --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="attributes" Content-Transfer-Encoding: 8bit c1u)UQ/XX\\PTXE,#EP[Kaf(;:r2_^[&MCW\LW^W^^QOdf-=;<DI@&CBX5XPCXGY\\QG\Ly 88+BU@1WTE"X!AnKoa#; 4C_^cYXVGG^WOET.lb}mt :>^[CL_@UGE(Vhx/1 ~GUS\_GeIJY[Q-d --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="sessionid" Content-Transfer-Encoding: 8bit  --------------------------3kMBisMe5c82f75 Content-Disposition: form-data; name="chc_valid" Content-Transfer-Encoding: 8bit 1 --------------------------3kMBisMe5c82f75-- 

кто сможет помочь расшифровать?

[andrewju]

по предоставленному логу - по найденным ссылкам нет ключей!

Угу, я тоже думаю, что ищет что-то не то... но почему?!

Код: Выделить всё

pattern = "((TRIAL)-[0-9]{10}).+?([a-z0-9]{10})"

Это актуальный паттерн?
(хотя с "((EAV|TRIAL)-[0-9]{10}).+?([a-z0-9]{10})" все то же самое...)

[harmless]

andrewju, актуален

[harmless]

20190309:

Добавлено:
- поддержка 12 версии
Удалено:
- проверка времени действия ключа(бессмысленно, так как если забанят ключ, то дата его срока валидности не спасает)

[andrewju]

актуален

Тогда почему у меня поиск ключей работать не хочет?!

Что еще стоит проверить?

[andrewju]

Что-то даже с ключом, вбитым вручную, проверка не проходит и обновления не качаются:

Код: Выделить всё

[2019-03-10, 15:12:48] Running SelfUpdate::init
[2019-03-10, 18:12:48] Running Nod32ms::__construct
[2019-03-10, 18:12:48] Run script 20190309 [Freedom for Ukraine by harmless]
[2019-03-10, 18:12:48] Running Nod32ms::run_script
[2019-03-10, 18:12:48] [ver. 5] Init Mirror for version 5 in eset_upd/v5
[2019-03-10, 18:12:48] [ver. 5] Running Mirror::init
[2019-03-10, 18:12:48] [ver. 5] Mirror initiliazed with dir=v5-rel-*, mirror_dir=eset_upd/v5
[2019-03-10, 18:12:48] [ver. 5] Running Nod32ms::read_keys
[2019-03-10, 18:12:48] [ver. 5] Running Parser::parse_keys
[2019-03-10, 18:12:48] [ver. 5] Running Parser::parse_line
[2019-03-10, 18:12:48] [ver. 5] Running Nod32ms::validate_key
[2019-03-10, 18:12:48] [ver. 5] Validating key [<тут ключ вида TRIAL-xxx, с которым EES только что обновился>]
[2019-03-10, 18:12:48] [ver. 5] Running Nod32ms::key_exists_in_file
[2019-03-10, 18:12:48] [ver. 5] Running Parser::parse_keys
[2019-03-10, 18:12:48] [ver. 5] Running Parser::parse_line
[2019-03-10, 18:12:48] [ver. 5] No working keys were found!

[harmless]

andrewju, формат файла поменялся
Логин:пароль:версия

[andrewju]

Логин:пароль:версия

Так оно и написано...

[andrewju]

Хмм... Скрипт все-таки нашел какой-то ключ (сам) и с ним обновил локальную базу...

Буду наблюдать дальше...

Такое ощущение, что не все ключи, с которыми обновляются официальные клиенты, прокатывают в скрипте...

[harmless]

andrewju, в том то и дело:(
Я выкинул часть кода по проверке крайнего срока действия логина и пароля и всё вроде как заработало, но появилось одно но(вернее всплыло старое) - не все файлы на серверах есета доступны для скачивания с этими логинами и паролями!
Причину такого поведения я не нашёл пока, если кто знает - говорите!