Очередной скрипт зеркала NOD32

Проблемы с установкой, настройкой и работой системных и сетевых программ.

Модераторы: GRooVE, alexco

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
depositaire
рядовой
Сообщения: 49
Зарегистрирован: 2011-10-14 14:04:17

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение depositaire » 2014-08-31 16:09:38

TITANius писал(а):Моя "подправленная" версия, взята за основу с первой страницы. Подправил функцию поиска ключей, теперь выбираются ключи за последних три дня + запрос поиска упростил, теперь поиск ключей должен быть бронепробиваемым. Изменил функцию проверки ключа (теперь ничего не страшно:).

Ничего не правил на счёт "размера папок", так как не интересовался вопросом. Если кто нашел в чём проблема с папками - скажите мне)

Может кому пригодится ...
nod32ms_31.08.14.zip
А вопрос такой, что из файлов правилось? А то в скрипте уже идёт исправления по размеру папок и не хочется его убивать..

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-08-31 18:55:41

В новой версии заменил:
- перелапатил функцию поиска полностью. Теперь ведётся поиск так: запрос в гугл по "nod32+username+password" с выдачей списка сайтов за последние 3 дня, потом сканируются сайты которые выдал гугл, и там проверяются ключи которые есть на странице. Раньше делался запрос в гугл, и проверялись ключи выданные непосредственно гуглом по одному ключу на блок данных. Т.е. сейчас ключ находится с первой попытки.
- выбирается только один валидный ключ, экономя ресурсы на поиск целого списка ключей.
- проверка ключа имитирует работу самого антивируса, т.е. со стороны ESET блокировать проверку ключа не возможно.
- работа с фалами и папками, теперь не должно плодить папки (взял у zvirus)
- выводится дата истечения ключа (взял у OttoFix)

Сам скрипт основан на старом 3.0.0 beta5 (3013). Скрипт в процессе тестирования =)
nod32ms_01.09.14.zip
(507.58 КБ) 292 скачивания
depositaire писал(а):А вопрос такой, что из файлов правилось? А то в скрипте уже идёт исправления по размеру папок и не хочется его убивать..
Изменялись файлы: inc/nod32ms_v3.class.php и inc/classes/files.class.php

NicromanseR
ефрейтор
Сообщения: 51
Зарегистрирован: 2014-03-23 19:36:20

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение NicromanseR » 2014-08-31 20:13:33

Странно.. Со старой версией работало, с вашей перестало...
Курилку поставил в первую очередь)

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-08-31 20:36:02

NicromanseR писал(а):Странно.. Со старой версией работало, с вашей перестало...
Курилку поставил в первую очередь)
На каком этапе не работает?
Курилка - curl ?

РПГ32
проходил мимо

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение РПГ32 » 2014-09-01 4:16:45

TITANius писал(а):В новой версии заменил:
- перелапатил функцию поиска полностью.
Сам скрипт основан на старом 3.0.0 beta5 (3013). Скрипт в процессе тестирования =)
p
..ключи находит и качает на ура, но папки так и плодит, и клиент видит только update.ver и размер но не качает.. проверю на другой версии нода..

NicromanseR
ефрейтор
Сообщения: 51
Зарегистрирован: 2014-03-23 19:36:20

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение NicromanseR » 2014-09-01 7:14:26

TITANius писал(а):
NicromanseR писал(а):Странно.. Со старой версией работало, с вашей перестало...
Курилку поставил в первую очередь)
На каком этапе не работает?
Курилка - curl ?
Да

РПГ32
проходил мимо

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение РПГ32 » 2014-09-01 14:10:58

РПГ32 писал(а):
TITANius писал(а):...видит только update.ver и размер но не качает...
всё нормально, проблемма была в реврайтах на v5-rel-sta, папки вроде не плодит, но размер баз растёт быстро..

depositaire
рядовой
Сообщения: 49
Зарегистрирован: 2011-10-14 14:04:17

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение depositaire » 2014-09-02 20:58:07

Интересно работает, но уже слабо похоже на то что было сделано в скрипте от GRooVE. Как я понял основа там взята со скрипта от alexco. Всё таки и генерация веб страницы не помешала бы и icq информер.

Аватара пользователя
alexco
старшина
Сообщения: 426
Зарегистрирован: 2008-09-27 18:43:49
Откуда: Россия, Москва
Контактная информация:

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение alexco » 2014-09-04 19:21:34

depositaire писал(а):Интересно работает, но уже слабо похоже на то что было сделано в скрипте от GRooVE. Как я понял основа там взята со скрипта от alexco. Всё таки и генерация веб страницы не помешала бы и icq информер.
любобытно что вообще получилось, скачать чтоле глянуть? под винду интересно работает?
Электромонтажная Организация -> elemonorg.ru

depositaire
рядовой
Сообщения: 49
Зарегистрирован: 2011-10-14 14:04:17

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение depositaire » 2014-09-05 6:53:09

Попробуйте. Под виндой не пробовал.

kosenka
рядовой
Сообщения: 14
Зарегистрирован: 2008-03-25 18:29:49

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение kosenka » 2014-09-05 8:22:21

TITANius писал(а):В новой версии заменил:
- перелапатил функцию поиска полностью. Теперь ведётся поиск так: запрос в гугл по "nod32+username+password" с выдачей списка сайтов за последние 3 дня, потом сканируются сайты которые выдал гугл, и там проверяются ключи которые есть на странице. Раньше делался запрос в гугл, и проверялись ключи выданные непосредственно гуглом по одному ключу на блок данных. Т.е. сейчас ключ находится с первой попытки.
- выбирается только один валидный ключ, экономя ресурсы на поиск целого списка ключей.
- проверка ключа имитирует работу самого антивируса, т.е. со стороны ESET блокировать проверку ключа не возможно.
- работа с фалами и папками, теперь не должно плодить папки (взял у zvirus)
- выводится дата истечения ключа (взял у OttoFix)

Сам скрипт основан на старом 3.0.0 beta5 (3013). Скрипт в процессе тестирования =)
nod32ms_01.09.14.zip
depositaire писал(а):А вопрос такой, что из файлов правилось? А то в скрипте уже идёт исправления по размеру папок и не хочется его убивать..
Изменялись файлы: inc/nod32ms_v3.class.php и inc/classes/files.class.php
Не распаковывается архив, winrar пишет про "неизвестный метод упаковки".


kosenka
рядовой
Сообщения: 14
Зарегистрирован: 2008-03-25 18:29:49

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение kosenka » 2014-09-05 9:12:18

Plague писал(а):WINRAR 5
спасибо. 7zip тоже справился

kosenka
рядовой
Сообщения: 14
Зарегистрирован: 2008-03-25 18:29:49

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение kosenka » 2014-09-05 11:26:56

Скрипт отработал, папки создались, но при попытке nod v4 обновить базы, он пишет "файл на сервере не найден".

Структура папок такая:
/nod32/eset_upd/
/nod32/eset_upd/v4/update.ver
/nod32/eset_upd/v5/update.ver
/nod32/eset_upd/v6/update.ver
/nod32/eset_upd/v7/update.ver
/nod32/eset_upd/v3-rel-sta/-куча папок-
/nod32/eset_upd/v4-rel-sta/-куча папок-
/nod32/eset_upd/v5-rel-sta/-куча папок-
/nod32/eset_upd/v6-rel-sta/-куча папок-
/nod32/eset_upd/v7-rel-sta/-куча папок-
/nod32/eset_upd/update.ver

При попытке обновить базы у nod v7 antivirus пишет: "Обновление не требуется. Версия базы 9851 (20140526) "

Никак не могу понять, что не так...

РПГ32
проходил мимо

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение РПГ32 » 2014-09-05 22:36:18

alexco писал(а):
любобытно что вообще получилось, скачать чтоле глянуть? [/quote]
Человек просто включил наработки zvirusa и др. на проверки ключей, дубликаты папок, настроил поиск, а твой скрипт выступил как фундамент, а icq, sendmail, генераторы html -- нафик ненадо, всем респект и уважуха

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-09-05 22:58:52

РПГ32 писал(а):Человек просто включил наработки zvirusa и др. на проверки ключей, дубликаты папок, настроил поиск, а твой скрипт выступил как фундамент, а icq, sendmail, генераторы html -- нафик ненадо, всем респект и уважуха
Основан скрипт на базе nod32 mirror script ver. 3.0.0 beta5 от alexco. Человек переделал полностью поиск и проверки ключей. Дубликаты папок от zvirus. Проверка даты ключей от OttoFix. Всё остальное человек не трогал, поэтому работоспособность зависит от того работает ли оно у базовой версии скрипта.

Человек перепутал ветки скриптов в формуе, но решил не дублировать сообщения по форуму.

Сейчас человек работает над скриптом от GRooVE (у него больше возможностей). Хотел скооперироваться с zvirus, но оказалось что он высокомерный.

На данный момент переосмыслена последовательность работы скрипта, поиск, проверка, оптимизация трафика. Сейчас ведётся работа над размерами папок с файлами, трафик гоняющийся из-за билдов. Выйдет в свет после всех воплощённых идей в жизнь.

Надеюсь GRooVE оценит работу и возьмёт наработки в следующий билд.

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-09-10 0:36:08

Практически всё сделал, кроме некоторых вещей, через которые решил посоветоваться с вами.
1. Нужна ли проверка ключей ESS и EAV версий обновлений? Есть ли ключи которые находятся в инете, которые подходят к одной и не подходят к другой версии? Или проверка для того чтобы экономить трафик (не грузить определённую версию)?
2. Проверка разрядности х86 или х64 тоже для экономии трафика?
... Кто-то делает зеркала только под один комп? =) ... экономия трафика при фильтровании только EAV версий практически незначительна. Значительная экономия идёт на фильтровании языков.
3. Сделать ли опцию "обновлять все версии" (при выходе новой версии будет обновлять и их)?
4. Жесткие ссылки у GRooVE вынесены в опцию, у меня же проверяется возможность их создания, и на основе результата принимается решение делать ли жесткую ссылку и ли копировать файл. Нужна опция или всё таки чтобы само проверяло?

Ну и про выполненную работу: перелопатил основные функции, оптимизировал трафик, файлы и папки жестко контролируются (ни одного дублирующегося файла, ни одной левой папки). Переосмыслил pattern'ы поисковых запросов ... из всех поисковиков с нужными результатами подходят только google и bing, всё остальное бадыль: yandex (куча левой инфы, никакой конкретики), meta (не нашел API запросов по времени, если они есть ... результаты не могут тягаться с первыми двумя поисковиками), yahoo (та ещё головная боль) ... может есть какой китайский поисковик с адекватным API (смысл чтобы задать запрос по конкретным словам с поиском за 3 дня)?

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-09-10 12:00:34

Кое-какие наблюдения, может кому будут полезны.

В момент обновления базы на зеркалах, ихние текущие базы переводятся в "режим" "rel-stop", после успешного обновления снова переводятся в "rel-stа". Т.е. в одно и тоже время на большинство зеркал ссылаются на фалы в "rel-sta", и только некоторые зеркала, самые тормознутые, на "rel-stop".

Похожая ситуация и с внутренней иерархией папок. От версии к версии обновляются незначительные файлы, поэтому чтобы не было лживых ссылок на файлы меняется названии директории, например с "/v3-rel-sta/mod_002_engine_20079" на "/v3-rel-sta/mod_002_engine_20080", хотя внутри файлы на 99% идентичны.

Так же разные версии NOD'а используют одинаковые файлы (отличаются только названия папок в которых они располагаются), в последних версиях практически 90% файлов одинаковые.

В моём скрипте это всё отслеживается (проверяются файлы на название + размер + дату mtime), и качаются только новые файлы, которые ранее не качались (на предыдущие файлы указывается жесткая ссылка ... или копируются). Файлы на которые не ссылаются больше файлы .ver удаляются. Так же удаляются пустые папки.

... этими всеми действиями экономится значительное количество трафика и места на сервере.

hexbear
рядовой
Сообщения: 19
Зарегистрирован: 2012-07-16 12:19:44
Откуда: Донецк, Украина

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение hexbear » 2014-09-10 14:16:17

TITANius, жду вашего релиза, хорошим делом занимаетесь.
GRooVE с июля не появлялся, надеюсь, с ним всё в порядке ...

Станислав
проходил мимо

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение Станислав » 2014-09-11 12:53:14

Будет ли работать скрипт на хостинге?
пример настроек если можно..

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-09-11 23:42:37

Нужны добровольцы для обкатки нового скрипта на: FreeBSD, Windows XP (32bit), Windows 6/7 (64bit).
Кто решился помочь отпишитесь здесь, чтобы дублирующих тестеров не было. И мне в личку.

OttoFix
рядовой
Сообщения: 31
Зарегистрирован: 2014-04-17 7:00:36

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение OttoFix » 2014-09-12 5:27:31

TITANius писал(а): Похожая ситуация и с внутренней иерархией папок. От версии к версии обновляются незначительные файлы, поэтому чтобы не было лживых ссылок на файлы меняется названии директории, например с "/v3-rel-sta/mod_002_engine_20079" на "/v3-rel-sta/mod_002_engine_20080", хотя внутри файлы на 99% идентичны.

Так же разные версии NOD'а используют одинаковые файлы (отличаются только названия папок в которых они располагаются), в последних версиях практически 90% файлов одинаковые.

В моём скрипте это всё отслеживается (проверяются файлы на название + размер + дату mtime), и качаются только новые файлы, которые ранее не качались (на предыдущие файлы указывается жесткая ссылка ... или копируются). Файлы на которые не ссылаются больше файлы .ver удаляются. Так же удаляются пустые папки.

... этими всеми действиями экономится значительное количество трафика и места на сервере.
Добрый день!
По поводу смены названия директории - какие файлы изменились можно узнать из update.ver там есть версия, дата и размер обновления (простым сравнением старого и нового файла).
Стоит ли заморачиваться с одинаковыми файлами разных версий нода? и как узнали, что многие файлы одинаковые? (бинарное сравнение делали?)

Я сейчас свой класс набрасываю по обновлению, сделал возможность скачивания "мультипотоком" curl с автоматическим пополнением очереди (файлы скачиваются сразу на диск, теперь не требуется много памяти для скрипта). Файл update.ver парсите методом groove?

Если возможно, хотелось бы взглянуть на Ваш код. :oops:

OttoFix
рядовой
Сообщения: 31
Зарегистрирован: 2014-04-17 7:00:36

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение OttoFix » 2014-09-12 5:38:22

По поводу одинаковых файлов, вопрос снимаю. Сейчас сам посмотрел, вообще файлы .nup - это своего рода контейнер для фактического файла обновления .dat.
Если файл .nup открыть в текстовой редакторе то в начале файла будет информация о нем. Сравнив контрольную сумму двух "одинаковых" файлов из разных версий нода, я убедился в их идентичности.

Аватара пользователя
xek
рядовой
Сообщения: 12
Зарегистрирован: 2010-01-10 15:13:54

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение xek » 2014-09-14 11:39:02

OttoFix писал(а):По поводу одинаковых файлов, вопрос снимаю. Сейчас сам посмотрел, вообще файлы .nup - это своего рода контейнер для фактического файла обновления .dat.
Если файл .nup открыть в текстовой редакторе то в начале файла будет информация о нем. Сравнив контрольную сумму двух "одинаковых" файлов из разных версий нода, я убедился в их идентичности.
поделись пожалуйста рабочим скриптом. :roll:

Аватара пользователя
xek
рядовой
Сообщения: 12
Зарегистрирован: 2010-01-10 15:13:54

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение xek » 2014-09-16 11:34:05

Есть у кого рабочий скрипт?
Разумеется за вознаграждение.
в лс