Очередной скрипт зеркала NOD32

Проблемы с установкой, настройкой и работой системных и сетевых программ.

Модераторы: GRooVE, alexco

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
kosenka
рядовой
Сообщения: 14
Зарегистрирован: 2008-03-25 18:29:49

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение kosenka » 2014-09-05 8:22:21

TITANius писал(а):В новой версии заменил:
- перелапатил функцию поиска полностью. Теперь ведётся поиск так: запрос в гугл по "nod32+username+password" с выдачей списка сайтов за последние 3 дня, потом сканируются сайты которые выдал гугл, и там проверяются ключи которые есть на странице. Раньше делался запрос в гугл, и проверялись ключи выданные непосредственно гуглом по одному ключу на блок данных. Т.е. сейчас ключ находится с первой попытки.
- выбирается только один валидный ключ, экономя ресурсы на поиск целого списка ключей.
- проверка ключа имитирует работу самого антивируса, т.е. со стороны ESET блокировать проверку ключа не возможно.
- работа с фалами и папками, теперь не должно плодить папки (взял у zvirus)
- выводится дата истечения ключа (взял у OttoFix)

Сам скрипт основан на старом 3.0.0 beta5 (3013). Скрипт в процессе тестирования =)
nod32ms_01.09.14.zip
depositaire писал(а):А вопрос такой, что из файлов правилось? А то в скрипте уже идёт исправления по размеру папок и не хочется его убивать..
Изменялись файлы: inc/nod32ms_v3.class.php и inc/classes/files.class.php
Не распаковывается архив, winrar пишет про "неизвестный метод упаковки".

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/


kosenka
рядовой
Сообщения: 14
Зарегистрирован: 2008-03-25 18:29:49

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение kosenka » 2014-09-05 9:12:18

Plague писал(а):WINRAR 5
спасибо. 7zip тоже справился

kosenka
рядовой
Сообщения: 14
Зарегистрирован: 2008-03-25 18:29:49

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение kosenka » 2014-09-05 11:26:56

Скрипт отработал, папки создались, но при попытке nod v4 обновить базы, он пишет "файл на сервере не найден".

Структура папок такая:
/nod32/eset_upd/
/nod32/eset_upd/v4/update.ver
/nod32/eset_upd/v5/update.ver
/nod32/eset_upd/v6/update.ver
/nod32/eset_upd/v7/update.ver
/nod32/eset_upd/v3-rel-sta/-куча папок-
/nod32/eset_upd/v4-rel-sta/-куча папок-
/nod32/eset_upd/v5-rel-sta/-куча папок-
/nod32/eset_upd/v6-rel-sta/-куча папок-
/nod32/eset_upd/v7-rel-sta/-куча папок-
/nod32/eset_upd/update.ver

При попытке обновить базы у nod v7 antivirus пишет: "Обновление не требуется. Версия базы 9851 (20140526) "

Никак не могу понять, что не так...

РПГ32
проходил мимо

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение РПГ32 » 2014-09-05 22:36:18

alexco писал(а):
любобытно что вообще получилось, скачать чтоле глянуть? [/quote]
Человек просто включил наработки zvirusa и др. на проверки ключей, дубликаты папок, настроил поиск, а твой скрипт выступил как фундамент, а icq, sendmail, генераторы html -- нафик ненадо, всем респект и уважуха

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-09-05 22:58:52

РПГ32 писал(а):Человек просто включил наработки zvirusa и др. на проверки ключей, дубликаты папок, настроил поиск, а твой скрипт выступил как фундамент, а icq, sendmail, генераторы html -- нафик ненадо, всем респект и уважуха
Основан скрипт на базе nod32 mirror script ver. 3.0.0 beta5 от alexco. Человек переделал полностью поиск и проверки ключей. Дубликаты папок от zvirus. Проверка даты ключей от OttoFix. Всё остальное человек не трогал, поэтому работоспособность зависит от того работает ли оно у базовой версии скрипта.

Человек перепутал ветки скриптов в формуе, но решил не дублировать сообщения по форуму.

Сейчас человек работает над скриптом от GRooVE (у него больше возможностей). Хотел скооперироваться с zvirus, но оказалось что он высокомерный.

На данный момент переосмыслена последовательность работы скрипта, поиск, проверка, оптимизация трафика. Сейчас ведётся работа над размерами папок с файлами, трафик гоняющийся из-за билдов. Выйдет в свет после всех воплощённых идей в жизнь.

Надеюсь GRooVE оценит работу и возьмёт наработки в следующий билд.

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-09-10 0:36:08

Практически всё сделал, кроме некоторых вещей, через которые решил посоветоваться с вами.
1. Нужна ли проверка ключей ESS и EAV версий обновлений? Есть ли ключи которые находятся в инете, которые подходят к одной и не подходят к другой версии? Или проверка для того чтобы экономить трафик (не грузить определённую версию)?
2. Проверка разрядности х86 или х64 тоже для экономии трафика?
... Кто-то делает зеркала только под один комп? =) ... экономия трафика при фильтровании только EAV версий практически незначительна. Значительная экономия идёт на фильтровании языков.
3. Сделать ли опцию "обновлять все версии" (при выходе новой версии будет обновлять и их)?
4. Жесткие ссылки у GRooVE вынесены в опцию, у меня же проверяется возможность их создания, и на основе результата принимается решение делать ли жесткую ссылку и ли копировать файл. Нужна опция или всё таки чтобы само проверяло?

Ну и про выполненную работу: перелопатил основные функции, оптимизировал трафик, файлы и папки жестко контролируются (ни одного дублирующегося файла, ни одной левой папки). Переосмыслил pattern'ы поисковых запросов ... из всех поисковиков с нужными результатами подходят только google и bing, всё остальное бадыль: yandex (куча левой инфы, никакой конкретики), meta (не нашел API запросов по времени, если они есть ... результаты не могут тягаться с первыми двумя поисковиками), yahoo (та ещё головная боль) ... может есть какой китайский поисковик с адекватным API (смысл чтобы задать запрос по конкретным словам с поиском за 3 дня)?

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-09-10 12:00:34

Кое-какие наблюдения, может кому будут полезны.

В момент обновления базы на зеркалах, ихние текущие базы переводятся в "режим" "rel-stop", после успешного обновления снова переводятся в "rel-stа". Т.е. в одно и тоже время на большинство зеркал ссылаются на фалы в "rel-sta", и только некоторые зеркала, самые тормознутые, на "rel-stop".

Похожая ситуация и с внутренней иерархией папок. От версии к версии обновляются незначительные файлы, поэтому чтобы не было лживых ссылок на файлы меняется названии директории, например с "/v3-rel-sta/mod_002_engine_20079" на "/v3-rel-sta/mod_002_engine_20080", хотя внутри файлы на 99% идентичны.

Так же разные версии NOD'а используют одинаковые файлы (отличаются только названия папок в которых они располагаются), в последних версиях практически 90% файлов одинаковые.

В моём скрипте это всё отслеживается (проверяются файлы на название + размер + дату mtime), и качаются только новые файлы, которые ранее не качались (на предыдущие файлы указывается жесткая ссылка ... или копируются). Файлы на которые не ссылаются больше файлы .ver удаляются. Так же удаляются пустые папки.

... этими всеми действиями экономится значительное количество трафика и места на сервере.

hexbear
рядовой
Сообщения: 19
Зарегистрирован: 2012-07-16 12:19:44
Откуда: Донецк, Украина

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение hexbear » 2014-09-10 14:16:17

TITANius, жду вашего релиза, хорошим делом занимаетесь.
GRooVE с июля не появлялся, надеюсь, с ним всё в порядке ...

Станислав
проходил мимо

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение Станислав » 2014-09-11 12:53:14

Будет ли работать скрипт на хостинге?
пример настроек если можно..

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-09-11 23:42:37

Нужны добровольцы для обкатки нового скрипта на: FreeBSD, Windows XP (32bit), Windows 6/7 (64bit).
Кто решился помочь отпишитесь здесь, чтобы дублирующих тестеров не было. И мне в личку.

OttoFix
рядовой
Сообщения: 31
Зарегистрирован: 2014-04-17 7:00:36

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение OttoFix » 2014-09-12 5:27:31

TITANius писал(а): Похожая ситуация и с внутренней иерархией папок. От версии к версии обновляются незначительные файлы, поэтому чтобы не было лживых ссылок на файлы меняется названии директории, например с "/v3-rel-sta/mod_002_engine_20079" на "/v3-rel-sta/mod_002_engine_20080", хотя внутри файлы на 99% идентичны.

Так же разные версии NOD'а используют одинаковые файлы (отличаются только названия папок в которых они располагаются), в последних версиях практически 90% файлов одинаковые.

В моём скрипте это всё отслеживается (проверяются файлы на название + размер + дату mtime), и качаются только новые файлы, которые ранее не качались (на предыдущие файлы указывается жесткая ссылка ... или копируются). Файлы на которые не ссылаются больше файлы .ver удаляются. Так же удаляются пустые папки.

... этими всеми действиями экономится значительное количество трафика и места на сервере.
Добрый день!
По поводу смены названия директории - какие файлы изменились можно узнать из update.ver там есть версия, дата и размер обновления (простым сравнением старого и нового файла).
Стоит ли заморачиваться с одинаковыми файлами разных версий нода? и как узнали, что многие файлы одинаковые? (бинарное сравнение делали?)

Я сейчас свой класс набрасываю по обновлению, сделал возможность скачивания "мультипотоком" curl с автоматическим пополнением очереди (файлы скачиваются сразу на диск, теперь не требуется много памяти для скрипта). Файл update.ver парсите методом groove?

Если возможно, хотелось бы взглянуть на Ваш код. :oops:

OttoFix
рядовой
Сообщения: 31
Зарегистрирован: 2014-04-17 7:00:36

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение OttoFix » 2014-09-12 5:38:22

По поводу одинаковых файлов, вопрос снимаю. Сейчас сам посмотрел, вообще файлы .nup - это своего рода контейнер для фактического файла обновления .dat.
Если файл .nup открыть в текстовой редакторе то в начале файла будет информация о нем. Сравнив контрольную сумму двух "одинаковых" файлов из разных версий нода, я убедился в их идентичности.

Аватара пользователя
xek
рядовой
Сообщения: 12
Зарегистрирован: 2010-01-10 15:13:54

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение xek » 2014-09-14 11:39:02

OttoFix писал(а):По поводу одинаковых файлов, вопрос снимаю. Сейчас сам посмотрел, вообще файлы .nup - это своего рода контейнер для фактического файла обновления .dat.
Если файл .nup открыть в текстовой редакторе то в начале файла будет информация о нем. Сравнив контрольную сумму двух "одинаковых" файлов из разных версий нода, я убедился в их идентичности.
поделись пожалуйста рабочим скриптом. :roll:

Аватара пользователя
xek
рядовой
Сообщения: 12
Зарегистрирован: 2010-01-10 15:13:54

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение xek » 2014-09-16 11:34:05

Есть у кого рабочий скрипт?
Разумеется за вознаграждение.
в лс

Аватара пользователя
Maximus_Decimus
рядовой
Сообщения: 30
Зарегистрирован: 2012-06-07 16:48:20
Откуда: Приднестровье

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение Maximus_Decimus » 2014-09-18 11:38:41

TITANius писал(а):Нужны добровольцы для обкатки нового скрипта на: FreeBSD, Windows XP (32bit), Windows 6/7 (64bit).
Кто решился помочь отпишитесь здесь, чтобы дублирующих тестеров не было. И мне в личку.
Давайте я протестирую, правда у меня сервак на gentoo но развницы со freebsd особой не должно быть.

Скрипт groove не работает даже если ему дать реальные ключи
Вот ссылку которую тоже хорошо бы в патерн положить но у меня не вышло, хотя ключи там рабочие
https://ru-ru.facebook.com/free.keys.nod32

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-09-18 11:49:43

Прошу прощения за задержку релиза. Решил добавить крупные изменения в свою версию скрипта. Придётся не долго подождать.
Скрипт groove не работает даже если ему дать реальные ключи
Вот ссылку которую тоже хорошо бы в патерн положить но у меня не вышло, хотя ключи там рабочие
https://ru-ru.facebook.com/free.keys.nod32
Это из-за того что проверка ведётся по файлам которых уже на зеркалах нет. Для фикса этого дела

заменить в Mirror.class.php

Код: Выделить всё

            if(strstr($header[0],"200") !== false) {
               return true;
            }
            elseif(strstr($header[0],"401") !== false) {
               return false;
            }
на

Код: Выделить всё

            if(ereg('401', $header[0])) return false;
            else return true;

Аватара пользователя
Maximus_Decimus
рядовой
Сообщения: 30
Зарегистрирован: 2012-06-07 16:48:20
Откуда: Приднестровье

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение Maximus_Decimus » 2014-09-18 12:35:11

Да спасибо заработало только я изменил ereg на preg_match ввиду возможного прекращений поддержки ereg
заменить в Mirror.class.php

Код: Выделить всё

            if(strstr($header[0],"200") !== false) {
               return true;
            }
            elseif(strstr($header[0],"401") !== false) {
               return false;
            }
на

Код: Выделить всё

            if(preg_match('/401/', $header[0])) return false;
            else return true;
Также изменил поисковый запрос на free.keys.nod32 в конфиге

viktor6
мл. сержант
Сообщения: 99
Зарегистрирован: 2009-12-16 22:49:28

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение viktor6 » 2014-09-20 20:50:46

чето перестало работать

Код: Выделить всё

[2014-09-17] [21:32:28] [ver. 7] Качаем em023_32_n15.nup [122,560 Байт]
[2014-09-17] [21:32:29] [ver. 7] Текущая база данных успешно обновлена с версии 10432 (20140917) до 10433 (20140917)!
[2014-09-17] [21:32:29] Генерируем index.html...
[2014-09-17] [21:32:29] Время работы скрипта: 141 секунд
[2014-09-17] [21:32:29] Скрипт завершен
[2014-09-17] [22:00:06] Ротация лог файла...
[2014-09-17] [22:30:09] Ротация лог файла...
[2014-09-17] [23:00:06] Ротация лог файла...
[2014-09-17] [23:30:06] Ротация лог файла...
[2014-09-18] [00:00:06] Ротация лог файла...
[2014-09-18] [00:30:05] Ротация лог файла...
[2014-09-18] [01:00:03] Ротация лог файла...
[2014-09-18] [01:30:05] Ротация лог файла...
[2014-09-18] [02:00:02] Ротация лог файла...
[2014-09-18] [02:30:04] Ротация лог файла...
[2014-09-18] [03:00:03] Ротация лог файла...
[2014-09-18] [03:30:03] Ротация лог файла...
[2014-09-18] [04:00:04] Ротация лог файла...
[2014-09-18] [04:30:03] Ротация лог файла...
[2014-09-18] [05:00:02] Ротация лог файла...
[2014-09-18] [05:30:04] Ротация лог файла...
[2014-09-18] [06:00:04] Ротация лог файла...
[2014-09-18] [06:30:06] Ротация лог файла...
[2014-09-18] [07:00:05] Ротация лог файла...
[2014-09-18] [07:30:07] Ротация лог файла...
[2014-09-18] [08:00:04] Ротация лог файла...

viktor6
мл. сержант
Сообщения: 99
Зарегистрирован: 2009-12-16 22:49:28

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение viktor6 » 2014-09-21 13:06:38

Удалил логи и все заработало :Yahoo!:

NicromanseR
ефрейтор
Сообщения: 51
Зарегистрирован: 2014-03-23 19:36:20

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение NicromanseR » 2014-09-21 19:28:00

Готов протестировать
бубунта, впс.
Можно скинуть пропаченный скрипт?

faraday
проходил мимо
Сообщения: 8
Зарегистрирован: 2014-09-19 17:25:13

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение faraday » 2014-09-26 14:30:32

У меня скрипт работает ключи находит, базы качает (папок немерено с под папками), но сам антивирус качать не хочит. Показывает размер базы которую нужно скачать, но самой закачки не происходит, пишет обновлений не требуется, хотя база старая стоит за 2013 год. TITANius поделитесь рабочим скриптом.

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-09-26 17:22:27

faraday писал(а):TITANius поделитесь рабочим скриптом.
Пока что скрипт не совершенен (работает только под линуксом и на английском языке), не хочу чтоб плевались из-за боков. + хочу добавить функцию создания оффлайн базы для нода (в варианте с жесткими ссылками этот бонус не будет стоить ни места на жестком диске, ни временем обработки).

пользуйтесь прошлой версией скрипта - http://forum.lissyara.su/viewtopic.php? ... 75#p364092

Текущая версия выглядит так:

Код: Выделить всё

[2014-09-26] [16:42:24] Run script 
[2014-09-26] [16:42:30] [ver. 3] The latest db 10470 (20140926) was found on 91.228.166.14
[2014-09-26] [16:42:31] [ver. 4] The latest db 10470 (20140926) was found on 91.228.166.13
[2014-09-26] [16:42:31] [ver. 5] The latest db 10470 (20140926) was found on 91.228.166.13
[2014-09-26] [16:42:32] [ver. 6] The latest db 10470 (20140926) was found on 91.228.166.16
[2014-09-26] [16:42:33] [ver. 7] The latest db 10470 (20140926) was found on 91.228.166.15
[2014-09-26] [16:42:33] Keys file is empty!
[2014-09-26] [16:42:33] Begining search at bing.pattern
[2014-09-26] [16:42:33] Link was found [http://www.bing.com/search?tbs=qdr:d3&count=100&q=nod32+username+password&first=0]
[2014-09-26] [16:42:33] Found 5 links
[2014-09-26] [16:42:34] Link was found [http://www.nod32-update11.tk/]
[2014-09-26] [16:42:34] Found 6 keys
[2014-09-26] [16:42:35] Found valid key [TRIAL-0121351144:unuu35t5db] Expiration date 24.10.14
[2014-09-26] [16:42:35] Use valid key [TRIAL-0121351144:unuu35t5db] Expiration date 24.10.14
[2014-09-26] [16:42:36] [ver. 3] Downloaded em000_32_l0.nup [55.36 KBytes]
[2014-09-26] [16:42:36] [ver. 3] Downloaded em001_32_l2.nup [49.73 KBytes]
...
[2014-09-26] [16:43:36] [ver. 3] Downloaded eav_nt64_ukr.nup [7.96 MBytes]
[2014-09-26] [16:43:41] [ver. 3] Downloaded em002_32_l0.nup [30.99 MBytes]
[2014-09-26] [16:43:41] [ver. 3] Summary downloaded 283.28 MBytes
[2014-09-26] [16:43:41] [ver. 3] Average speed 4.36 MBytes/s
[2014-09-26] [16:43:41] [ver. 3] Your db was successfully updated to 10470 (20140926)
[2014-09-26] [16:43:42] [ver. 4] Created hard link for em000_32_l0.nup
[2014-09-26] [16:43:42] [ver. 4] Created hard link for em000_64_l0.nup
...
[2014-09-26] [16:43:46] [ver. 4] Created hard link for em029_32_l1.nup
[2014-09-26] [16:43:46] [ver. 4] Created hard link for em029_32_n1.nup
[2014-09-26] [16:43:47] [ver. 4] Downloaded em001_32_n6.nup [88.66 KBytes]
[2014-09-26] [16:43:47] [ver. 4] Summary downloaded 88.66 KBytes
[2014-09-26] [16:43:47] [ver. 4] Average speed 309.3 KBytes/s
[2014-09-26] [16:43:47] [ver. 4] Your db was successfully updated to 10470 (20140926)
[2014-09-26] [16:43:47] [ver. 5] Created hard link for em000_32_l0.nup
[2014-09-26] [16:43:47] [ver. 5] Created hard link for em000_64_l0.nup
...
[2014-09-26] [16:43:56] [ver. 5] Created hard link for em029_32_l1.nup
[2014-09-26] [16:43:56] [ver. 5] Created hard link for em029_32_n1.nup
[2014-09-26] [16:44:11] [ver. 5] Downloaded eav_nt32_enu.nup [9.87 MBytes]
[2014-09-26] [16:44:11] [ver. 5] Downloaded eav_nt64_enu.nup [11.87 MBytes]
..
[2014-09-26] [16:44:32] [ver. 5] Downloaded ess_nt64_ukr.nup [16.84 MBytes]
[2014-09-26] [16:44:33] [ver. 5] Downloaded ess_nt64_enu.nup [16.19 MBytes]
[2014-09-26] [16:44:33] [ver. 5] Summary downloaded 149.42 MBytes
[2014-09-26] [16:44:33] [ver. 5] Average speed 4.08 MBytes/s
[2014-09-26] [16:44:34] [ver. 5] Your db was successfully updated to 10470 (20140926)
[2014-09-26] [16:44:34] [ver. 6] Created hard link for em000_32_l0.nup
[2014-09-26] [16:44:34] [ver. 6] Created hard link for em000_64_l0.nup
...
[2014-09-26] [16:44:47] [ver. 6] Created hard link for em029_32_l1.nup
[2014-09-26] [16:44:48] [ver. 6] Created hard link for em029_32_n1.nup
[2014-09-26] [16:44:48] [ver. 6] Downloaded em008_32_n1.nup [32.17 KBytes]
[2014-09-26] [16:44:48] [ver. 6] Downloaded em008_32_n2.nup [43.74 KBytes]
...
[2014-09-26] [16:45:16] [ver. 6] Downloaded ess_nt64_enu.nup [23.46 MBytes]
[2014-09-26] [16:45:18] [ver. 6] Downloaded eav_nt64_enu.nup [18.31 MBytes]
[2014-09-26] [16:45:18] [ver. 6] Summary downloaded 84.12 MBytes
[2014-09-26] [16:45:18] [ver. 6] Average speed 2.74 MBytes/s
[2014-09-26] [16:45:19] [ver. 6] Your db was successfully updated to 10470 (20140926)
[2014-09-26] [16:45:19] [ver. 7] Created hard link for em000_32_l0.nup
[2014-09-26] [16:45:19] [ver. 7] Created hard link for em000_64_l0.nup
...
[2014-09-26] [16:45:37] [ver. 7] Created hard link for em029_32_l1.nup
[2014-09-26] [16:45:37] [ver. 7] Created hard link for em029_32_n1.nup
[2014-09-26] [16:45:37] [ver. 7] Downloaded em018_32_n4.nup [22.33 KBytes]
[2014-09-26] [16:45:37] [ver. 7] Downloaded em018_32_n6.nup [25.24 KBytes]
...
[2014-09-26] [16:45:38] [ver. 7] Downloaded em018_64_n13.nup [56.26 KBytes]
[2014-09-26] [16:45:38] [ver. 7] Downloaded em031_32_l0.nup [422.36 KBytes]
[2014-09-26] [16:45:38] [ver. 7] Summary downloaded 2.04 MBytes
[2014-09-26] [16:45:38] [ver. 7] Average speed 1.3 MBytes/s
[2014-09-26] [16:45:39] [ver. 7] Your db was successfully updated to 10470 (20140926)
[2014-09-26] [16:45:39] Total working time: 3 minutes, 15 seconds
[2014-09-26] [16:45:39] Stop script
Общее время с поиском ключей, прасингом .ver файлов, созданием ссылок на существующие файлы и закачка их для полной базы 3х языков (ен, ру, укр) составило 3 минуты и 15 секунд (на моем мини серваке в 700Мгц ЦПУ и 512Мб ОЗУ).

Это удалось достичь следующими моментами:
- из всех зеркал выбирается то, у которого время доступа самое маленькое + где в .ver ссылаются на файлы "rel-sta" (задаётся в конфиге перечень файлов) для каждого из версий нода.
- проверка зеркал и загрузка файлов производится мультипотоково (для зеркал 20 потоков, для файлов 10 потоков), если установлено с PHP "curl_multi", в противном случае будет поочерёдно качаться каждый файл, но с буфером в 1МБ, а не весь файл целиком, как это было раньше (чтоб экономить память).
- автоматически проверяется возможность создание жестких ссылок у юникса/виндовса. Если нет возможности, то нужные файлы будут копироваться (проверка идентичности файлов ведётся по имени и размеру).
- переписал функцию поиска ключей, не понимаю как оно раньше вообще работало 8)

Дальше переписую скрипт для работы под виндовсом и на русском языке. + функция офлайн баз.

Отдельное спасибо OttoFix'у за идеи и помощь в реализации идей.

Аватара пользователя
TITANius
сержант
Сообщения: 197
Зарегистрирован: 2009-10-27 11:33:10

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение TITANius » 2014-09-26 17:59:13

И да ... вся база, что должна загружаться (ен, ру, укр) (eav, ess) (x64, x86) весит 520 Мб. Всё что выше - дублирование файлов.

gazizeldar
ефрейтор
Сообщения: 51
Зарегистрирован: 2012-01-06 11:14:56

Re: Очередной скрипт зеркала NOD32

Непрочитанное сообщение gazizeldar » 2014-09-28 12:44:28

спасибо товарищу скрипт пашет, прищел с соседней ветки ибо там чтото все молчат.
у меня FreeDSD 8.2
использовал рекомендуемый скрипт http://forum.lissyara.su/viewtopic.php? ... 75#p364092
все нашел валидные закачал, антивиры обновились, НО!!
в консоли в конце выдало сообщение

Код: Выделить всё

[28/09/2014 15:17:18][RUN NOD32MS] - nod32 mirror script ver.  () by AlexCo
[28/09/2014 15:17:18]SYSTEM: FreeBSD
[28/09/2014 12:17:18]READ KEY FROM keys.txt
[28/09/2014 12:17:19]VALID KEY: [EAV-0120818554:ftp3bdcah5] EXPIRATION: 20.12.14
[28/09/2014 12:17:19]DOWNLOAD NEW [/мои кишоки/public_html//update.ver] FILE
[28/09/2014 12:17:19]UNRAR FILE [/мои кишоки/public_html//update.ver] TO [/мои кишоки/public_html//eset_upd/]
[28/09/2014 12:17:20]DOWNLOAD NEW [/мои кишоки/public_html//update.ver] FILE
[28/09/2014 12:17:20]UNRAR FILE [/мои кишоки/public_html//update.ver] TO [/мои кишоки/public_html//eset_upd/v4/]
[28/09/2014 12:17:20]DOWNLOAD NEW [/мои кишоки/public_html//update.ver] FILE
[28/09/2014 12:17:20]UNRAR FILE [/мои кишоки/public_html//update.ver] TO [/мои кишоки/public_html//eset_upd/v5/]
[28/09/2014 12:17:20]DOWNLOAD NEW [/мои кишоки/public_html//update.ver] FILE
[28/09/2014 12:17:20]UNRAR FILE [/мои кишоки/public_html//update.ver] TO [/мои кишоки/public_html//eset_upd/v6/]
[28/09/2014 12:17:21]DOWNLOAD NEW [/мои кишоки/public_html//update.ver] FILE
[28/09/2014 12:17:21]UNRAR FILE [/мои кишоки/public_html//update.ver] TO [/мои кишоки/public_html//eset_upd/v7/]
[28/09/2014 12:17:21]SELECTED TO UPDATE '1787' FILES TOTAL SIZE OF '553 Mb'
[28/09/2014 12:17:21]VERSION SIGNATURE ''
[28/09/2014 12:17:21]ERROR [nod32ms::DownloadSignature] FILE [/мои кишоки/public_html//eset_upd/update.ver] NOT COPY TO [/мои кишоки/public_html//eset_upd/
[28/09/2014 12:17:22][MASTER SERVER OFFLINE]
[28/09/2014 12:17:22][STOP NOD32MS]
кто подскажет где тупанул?что ошибка лезет