шустрый скрипт скрипт зеркала NOD32
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
шустрый скрипт скрипт зеркала NOD32
Выкладываю на ваша обозрение кросс-платформенный скрипт основанный на скрипте от GRooVE. Постепенно было переделано 80% его кода.
По большей части адресован пользователям использовавших ранее скрипт от GRooVE, и знакомых с его настройкой. Но и новым пользователям будет легко настроить данный скрипт.
Основные отличия от остальных скриптов в теме:
- составление списка самых быстрых зеркал, и загрузка с самого быстрого зеркала (по возможности) файлов, если нет возможности загрузки файла с этого зеркала будет произведена загрузка с следующего по списку зеркала;
- усовершенствованный поиск ключей (практически безотказный);
- умная проверка ключей;
- перед загрузкой файла производится поиск данного файла во всех возможных каталогов всех версий баз, если есть файл - делается желткая ссылка (возможность создания жестких ссылок экономит 56% места на сервере), если нет возможности создания ссылки - копируется файл (экономя время на закачку);
- при наличии curl ведётся проверка зеркал и загрузка файлов мультипотоково сразу в файл (не тратя место в оперативной памяти), если нет - ведётся загрузка стандартными функциями пофайлово с буфером в 1Мб;
- жесткий контроль файлов. Не будет ни одного лишнего файла или папки;
- усовершенствованная отображение данных HTML страницы;
- и много других изменений
... используя всё это скрипт создаёт зеркало экономя время и место на сервере.
Не работает:
- обновление скрипта, запрос будет производиться на сервер GRooVE'а, который да данное время не обновляется.
Требования:
Для OS Windows: Установленный PHP
Для Unix систем: Установленный PHP, unrar
Сам скрипт - Отдельное спасибо OttoFix за консультации. faraday и ak42 за тесты скрипта.
По большей части адресован пользователям использовавших ранее скрипт от GRooVE, и знакомых с его настройкой. Но и новым пользователям будет легко настроить данный скрипт.
Основные отличия от остальных скриптов в теме:
- составление списка самых быстрых зеркал, и загрузка с самого быстрого зеркала (по возможности) файлов, если нет возможности загрузки файла с этого зеркала будет произведена загрузка с следующего по списку зеркала;
- усовершенствованный поиск ключей (практически безотказный);
- умная проверка ключей;
- перед загрузкой файла производится поиск данного файла во всех возможных каталогов всех версий баз, если есть файл - делается желткая ссылка (возможность создания жестких ссылок экономит 56% места на сервере), если нет возможности создания ссылки - копируется файл (экономя время на закачку);
- при наличии curl ведётся проверка зеркал и загрузка файлов мультипотоково сразу в файл (не тратя место в оперативной памяти), если нет - ведётся загрузка стандартными функциями пофайлово с буфером в 1Мб;
- жесткий контроль файлов. Не будет ни одного лишнего файла или папки;
- усовершенствованная отображение данных HTML страницы;
- и много других изменений
... используя всё это скрипт создаёт зеркало экономя время и место на сервере.
Не работает:
- обновление скрипта, запрос будет производиться на сервер GRooVE'а, который да данное время не обновляется.
Требования:
Для OS Windows: Установленный PHP
Для Unix систем: Установленный PHP, unrar
Сам скрипт - Отдельное спасибо OttoFix за консультации. faraday и ak42 за тесты скрипта.
Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
Re: шустрый скрипт зеркала NOD32
Модераторов прошу откорректировать топик, и удалить дублирующее слово ... был напуган (с)
-
- рядовой
- Сообщения: 19
- Зарегистрирован: 2012-07-16 12:19:44
- Откуда: Донецк, Украина
Re: шустрый скрипт скрипт зеркала NOD32
Спасибо за скрипт!
первый раз скрипт отработал с ошибкой:
при этом часть папок недосоздал.
Второй раз обновился нормально.
Что это могло быть и как избежать такого в дальнейшем?
Арендую впс с 512 памяти, может из-за этого, конечно...
P.S.
Freedom for Ukraine - повеселил )))
первый раз скрипт отработал с ошибкой:
PHP Fatal error: Allowed memory size of 16777216 bytes exhausted (tried to allocate 7680 bytes) in /var/www/user/data/www/xxx/inc/classes/Mirror.class.php(171) : runtime-created function on line 1
при этом часть папок недосоздал.
Второй раз обновился нормально.
Что это могло быть и как избежать такого в дальнейшем?
Арендую впс с 512 памяти, может из-за этого, конечно...
P.S.
Freedom for Ukraine - повеселил )))
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
Re: шустрый скрипт скрипт зеркала NOD32
Для работы скрипта нужно максимум 16Мб, возможно не хватило во время запуска этих Мб. У меня так же на серваке 512Мб, фунциклирует нормально. Но тот блок, на который выдало ошибку я переделаю.hexbear писал(а):Спасибо за скрипт!
первый раз скрипт отработал с ошибкой:PHP Fatal error: Allowed memory size of 16777216 bytes exhausted (tried to allocate 7680 bytes) in /var/www/user/data/www/xxx/inc/classes/Mirror.class.php(171) : runtime-created function on line 1
при этом часть папок недосоздал.
Второй раз обновился нормально.
Что это могло быть и как избежать такого в дальнейшем?
Арендую впс с 512 памяти, может из-за этого, конечно...
hexbear писал(а):Freedom for Ukraine - повеселил )))
-
- рядовой
- Сообщения: 11
- Зарегистрирован: 2014-10-17 9:20:46
Re: шустрый скрипт скрипт зеркала NOD32
Хороший скрипт, пока перехожу на него с alexco. Пожелание автору - сделать нотификацию через jabber и возможность использования своего шаблона страницы html
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
Re: шустрый скрипт скрипт зеркала NOD32
Спасибо. Уже скопилось куча доработок к срипту, которые буду вносить как только появится свободное время (не скоро).ogursoft писал(а):Хороший скрипт, пока перехожу на него с alexco. Пожелание автору - сделать нотификацию через jabber...
сейчас есть возможность генерирования одной таблицы без стилей, которую можно подгружать в свою страницу. (смотрите настройки конфига).ogursoft писал(а):... и возможность использования своего шаблона страницы html
-
- рядовой
- Сообщения: 11
- Зарегистрирован: 2014-10-17 9:20:46
Re: шустрый скрипт скрипт зеркала NOD32
Ну вот только я обрадовался как возникла какая-то проблема
После обновления скрипт запускается и тишина...
В консоли и логе:
[2014-10-17] [16:07:14] На сервере доступна новая версия [1.0.140704]!
[2014-10-17] [16:07:14] Запуск скрипта 1.0.140704
И так висит. Пробовал скачать latesversion.tgz то же самое
Где копать? И так и не понял как свою html страницу подставить. Нашел функцию генерации html но там жестко весь текст страницы и стили прописаны.
После обновления скрипт запускается и тишина...
В консоли и логе:
[2014-10-17] [16:07:14] На сервере доступна новая версия [1.0.140704]!
[2014-10-17] [16:07:14] Запуск скрипта 1.0.140704
И так висит. Пробовал скачать latesversion.tgz то же самое
Где копать? И так и не понял как свою html страницу подставить. Нашел функцию генерации html но там жестко весь текст страницы и стили прописаны.
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
Re: шустрый скрипт скрипт зеркала NOD32
ogursoft писал(а):Ну вот только я обрадовался как возникла какая-то проблема
После обновления скрипт запускается и тишина...
В консоли и логе:
[2014-10-17] [16:07:14] На сервере доступна новая версия [1.0.140704]!
[2014-10-17] [16:07:14] Запуск скрипта 1.0.140704
И так висит. Пробовал скачать latesversion.tgz то же самое
Где копать?
отключите обновление скрипта ... покаместь обновлять придётся вручную.Не работает:
- обновление скрипта, запрос будет производиться на сервер GRooVE'а, который да данное время не обновляется.
ogursoft писал(а):И так и не понял как свою html страницу подставить. Нашел функцию генерации html но там жестко весь текст страницы и стили прописаны.
Код: Выделить всё
# Generate only table for injection this in other html page. Defaul 0.
generate_only_table = 1
- xXxSPYxXx
- ефрейтор
- Сообщения: 60
- Зарегистрирован: 2012-11-29 17:11:54
- Контактная информация:
Re: шустрый скрипт скрипт зеркала NOD32
Можно скрин страницы?- усовершенствованная отображение данных HTML страницы;
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
Re: шустрый скрипт скрипт зеркала NOD32
Тут с опцией "не отображать ключ".xXxSPYxXx писал(а):Можно скрин страницы?
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
Re: шустрый скрипт скрипт зеркала NOD32
В новой версии скрипта поиск и проверка 100 ключей заняло 1 минута ... и это без мультикурла ... сколько займёт с мультикурлом?) ... делаем ставки)
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
Re: шустрый скрипт скрипт зеркала NOD32
150 ключей уже заняло 6 минут ...
-
- мл. сержант
- Сообщения: 99
- Зарегистрирован: 2009-12-16 22:49:28
Re: шустрый скрипт скрипт зеркала NOD32
чтото он не очень
вот для примера http://nod.vik.ua-biz.info/
и ваш http://nod1.vik.ua-biz.info/
обратите внимания на версии баз
первый скрипт от GRooVE
и еще если отредактировать эту строку
то не фига не ищет ключь
вот для примера http://nod.vik.ua-biz.info/
и ваш http://nod1.vik.ua-biz.info/
обратите внимания на версии баз
первый скрипт от GRooVE
и еще если отредактировать эту строку
Код: Выделить всё
default_pattern = ((EAV)-[0-9]{10}).+?([a-z0-9]{10})
Код: Выделить всё
# uname -a
Linux localnet 3.2.0-4-amd64 #1 SMP Debian 3.2.60-1+deb7u3 x86_64 GNU/Linux
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
Re: шустрый скрипт скрипт зеркала NOD32
что логи пишут? базы то загружаются? ... выложите логи.viktor6 писал(а):чтото он не очень
вот для примера http://nod.vik.ua-biz.info/
и ваш http://nod1.vik.ua-biz.info/
обратите внимания на версии баз
первый скрипт от GRooVE
смотря как править ... если регулярка не правильная, то ничего и не найдёт.viktor6 писал(а):и еще если отредактировать эту строкуто не фига не ищет ключьКод: Выделить всё
default_pattern = ((EAV)-[0-9]{10}).+?([a-z0-9]{10})
В будущей версии (что сейчас пишу) будет регулярка бронепробиваемая ... текущий вариант (от Грува) выбирает ключи из специфических вариантов написания ключей на странице.
-
- мл. сержант
- Сообщения: 99
- Зарегистрирован: 2009-12-16 22:49:28
Re: шустрый скрипт скрипт зеркала NOD32
Код: Выделить всё
[2014-10-23, 21:40:02] Запущен скрипт 1.0.141014 [Freedom for Ukraine]
[2014-10-23, 21:40:04] [ver. 3] Ваша база актуальна 10604 (20141022)
[2014-10-23, 21:40:04] [ver. 4] Ваша база актуальна 10604 (20141022)
[2014-10-23, 21:40:05] [ver. 5] Ваша база актуальна 10604 (20141022)
[2014-10-23, 21:40:05] [ver. 6] Ваша база актуальна 10604 (20141022)
[2014-10-23, 21:40:05] [ver. 7] Ваша база актуальна 10604 (20141022)
[2014-10-23, 21:40:05] Создаётся index.html...
[2014-10-23, 21:40:05] Общее время выполнения: 00:03
[2014-10-23, 21:40:05] Скрипт остановлен.
[2014-10-23, 22:10:02] Запущен скрипт 1.0.141014 [Freedom for Ukraine]
[2014-10-23, 22:10:04] [ver. 3] Ваша база актуальна 10604 (20141022)
[2014-10-23, 22:10:04] [ver. 4] Ваша база актуальна 10604 (20141022)
[2014-10-23, 22:10:05] [ver. 5] Ваша база актуальна 10604 (20141022)
[2014-10-23, 22:10:05] [ver. 6] Ваша база актуальна 10604 (20141022)
[2014-10-23, 22:10:05] [ver. 7] Ваша база актуальна 10604 (20141022)
[2014-10-23, 22:10:05] Создаётся index.html...
[2014-10-23, 22:10:05] Общее время выполнения: 00:03
[2014-10-23, 22:10:05] Скрипт остановлен.
[2014-10-23, 22:40:04] Запущен скрипт 1.0.141014 [Freedom for Ukraine]
[2014-10-23, 22:40:06] [ver. 3] Ваша база актуальна 10604 (20141022)
[2014-10-23, 22:40:06] [ver. 4] Ваша база актуальна 10604 (20141022)
[2014-10-23, 22:40:07] [ver. 5] Ваша база актуальна 10604 (20141022)
[2014-10-23, 22:40:07] [ver. 6] Ваша база актуальна 10604 (20141022)
[2014-10-23, 22:40:07] [ver. 7] Ваша база актуальна 10604 (20141022)
[2014-10-23, 22:40:07] Создаётся index.html...
[2014-10-23, 22:40:07] Общее время выполнения: 00:03
[2014-10-23, 22:40:07] Скрипт остановлен.
[2014-10-23, 23:10:04] Запущен скрипт 1.0.141014 [Freedom for Ukraine]
[2014-10-23, 23:10:06] [ver. 3] Ваша база актуальна 10604 (20141022)
[2014-10-23, 23:10:07] [ver. 4] Ваша база актуальна 10604 (20141022)
[2014-10-23, 23:10:07] [ver. 5] Ваша база актуальна 10604 (20141022)
[2014-10-23, 23:10:08] [ver. 6] Ваша база актуальна 10604 (20141022)
[2014-10-23, 23:10:08] [ver. 7] Ваша база актуальна 10604 (20141022)
[2014-10-23, 23:10:08] Создаётся index.html...
[2014-10-23, 23:10:08] Общее время выполнения: 00:04
[2014-10-23, 23:10:08] Скрипт остановлен.
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
Re: шустрый скрипт скрипт зеркала NOD32
viktor6, а конфиг? ... список зеркал пробовали одинаковый с другим конфигом поставить?
-
- мл. сержант
- Сообщения: 99
- Зарегистрирован: 2009-12-16 22:49:28
Re: шустрый скрипт скрипт зеркала NOD32
Вот конфиг
все тоже самое
конфиг от другого
Пробовал
Код: Выделить всё
mirror = update.eset.com, um10.eset.com, um11.eset.com, um12.eset.com, um13.eset.com
конфиг от другого
-
- мл. сержант
- Сообщения: 99
- Зарегистрирован: 2009-12-16 22:49:28
Re: шустрый скрипт скрипт зеркала NOD32
не пойму почему не ищет кючик
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
Re: шустрый скрипт скрипт зеркала NOD32
viktor6, проверил эту версию скрипта, всё работает как надо. Смотрю и у вас базы обновились. Есть варианты в чём была причина?
Но это регулярное выражение тоже не идеальное (на страницах гугл и бинг находит, на других сайтах - не всегда). Я в альфа версии не смог решить этот вопрос только регулярными выражениями. Решил вопрос поиска ключей перебором с парсингом. В будущем релизе будет искать все возможные ключи на странице.
попробуйте эту регуляркуне пойму почему не ищет кючик
Код: Выделить всё
((EAV|TRIAL)-\d{6,10}).*?((?=[\da-z]*?[a-z])(?=[\da-z]*?[0-9])[\da-z]{10})
-
- мл. сержант
- Сообщения: 99
- Зарегистрирован: 2009-12-16 22:49:28
Re: шустрый скрипт скрипт зеркала NOD32
Смотри я взял удалил файл nod_keys.valid чтобы скрипт нашол новый ключ. и после этого все перестало работать. удалил все из папки лог и www скрипт зарботал.TITANius писал(а):viktor6, проверил эту версию скрипта, всё работает как надо. Смотрю и у вас базы обновились. Есть варианты в чём была причина?
попробуйте эту регуляркуне пойму почему не ищет кючикНо это регулярное выражение тоже не идеальное (на страницах гугл и бинг находит, на других сайтах - не всегда). Я в альфа версии не смог решить этот вопрос только регулярными выражениями. Решил вопрос поиска ключей перебором с парсингом. В будущем релизе будет искать все возможные ключи на странице.Код: Выделить всё
((EAV|TRIAL)-\d{6,10}).*?((?=[\da-z]*?[a-z])(?=[\da-z]*?[0-9])[\da-z]{10})
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
Re: шустрый скрипт скрипт зеркала NOD32
Я посмотрю в чём может быть дело, если что-то найду - подправлю к следующему релизу.viktor6 писал(а):TITANius писал(а):Смотри я взял удалил файл nod_keys.valid чтобы скрипт нашол новый ключ. и после этого все перестало работать. удалил все из папки лог и www скрипт зарботал.
С мутикурлом поиск 150 ключей заняло 40 секунд
-
- мл. сержант
- Сообщения: 99
- Зарегистрирован: 2009-12-16 22:49:28
Re: шустрый скрипт скрипт зеркала NOD32
Посмотри че заново файлы не создаются и ошибки не какой не выводятTITANius писал(а):Я посмотрю в чём может быть дело, если что-то найду - подправлю к следующему релизу.viktor6 писал(а):TITANius писал(а):Смотри я взял удалил файл nod_keys.valid чтобы скрипт нашол новый ключ. и после этого все перестало работать. удалил все из папки лог и www скрипт зарботал.
С мутикурлом поиск 150 ключей заняло 40 секунд
-
- ефрейтор
- Сообщения: 69
- Зарегистрирован: 2011-08-19 11:40:32
Re: шустрый скрипт скрипт зеркала NOD32
TITANius, будет ли поддержка 8-й версии НОДа ?
- TITANius
- сержант
- Сообщения: 197
- Зарегистрирован: 2009-10-27 11:33:10
Re: шустрый скрипт скрипт зеркала NOD32
обязательно, в следующем релизе будет.ak42 писал(а):TITANius, будет ли поддержка 8-й версии НОДа ?
уже сделано:
- увеличил скорость асинхронной загрузки;
- усовершенствовал поиск ключей;
- интеллектуальное определение быстрых зеркал (в процессе его работы);
- асинхронная проверка ключей.
в планах:
- асинхронная проверка наличия новых обновлений;
- доработка асинхронной загрузки файлов;
- самообновление скрипта с зеркала для скрипта;
- (возможно) файлы обновления без поддиректорий (опция, после которой всё файлы будут в одной папке ... удобно для переноса их и следующего пункта).
- (возможно) создание офлайн баз для всех версий нода;
- (возможно) все операции через прокси;
- (возможно) поиск прокси серверов, проверка их на скорость и анонимность;
- (возможно) ещё что-то.
-
- рядовой
- Сообщения: 11
- Зарегистрирован: 2014-10-17 9:20:46
Re: шустрый скрипт скрипт зеркала NOD32
Письма приходят с Content-Type: text/plain; charset=iso-8859-1 но фактически кодировка utf-8, поэтому определяется неверно, при выборе вручную символы отображаются правильно, не подскажете. где копать?