шустрый скрипт скрипт зеркала NOD32

[БлагоЯр]

Похоже на сервере баз нет для версии ep12 или кто-то что-то криво настроил на удаленном сервере

Ну тоже так думаю, поэтому и писал про сервак обновлений, потому что плюс минус ошибки по путям у всех серверов, которые нагуглил.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[scorp337150]

И да, чисто моё мнение, но очистку я думаю стоит и тебе добавить. Всё таки через месяц другой байда ещё та с папками.

Странно, у себя не замечал кашу с файлами и папками - встроенная чистка в скрипте нормально отрабатывает. Сейчас отдельно накидаю скрипт чтоб в разных сценариях функции чистки проверить, вдруг что-то всплывет что я не заметил на больших списках. В задумке, функция чистки должна все вычищать без остатков.

[depositaire]

не замечал кашу

Вот 12й частенькое меняет, то server7-rel-sta, то endpointwindowslatest-rel-sta. Может быть sta1. 9ка тоже балуется этим. Гляну в понедельник на работе, вроде сохранял список что на что меняется.

встроенная чистка в скрипте

Она у тебя чистит же файлы по папкам. Я тут пошёл радикально и удаляю всё из Data. Потому что в том месяце был буквально глюк что обновлений новых не было, хотя они вышли. В итоге полный вынос папок помог. Они как раз сменили названия и поэтому сбоило.

[scorp337150]

Вот 12й частенькое меняет, то server7-rel-sta, то endpointwindowslatest-rel-sta. Может быть sta1. 9ка тоже балуется этим. Гляну в понедельник на работе, вроде сохранял список что на что меняется.

Я просто к чему, если "чистилка" родная правильно отрабатывает, то нет нужды писать дополнительную, это вроде как костыль.
Сейчас логика чистки следующая ( на примере версии ep12 для линукс):
1) Скачиваем базы в download_dict['save_path'] = /var/www/nod32mirror2/data/ep12
2) Берем список всех файлов в папке с базами download_dict['save_path'] = /var/www/nod32mirror2/data/ep12

Код: Выделить всё

all_files_in_DB_folder = list_files_and_folders(download_dict['save_path'])

3) Зная список новых файлов из update.ver (список new_files_list) и зная список всех файлов в хранилище баз, можем из списка all_files_in_DB_folder убрать все файлы, перечисленные в new_files_list и останутся те файлы, которые надо удалить

Код: Выделить всё

files_to_delete = elements_to_delete(new_files_list, all_files_in_DB_folder)

4) Дальше удаляются все пустые папки, которые остались без файлов

Код: Выделить всё

remove_empty_folders(download_dict['save_path'])

При такой логике не важно как там есет что у себя в базах поменяет или кто у себя на зеркале что изменит и какие новые папки придумает или уберет - они в любом случае должны попасть под чистку если их нет в новом update.ver, соответственно и разрастаться нечему. Осталось понять что происходит и на каком шаге, если остаются файлы, которых нет в новом update.ver. Может удаление файлов на разных ос по-разному работает или как-то права на файлы влияют? Может я что пропустил и не вижу?

[depositaire]

Попробую тогда поставить твой чистый скрипт, оставлю чтолько PICO обновления от себя, они к конфигу и остальным файлам никак не привязаны. Посммотрим будет ли такая байда с папками что сейчас у меня идёт. Вот ща 9ка сменилась на server7-rel-sta а было ep9-rel-sta.

[scorp337150]

depositaire, а у ты какую ос используешь под скрипт?
У меня

Код: Выделить всё

root@cyclone:~# lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 24.04.3 LTS
Release:        24.04
Codename:       noble

[depositaire]

какую ос

Дебиан 12й. На вдс стоит в амстердаме.

[depositaire]

https://github.com/Scorpikor/pynod-mirr ... pache.conf конец конфига не очень ли печальный?
включили авторизацию, плюс доступ по подсети, да ещё и файл с паролем лежит в папке с обновлениями. Мало того что последний пункт моветон, так не рухнет ли конфиг когда не найдёт файл этот.

[scorp337150]

конец конфига не очень ли печальный?
включили авторизацию, плюс доступ по подсети, да ещё и файл с паролем лежит в папке с обновлениями. Мало того что последний пункт моветон, так не рухнет ли конфиг когда не найдёт файл этот.

Согласен. Я вообще апач, как веб сервер для раздачи баз nod32, не рассматриваю из-за невозможности исправить ETag в заголовках и из-за чего у народа потенциально могут в любой момент нарисоваться дополнительные проблемы с обновлениями, тем более, сам есет nginx использует, но люди продолжают себя мучать и изобретать велосипед. Ну нравится им - пусть занимаются, я конфиги просто сложу, может кто по примеру себе соберет что-то для своих нужд, мало ли какие у кого сценарии, но это уже не проблемы скрипта pynod.

[depositaire]

понедельник на работе

Ну да, вот меняется у меня порой папки ep9-rel-sta - server7-rel-sta, endpointwindowslatest-rel-sta - server7-rel-sta. Фз почему так делает.

[Angel79]

Встречайте новое обновление скрипта https://github.com/Scorpikor/pynod-mirror-tool !
+ В конфиг nod32ms.conf в раздел [LOG] добавлена возможность определять путь и имя лог файла в параметре log_file_path

Добрый день у меня с новой версией скрипта проблемы с запуском

Код: Выделить всё

/opt/python-3.10.16/bin/python3.10 /pynod-mirror-tool/update.py
Traceback (most recent call last):
  File "/pynod-mirror-tool/update.py", line 10, in <module>
    from inc.main import *
  File "/pynod-mirror-tool/inc/main.py", line 9, in <module>
    from inc.log import *
  File "/pynod-mirror-tool/inc/log.py", line 105
    print(f"{TColor.RED}{"-"*len(text_msg)}{"\n"}{text_msg}")
                          ^
SyntaxError: f-string: expecting '}'

Если log.py вернуть обратно то проблем нет.
Да ещё сегодня обратил внимание на ещё одну странность сегодня нод пишет мол файл на сервере не найден, а в логах всё гуд, файл есть и скачивается.

[depositaire]

print(f"{TColor.RED}{"-"*len(text_msg)}{"\n"}{text_msg}")

print(f"{TColor.RED}{'-'*len(text_msg)}\n{text_msg}") может так?

[Angel79]

print(f"{TColor.RED}{'-'*len(text_msg)}\n{text_msg}") может так?

может .. но тоже нет

Код: Выделить всё

Traceback (most recent call last):
  File "/pynod-mirror-tool/update.py", line 10, in <module>
    from inc.main import *
  File "/pynod-mirror-tool/inc/main.py", line 9, in <module>
    from inc.log import *
  File "/pynod-mirror-tool/inc/log.py", line 105
    print(f"{TColor.RED}{'-'*len(text_msg)}\n{text_msg}")
TabError: inconsistent use of tabs and spaces in indentation

[depositaire]

TabError: inconsistent use of tabs and spaces in indentation

ошибка в табуляции. Строку вставили неправильно. Предположительно сразу у левого края.

[Angel79]

ошибка в табуляции. Строку вставили неправильно. Предположительно сразу у левого края.

действительно была табуляция, теперь на следующую строку ругается.

Код: Выделить всё

Traceback (most recent call last):
  File "/pynod-mirror-tool/update.py", line 10, in <module>
    from inc.main import *
  File "/pynod-mirror-tool/inc/main.py", line 9, in <module>
    from inc.log import *
  File "/pynod-mirror-tool/inc/log.py", line 106
    print(f"Лог будем писать в {default_log_file_path}{"\n"}{"-"*len(text_msg)}{TColor.ENDC}")
                                                         ^
SyntaxError: unexpected character after line continuation character

[Angel79]

print(f"{TColor.RED}{'-'*len(text_msg)}\n{text_msg}") может так?

По вашему примеру отредактировал остальные строки и всё заработало Спасибо!!!!

[scorp337150]

Добрый день у меня с новой версией скрипта проблемы с запуском

Добрый день, спасибо, поправил на гитхабе.
Комрад, Depositaire, спасибо за реакцию на баг. Пока сырой log.py, виндовые терминалы его не так как надо отображают в начале инициализации

[scorp337150]

Да ещё сегодня обратил внимание на ещё одну странность сегодня нод пишет мол файл на сервере не найден, а в логах всё гуд, файл есть и скачивается.

Это был единичный случай или постоянно?

[Angel79]

К сожалению нет это не единственный случай

[depositaire]

за реакцию на баг

Было скучно просто) Сидел шаманил свои глюки с заменой папок. В итоге вроде завелось умное перемещение.

[scorp337150]

К сожалению нет это не единственный случай

Давайте попробуем собрать больше информации. С какими версиями антивируса проблемы при обновлении? Какая операционная система на сервере (lsb_release -a), версия питона и веб сервер?

не через апач случайно ли базы раздаются?

[depositaire]

файл на сервере не найден

Очень уж похоже на какую-то из последних версий антивируса и на апаче.

[scorp337150]

ыло скучно просто) Сидел шаманил свои глюки с заменой папок. В итоге вроде завелось умное перемещение.

В новой версии скрипта есть режим хранения баз в одной папке чтоб можно было обновить антивирус указав папку. По идее, можно написать конфиг для nginx, чтоб раздавал базы в этом режиме хранения баз и тогда не будет много перекачиваться если есет сменил только название папки а файлы частично те же остались

[Angel79]

Очень уж похоже на какую-то из последних версий антивируса и на апаче.

Да это девятнадцатая версия нода. И да это apache. Так как сервак старый на CentOS 6. Более подробно о версии могу скинуть только завтра.

[depositaire]

режим хранения баз в одной папке

Да пока погоняю своё чудо. Кажись получилось сделать чтобы скрипт смотрел что уже есть рядом и тупо брал из той папки. Посмотрим несколько дней.

Да это девятнадцатая версия нода. И да это apache.

да уже этого достаточно. Надо или будить тех кто смог заставить как то апаче работать или почитать последние страниц 10, может что сверкало. Я на сколько помню у автора не вышло запустить на апаче, я тоже плюнул на это мрачное дело. Там какие-то версии пашут, но новые вылетают.