шустрый скрипт скрипт зеркала NOD32

[belkir]

Так, меня достали пляски с бубном по поиску ключей в поисковиках и протухание паттернов их поиска, сервер ключей блочнул рашку похоже, а переписать ВСЕ зеркало у меня, как и ранее говорилось, сейчас нет времени от слова совсем (но это обязательно произойдет если мне не наскучит нода). Собственно хо-хо-хо (или Ярррр!) решайте сами, но я запилил вам обнову на зеркало для парсинга ключиков с телеграм каналов. Да вот так внезапно с нифига и нахаляву. собственно качать тут https://dvor-net.ptz.ru/eset_keys_from_telegram.zip если ссылка подохнет - стучите в личку. В архиве инструкция как это прикрутить всё к зеркалу, если читать не спеша и с прямыми руками проблем не будет. Обкатывалось на пхп 7 и 8.1. В конфиге уже прописаны каналы где я для отрываю ключики. Пожалуйста-Спасибо.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Ended]

Что-то пошло не так? Ключи не ищет или в ноде решили совсем отказаться от пары логин:пароль?

[Ended]

обнову на зеркало для парсинга ключиков с телеграм каналов.

Непонятная инсрукция... К какому скрипту это? Залил файлы, попытался через терминал запустить и получил "ничего" и кучу ошибок.

[yoda]

Да вот так внезапно с нифига и нахаляву

Зачем же на халяву. На НГ шампусик благодарочку вышлю (скинь в лс номер). Главное пиши еще

[ixer]

я запилил вам обнову

Прикрутил, пришлось еще в паре мест прописать if (file_exists($file)): , поскольку после прикручивания вдруг скрипт начал валится в ошибку через FILE_NOT_EXISTS в разных местах, хотя раньше работало, и даже ошибки в коде подавлены при помощи @. Пых 8.1. Пока что полет нормальный - неделю уже обновляет.

[belkir]

FILE_NOT_EXISTS в разных местах, хотя раньше работало

Все верно, мне пришлось даже автолоадер поправить из-за этого. Я полагаю, что это кодовая база телеграм-бота что-то меняет в окружении т.к. @ должна гасить notice & warning в плане отвала выполнения, но этого не происходит. В любом случае это зеркало надо по уму переписывать, но пока не позволяет свободное время, которого нет =\

[Kingston-kms]

любом

В январе у меня появляется много свободного времени. Могу заняться переписыванием

[ak42]

Каждый день эта ошибка почти (из-за symlink)
Может какой переключатель сделаете: использовать или нет их ?
Вчера вообще нод ругался на неавторизованный доступ какой-то, в логах апача опять было упоминание про symlink, вылечилось удалением всех файлов с с зеркала и повторной загрузкой их.

[belkir]

Могу заняться переписыванием

Предложу собраться на созвон и обсудить. Я бы тоже помог и считаю что надо менять симлинки в сторону get-скрипта с индексацией в файл или sqlite. Кроме того могу предоставить общий гит для хоста новой версии и сервер для обкатки.

[Kingston-kms]

belkir, лучше сначала составить тз или план того, что сделать/переделать, на чем делать, обсудить это, а затем начать делать

[belkir]

сначала составить тз

Полностью поддерживаю) Где будем обсуждать?

[Kingston-kms]

belkir, можно тут публично, или в лс

[belkir]

окей, тогда надо в первый пост собирать под коврик то что утверждаем. от меня для затравки:

1) предлагаю писать на php 8.0 (более новые версии есть проблема с тем же open-server) чтобы людям проще было разворачивать.
2) выкачку файлов делаем в общее хранилище на диск, а контрольные суммы (для сравнения) и прочую мету суем в sqlite (файл с фичами sql запросов)
3) отдачу обнов делаем через get-скрипт чтобы не заниматься сексом с сим.линками - пусть скрипт из индекса сам решает какие файлы отдавать и на какой запрос
4) пишем через composer кладем все в папку vendor избавит от свалки самописных автолоадеров. Все доп.пакеты можно лить на гит и оттуда запрашивать композером.
5) при запуске обязательно делаем проверку окружения на предмет требуемых директив, что избавит нас от бОльшей части нытья на форумах что у кого-то что-то не работает.
6) из фич хотелось бы сделать: парсинг ключей с сети/телеги, выкачка обнов с других зеркал (аля п2п сеть зеркал), нормальное логирование чтобы можно было цеплять тот же sentry

[ixer]

выкачка обнов с других зеркал

Прям очень не хватает сейчас. Ибо было два сервера, в разных странах, но один перестал обновлятся, хотя второй с теми же ключами прекрасно обновлялся, и обновляется уже более года. rsync делать не стал, отключил не работающее зеркало и перевел по тихоньку всех на работающее. Но хочется вернуть в строй не работающее зеркало, ибо оно физически в локалке а работающее за бугром на vps.

[ixer]

Каждый день эта ошибка почти (из-за symlink)

Насколько часто обновляете зеркало? Когда то обновлял зеркало каждый час и запуски иногда накладались один на другой (например долго не находился ключ). при таком расладе возникали проблеммы при обновлении антивирусов с зеркала. Сейчас обновляю трижды в день. проблем не возникает, только если протух ключ то может не обновлятся зеркало несколько дней. Проблем из-за symlink нет совершенно.

[ak42]

ixer, у меня также, 3 раза в день (00:00, 08:00. 16:00)
обычно ошибка бывает, когда папка consumerlatest-dll-rel-bat меняется на consumerlatest-dll-rel-sta и наоборот

[belkir]

3 раза в день

На кой вы так часто обновляетесь? Для безопасности достаточно вполне раз в сутки-двое лить обновы. Даже если опять появится очередной "спектр" - его сигнатуры окажутся у есетовцев не ранее чем через тройку дней пока они не проведут диагностику. В реалиях текущего зеркала симлинки насилуют диск если что и за постоянную перезапись десятков тысяч файлов вам веник спасибо не скажет.

[ixer]

На кой вы так часто обновляетесь?

утром, в обед и вечером. Тем более, если база не обновилась, то и обновление проходит быстро. А так вполне оперативно зеркало обновляєтся. Всегда актуальная база обнов.

вам веник спасибо не скажет

Дык VPS же. Пусть пров думает - мне вообще всеравно что там насилуется. Лишь бы работало как мне нужно.

[ak42]

belkir, ну не знаю, почти каждый раз новая версия базы идет, ну могу интервал 12 часов сделать - это избавит от ошибки ?
а диск виртуальный от VPS

[Kingston-kms]

belkir, Я уже не первый день думаю, а зачем парсер на php? Потому что просто и понятно?) Может на С++ или Go ? Там и DHT для раздачи обнов можно прикрутить

[belkir]

а зачем парсер на php

потому что open-source + прост в отладке + я опыт за 2 десятка лет на нем имею. в СИ я с универа ничего не делал - не мой профиль. DHT не нужон т.к. винда еще нескоро в него нормально смогет как и нод. Мой вариант работает во внутренней сети от РадминВпн и никто его побанить не может)

[Kingston-kms]

belkir, пусть тогда будет php)
Мое дополнение:
1. Скрипт должен постоянно быть запущен, но обновляться будет по заданному интервалу. Это избавит от крона, перекрытия процессов одного другим. Будет все в сервисе как демон

[belkir]

1. Скрипт должен постоянно быть запущен

не лучшая идея т.к. memory leak у пыхи неплохой, если бы весь код писали сами - можно было бы запариться на чистку от таких мест, но т.к. будет vendor очень быстро процесс пыхи нажрет себе овэрВСЮ озу. Чтобы не было перекрытий проще lock-файл сделать С кроном нет вообще проблем: в винде - планировщик задач или open-server crontab, в юниксе он из коробки стоит.

[belkir]

ну и плюсом если скрипт stasndalone то его с гита можно в любой проект доцепить, а демон/сервис это уже коробка и с ней ничего не сделать как с частью чего-то большего.

[ixer]

Интересно было бы написать на питоне или ноде (node.js) с минисервером. Закинуть в Docker. Тогда проблем с установкой и настройкой было бы минимум. Для особой настройки можна сделать CLI или админку. Впрочем можно и на пыхе в докер запилить и с админкой, но както не особо нравится такой подход.