Граббинг спутникого интернета skyfish

[nsand]

Задавайте вопросы и пожелания касаемые программы skyfish.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[nsand]

Готова новая версия программы.
ftp://lissyara.su/users/nsand/skyfish/s ... .80.tar.gz

[drill]

как обстоят дела с проектом? есть ли новые версии?
как сильно skyfish требователен к ресурсам? если например ловить скайнетом и одновременно грузить комп, то появляются дисконты и файлы бьются. страдает ли skyfish от аналогичной проблемы?
ещё вопрос, как у skyfish с уловом, до skynet'а ktod'овского дотягивает?

[nsand]

как обстоят дела с проектом? есть ли новые версии?
как сильно skyfish требователен к ресурсам? если например ловить скайнетом и одновременно грузить комп, то появляются дисконты и файлы бьются. страдает ли skyfish от аналогичной проблемы?
ещё вопрос, как у skyfish с уловом, до skynet'а ktod'овского дотягивает?

новая версия есть 0.83 еще не выкладывал ее. К ресурсам - у меня E2160 загрузка на 6мб потоке около 6-7%, на P3 667 Мгц, 128Мб ОЗУ осиляет держать поток до 3Мб без потерь.
До скайнетовского наверное нет, хотя вылавливаю много, а может и дотягивает

[drill]

понятно.
на SkyDSL 53E ловишь? я тоже.

[nsand]

понятно.
на SkyDSL 53E ловишь? я тоже.

Да, там же ловлю. )
Рад сообщить, что порт skyfish закоммитили. http://www.freshports.org/net/skyfish/
Спасибо всем кто помогал!

[Alex Keda]

статью поправь
чтоб руками не собирали

[drill]

переткнул из виндовой тачки tt s-1401 в сервер.
опробовал skyfish, впечатления положительные.
если интересуют пожелания, то не хватает возможности демонизирования программы и просмотра текущей информации демона skyfish, т.е. что стоит на закачке.
а так же было бы неплохо добавить колонку speed, которая бы показывала с какой скоростью в данный момент идёт закачка такого-то файла.
пока ловлю skyfish'eм, если понравится, избавлюсь от шумной виндовой машины)
спасибо за труд, nsand!

[drill]

Выявил один неприятный баг.
Когда включаю skyfish на ловлю, откуда не возьмись, сразу появляется много исходящего трафика на интерфейсе em0.

Код: Выделить всё

14:30:11.544020 IP mta-v1.bt.level3.mail.ukl.yahoo.com.smtp > 81.169.237.46.2253: S 402409433:402409433(0) ack 3096892408 win 65535 <mss 1460,nop,wscale 1,nop,nop,timestamp 1023767120 0>
14:30:11.544053 IP cache2.skydsl.de.8080 > 81.169.227.184.3539: . 3532717117:3532718532(1415) ack 497871871 win 1062
14:30:11.544073 IP cache2.skydsl.de.8080 > a35.sub20.net78.udm.net.1905: . 3533202718:3533204133(1415) ack 5192532 win 1005
14:30:11.544081 IP f166-2.mail.ru.http > 81.169.225.44.54578: F 2680048369:2680048369(0) ack 153213887 win 259
14:30:11.544093 IP 195.218.181.115.http > 81.169.224.224.3433: . 2957909650:2957911062(1412) ack 1150528212 win 14
14:30:11.544122 IP 81.169.147.27.8080 > 81.169.236.40.1592: . ack 3673049652 win 1186

Как видно пакеты не от меня и не ко мне, взяться им на внешнем интерфейсе em0 неоткуда.
Выключаю skyfish всё сразу пропадает. Такое впечатление что трафик как-то протекает из интерфейса dvb0 в em0. Можно ли как-это решить?

[nsand]

Когда включаю skyfish на ловлю, откуда не возьмись, сразу появляется много исходящего трафика на интерфейсе em0.
Выключаю skyfish всё сразу пропадает. Такое впечатление что трафик как-то протекает из интерфейса dvb0 в em0. Можно ли как-это решить?

Появляются ли пакеты если без skyfish запустить tcpdump dvb0, покажи ifconfig dvb0.
У меня пакеты не появляются, может кто пользуется посмотрит у себя, есть такая проблема или нет.
Можешь попробывать версию 0.84 собрать ftp://lissyara.su/users/nsand/skyfish/s ... .84.tar.gz, в ней добавил показ скорости на каждый поток.

[Alex Keda]

в порты коммить, а не на фтп ))

[nsand]

в порты коммить, а не на фтп ))

Пусть потестят сначала кстати коммитить также через тот PR ? shar файлом ?

[Alex Keda]

нет.
делаешь отдельный, делаешь дифф
diff -Nru порт порт.ориг
(или наоборот - всегда путаю у дифф что где)
и его шлёшь

[drill]

Появляются ли пакеты если без skyfish запустить tcpdump dvb0, покажи ifconfig dvb0.
У меня пакеты не появляются, может кто пользуется посмотрит у себя, есть такая проблема или нет.
Можешь попробывать версию 0.84 собрать ftp://lissyara.su/users/nsand/skyfish/s ... .84.tar.gz, в ней добавил показ скорости на каждый поток.

На dvb0 пакеты есть всегда, туда же приходит поток с тарелки.

Код: Выделить всё

tomzone# ifconfig dvb0
dvb0: flags=841<UP,RUNNING,SIMPLEX> metric 0 mtu 4096
        ether 00:d0:5c:09:27:06
tomzone#

Вот как выглядит поток трафика, когда skyfish ещё не запущен:

Код: Выделить всё

 bwm-ng v0.6 (probing every 0.500s), press 'h' for help
  input: getifaddrs type: rate
  /         iface                   Rx                   Tx                Total
  ==============================================================================
              em0:           2.51 KB/s           95.76 KB/s           98.27 KB/s
              sk0:           0.93 KB/s            0.00 KB/s            0.93 KB/s
              lo0:           0.00 KB/s            0.00 KB/s            0.00 KB/s
          bridge0:           0.00 KB/s            0.00 KB/s            0.00 KB/s
             dvb0:        6440.42 KB/s            0.00 KB/s         6440.42 KB/s
  ------------------------------------------------------------------------------
            total:        6443.87 KB/s           95.76 KB/s         6539.62 KB/s

Запускаю skyfish и:

Код: Выделить всё

 bwm-ng v0.6 (probing every 0.500s), press 'h' for help
  input: getifaddrs type: rate
  \         iface                   Rx                   Tx                Total
  ==============================================================================
              em0:           7.57 KB/s         1517.31 KB/s         1524.88 KB/s
              sk0:           1.05 KB/s           34.84 KB/s           35.89 KB/s
              lo0:           0.00 KB/s            0.00 KB/s            0.00 KB/s
          bridge0:           0.00 KB/s            0.00 KB/s            0.00 KB/s
             dvb0:        6431.47 KB/s            0.00 KB/s         6431.47 KB/s
  ------------------------------------------------------------------------------
            total:        6440.08 KB/s         1552.15 KB/s         7992.23 KB/s

em0 - это внешний интерфейс у меня с реальным айпишником. Как видно, траффик на нём резко возрастает когда я запускаю skyfish.

[nsand]

нет.делаешь отдельный, делаешь дифф diff -Nru порт порт.ориг (или наоборот - всегда путаю у дифф что где) и его шлёшь

получился такой файл. назвал его new_version.diff

Код: Выделить всё

diff -Nru ./orig/Makefile /usr/ports/net/skyfish/Makefile
--- ./orig/Makefile     2008-07-25 12:46:16.000000000 +0400
+++ /usr/ports/net/skyfish/Makefile     2008-07-28 18:02:11.000000000 +0400
@@ -6,7 +6,7 @@
 #
 
 PORTNAME=      skyfish
-PORTVERSION=   0.83
+PORTVERSION=   0.84
 CATEGORIES=    net
 MASTER_SITES=  ftp://ftp.lissyara.su/users/nsand/skyfish/
 
diff -Nru ./orig/distinfo /usr/ports/net/skyfish/distinfo
--- ./orig/distinfo     2008-07-25 12:46:16.000000000 +0400
+++ /usr/ports/net/skyfish/distinfo     2008-07-28 17:55:37.000000000 +0400
@@ -1,3 +1,3 @@
-MD5 (skyfish-0.83.tar.gz) = dda4e72ed72de48c823513dd773d4fbb
-SHA256 (skyfish-0.83.tar.gz) = f1040e363f070a40f23f2990f6a20a6a5c136731c5b2b4c2f5add74151a02bc0
-SIZE (skyfish-0.83.tar.gz) = 31150
+MD5 (skyfish-0.84.tar.gz) = d99d968e97e7f9580f887ff6cfcd79c9
+SHA256 (skyfish-0.84.tar.gz) = e48de7e95de6d4ace3013a3681c3c91bf916a754e4c621a9bcbbdb5f250012ca
+SIZE (skyfish-0.84.tar.gz) = 31232

его слать в submit followup ?

[paradox]

что то в нетграфе накручено

[nsand]

попробуй назначить dvb0 какой-нибудь адрес левый. типа 192.168.2.2 не из своей маски сети, измениться что или инет.

[drill]

попробуй назначить dvb0 какой-нибудь адрес левый. типа 192.168.2.2 не из своей маски сети, измениться что или инет.

не-а. не помогло шаманство. попозже как будет время, кину вам с paradox'ом строчки из /var/log/messages выводящиеся при тюне карты и запуске скайфиша.

[paradox]

)))
мне не надо
это не проблема драйвера

[Alex Keda]

диффы делаешь с относительными путями, находясь в /usr/ports

[nsand]

диффы делаешь с относительными путями, находясь в /usr/ports

то есть вот так ? имя файла которое посылать значение имеет ?

Код: Выделить всё

nsand# cat new_version.diff 
diff -Nru ./net/skyfish/Makefile ./net/skyfish.orig/Makefile
--- ./net/skyfish/Makefile      2008-07-28 18:02:11.000000000 +0400
+++ ./net/skyfish.orig/Makefile 2008-07-25 12:46:16.000000000 +0400
@@ -6,7 +6,7 @@
 #
 
 PORTNAME=      skyfish
-PORTVERSION=   0.84
+PORTVERSION=   0.83
 CATEGORIES=    net
 MASTER_SITES=  ftp://ftp.lissyara.su/users/nsand/skyfish/
 
diff -Nru ./net/skyfish/distinfo ./net/skyfish.orig/distinfo
--- ./net/skyfish/distinfo      2008-07-28 17:55:37.000000000 +0400
+++ ./net/skyfish.orig/distinfo 2008-07-25 12:46:16.000000000 +0400
@@ -1,3 +1,3 @@
-MD5 (skyfish-0.84.tar.gz) = d99d968e97e7f9580f887ff6cfcd79c9
-SHA256 (skyfish-0.84.tar.gz) = e48de7e95de6d4ace3013a3681c3c91bf916a754e4c621a9bcbbdb5f250012ca
-SIZE (skyfish-0.84.tar.gz) = 31232
+MD5 (skyfish-0.83.tar.gz) = dda4e72ed72de48c823513dd773d4fbb
+SHA256 (skyfish-0.83.tar.gz) = f1040e363f070a40f23f2990f6a20a6a5c136731c5b2b4c2f5add74151a02bc0
+SIZE (skyfish-0.83.tar.gz) = 31150

[Alex Keda]

любое.

[nsand]

для тех кто рыбачит, потестируйте новую версию (в порты пока ее посылать не буду), добавлен режим работы ее как демона. Возможность блокировки адресов, добавления комментариев в файл настроек.
ftp://lissyara.su/users/nsand/skyfish/s ... .86.tar.gz

[nsand]

ftp://lissyara.su/users/nsand/skyfish/s ... .90.tar.gz
Новая версия, немного исправлений, еще добавил Buf значение в окне программы, для контроля переполняемости буфера. Проверьте, если версия рабочая, то можно обновить ее в портах.

[Александр Салехард]

Когда будут новые версии?
Предложение для улучшения: в списке загрузки в графе Speed вместо секунд неплохо бы увидеть минуты/часы

Код: Выделить всё

|#N |          Filename                         | Speed  |Type | Lenght|Current|
|  1|461014ac_78.140.147.219_5000_ad0e_d675cf78-|-[2854]s|rar  |  1.81G|619.94M|

И ещё большие файлы часто качаются из нескольких источников одновременно, учитывает ли это skyfish, или заливается только часть от одного сервера?