скрипт для скачивания

Программирование на sh, быть может немного про альтернативные языки
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
schizoid
подполковник
Сообщения: 3228
Зарегистрирован: 2007-03-03 17:32:31
Откуда: Украина, Чернигов
Контактная информация:

Re: скрипт для скачивания

Непрочитанное сообщение schizoid » 2009-01-05 14:32:26

мона добавить --progress-bar
т.е. не

Код: Выделить всё

xargs -I% curl -sd dl.start=Free %#dlt
а

Код: Выделить всё

xargs -I% curl --progress-bar -sd dl.start=Free %#dlt

тада видно скока осталось скачать
ядерный взрыв...смертельно красиво...жаль, что не вечно...

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: скрипт для скачивания

Непрочитанное сообщение paradox » 2009-01-05 14:37:13

там версия еще для питона есть
смотри на той странице где .sh
вверху

Аватара пользователя
schizoid
подполковник
Сообщения: 3228
Зарегистрирован: 2007-03-03 17:32:31
Откуда: Украина, Чернигов
Контактная информация:

Re: скрипт для скачивания

Непрочитанное сообщение schizoid » 2009-01-05 14:45:32

я видел..но мне шелл как-то ближе что-ли...

з.ы.: звоню, пока никто не берет трубку, может на работе...вечером еще звякну.
ядерный взрыв...смертельно красиво...жаль, что не вечно...

Гость
проходил мимо

Re: скрипт для скачивания

Непрочитанное сообщение Гость » 2009-01-05 16:40:00

schizoid писал(а):мона добавить --progress-bar
тогда не будет видно оставшиеся время до скачки целиком, среднюю скорость

Код: Выделить всё

(~). curl -Od iagree=1\&clickthroughcode=1231040450\&download=diablo-latte-freebsd7-amd64-1.6.0_07-b02.tar.bz2 http://www.freebsdfoundation.org/cgi-bin/download/diablo-latte-freebsd7-amd64-1.6.0_07-b02.tar.bz2
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  4 26.0M    4 1233k    0     0  32975      0  0:13:49  0:00:38  0:13:11 27222^C
только для полоски надо менять не

Код: Выделить всё

xargs -I% curl -sd dl.start=Free %#dlt
а эту строчку

Код: Выделить всё

    # grab the damn thing at last
    fetch -Fr $1 2>&- || fetch -R $1
paradox писал(а):казнить нельзя помиловать
та не, все работает
меня мой навык телепатии подвел: я думал там `та — там', а не а не `та — да' ;)

Аватара пользователя
Grishun_U_S
сержант
Сообщения: 221
Зарегистрирован: 2008-04-12 18:26:54
Откуда: Samara
Контактная информация:

Re: скрипт для скачивания

Непрочитанное сообщение Grishun_U_S » 2009-01-05 21:41:13

rapidfetch.sh работаит!
прикольно...
Изображение

Аватара пользователя
schizoid
подполковник
Сообщения: 3228
Зарегистрирован: 2007-03-03 17:32:31
Откуда: Украина, Чернигов
Контактная информация:

Re: скрипт для скачивания

Непрочитанное сообщение schizoid » 2009-01-05 22:32:15

ну завтра попробую питонский ковырнуть скриптец.
шеловский пашет. снкс огромное, стока времени экономит - капут :)
ядерный взрыв...смертельно красиво...жаль, что не вечно...

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: скрипт для скачивания

Непрочитанное сообщение paradox » 2009-01-12 14:48:08

кстати когда лимит Free вычерпан вываливаеться такая штука

Код: Выделить всё

paradox@hosting[14:40:29]~/macosx> ./rfetch.py http://rapidshare.com/files/181997484/BTW_5.5.0.5300.rar
Traceback (most recent call last):
  File "./rfetch.py", line 83, in <module>
    main()
  File "./rfetch.py", line 32, in main
    fetch(url)
  File "./rfetch.py", line 10, in fetch
    url, counter = suck(url)
  File "./rfetch.py", line 55, in suck
    url = re.search('id="ff"\s*action="([^"]*)"', data).group(1)
AttributeError: 'NoneType' object has no attribute 'group'
впринципе не спицифично
но если можно то хотелось бы выдеть сообщение котрое видно в екпслоере

Гость
проходил мимо

Re: скрипт для скачивания

Непрочитанное сообщение Гость » 2009-01-12 22:09:33

paradox писал(а):но если можно то хотелось бы выдеть сообщение котрое видно в екпслоере
Thx за bugreport. Че-то быстро мой питон выветрился...

Код: Выделить всё

--- rfetch.py~
+++ rfetch.py
@@ -75,6 +75,12 @@
         raise urllib.error.URLError('file not found')
     elif data.lower().find('contain illegal content') >= 0:
         raise urllib.error.URLError('file has been blocked')
+    elif data.lower().find('this limit is reached') >= 0:
+        raise urllib.error.URLError(data.split('<div class="klappbox">')[1]
+                                    .split('</div>')[0]
+                                    .replace('<p>','')
+                                    .replace('</p>','\n')
+                                    .strip())
 
     url = re.search('id="ff"\s*action="([^"]*)"', data).group(1)
 
и получается что-то типа

Код: Выделить всё

Traceback (most recent call last):
  File "/home/holo/bin/rfetch.py", line 121, in <module>
    main()
  File "/home/holo/bin/rfetch.py", line 44, in main
    fetch(url)
  File "/home/holo/bin/rfetch.py", line 13, in fetch
    url, counter = suck(url)
  File "/home/holo/bin/rfetch.py", line 82, in suck
    .replace('</p>','\n')
urllib.error.URLError: <urlopen error This file is neither allocated to a Premium Account, or a Collector's Account, and can therefore only be downloaded 10 times.

This limit is reached.

To download this file, the uploader either needs to transfer this file into his/her Collector's Account, or upload the file again. The file can later be moved to a Collector's Account. The uploader just needs to click the delete link of the file to get further information.>
`\n' я намеренно оставил, чтоб выглядело как в firefox/conkeror. Но чего-то мне не нравится идея запихивать многострочный текст в исключения. Раскрасить что ль в желтый... это можно сделать, если вокруг текста поставить getcap()

Код: Выделить всё

--- rfetch.py~
+++ rfetch.py
@@ -76,11 +76,13 @@
     elif data.lower().find('contain illegal content') >= 0:
         raise urllib.error.URLError('file has been blocked')
     elif data.lower().find('this limit is reached') >= 0:
-        raise urllib.error.URLError(data.split('<div class="klappbox">')[1]
+        raise urllib.error.URLError(getcap(['setaf', curses.COLOR_YELLOW])[0] +
+                                    data.split('<div class="klappbox">')[1]
                                     .split('</div>')[0]
                                     .replace('<p>','')
                                     .replace('</p>','\n')
-                                    .strip())
+                                    .strip() +
+                                    getcap('sgr0')[0])
 
     url = re.search('id="ff"\s*action="([^"]*)"', data).group(1)
 

Аватара пользователя
Grishun_U_S
сержант
Сообщения: 221
Зарегистрирован: 2008-04-12 18:26:54
Откуда: Samara
Контактная информация:

Re: скрипт для скачивания

Непрочитанное сообщение Grishun_U_S » 2009-01-26 9:08:12

Народ, а как насчет скрипта для скачивания с letitbit?

Было бы здорово качать оттуда не из-под винды, а ставить закачки на ночь на шлюз.
Изображение

BECHA
рядовой
Сообщения: 33
Зарегистрирован: 2009-01-27 14:55:03
Контактная информация:

Re: скрипт для скачивания

Непрочитанное сообщение BECHA » 2009-09-20 9:01:53

спасибо за шеловский скрипт! нельзя ли его заставить брать ссылки из файла?

PS а как-то странно он работает :) сначала качает, а потом....

Код: Выделить всё

./Rapidfetch.sh http://rapidshare.com/files/282235065/Total_Commander_7.50_Final_AlexForum_Full_Pack_Pack_0.6_hasard.ru.rar
13 minutes left
12 minutes left
11 minutes left
10 minutes left
9 minutes left
8 minutes left
7 minutes left
6 minutes left
Sleeping for 100 seconds before downloading:
http://rs44l34.rapidshare.com/files/282235065/8535718/Total_Commander_7.50_Final_AlexForum_Full_Pack_Pack_0.6_hasard.ru.rar
Total_Commander_7.50_Final_AlexForum_Full_Pack100% of   10 kB   93 kBps
но делая ls -lah видно что файл сначала увеличивается в размере, а потом становится 10кбайтным с htm начинкой :(

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: скрипт для скачивания megaupload.com?

Непрочитанное сообщение ProFTP » 2010-01-06 23:55:17

никто не видел автоматизированные скрипты скачивания с megaupload.com?

спрашиваю чтобы велосипед не писать...
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

a84427
проходил мимо
Сообщения: 8
Зарегистрирован: 2009-09-24 8:30:21

Re: скрипт для скачивания

Непрочитанное сообщение a84427 » 2010-02-12 11:48:33

вот чего нарыл...
скрипт от Serg0 (http://wl500g.info/showthread.php?t=19035)
у меня не получилось заставить качать с letibit не по прямой
вот в этом проблема
local: Not in a function

как побороть????
Вложения
dlq.rar
Скрипт автоматически скачивает файлы по списку по протоколам http и ftp.
Умеет автоматически скачивать с файлообменников rapidshare.com, depositfiles.com
Скачивает как "Free User", со всеми положенными ожиданиями - получается не быстро,
но зато без участия человека.
Можно добавить и другие файлообменники, на которых не требуется ввод CAPTCHA (символы с картинки).
(14.01 КБ) 25 скачиваний

Гость
проходил мимо

Re: скрипт для скачивания megaupload.com?

Непрочитанное сообщение Гость » 2010-04-15 0:41:14

ProFTP, с MU без OCR капчи не скачать. Благо можно запустить jdownloder без GUI. Java, конечно, не легковесна, но хотя бы иксы не нужны.

Гость
проходил мимо

Re: скрипт для скачивания

Непрочитанное сообщение Гость » 2010-08-25 4:12:30

http://megaupload-dl.googlecode.com/fil ... -0.3.3.tgz
нарыл для megaupload скачивания
там на питоне все
и распознавания капчи тоже
но оно все по плятски сделано
инсталлится по системе как сопли
может кто переделает что бы или в одном файлике было
или как то локально брало все зависимости от текущего положения главного скачивающего файла
?