расставляй правильно приоритеты и не отвлекайся на мелочи

Дружим с консолью: как скачать файл с Rapidshare, Megaupload, …

Полезная вещь — консоль сервера, запустил на ней нужную задачу и пускай себе сервер ее обрабатывает, а я тем временем буду своими делами заниматься. К чему это я? Да был у меня один активный период, когда я очень тесно дружил с сервисом Rapidshare, тогда еще на нем капчи менялись, как погода осенью, и приходилось мне большие объемы выкачивать через бесплатный доступ. Все знают, что у бесплатности свои «прелести», тут тебе и ограничения скорости и блокировки по времени, и капчи (до недавнего времени), приходилось обходить все это хозяйство с помощью Universal Share Downloader, а потом я наткнулся на какой-то перловый скрипт, который мог работать с шарингами в пакетном режиме и обходить капчи, сейчас уже не помню как он назывался, но капча в итоге его победила и я забросил дело выкачивания, тем более практически все, что было мне нужно я уже получил.

Сейчас у меня новая волна, снова занимаюсь активной закачкой и хочу поделиться с теми, кто понимает зачем нужна программа по скачиванию с сервисов типа Rapidshare из консоли, своей находкой. Кто не понимает: у меня есть SSH доступ к нескольким клиентским Линукс серверам, подключенным к широким безлимитным каналам в различных IP сетях, а это идеальные условия поработать с бесплатным доступом на шаред ресурсах, для этого необходим только инструмент, который не требует никакого внешнего вмешательства в свою работу, запустил — и забыл.

И такой инструмент нашелся, а вернее их два: megaupload-dl — который работает только с Rapidshare, и второй, о котором сейчас пойдет речь.

Plowshare — универсальная качалка с сервисов Rapidshare, Megaupload, 2Shared, 4Shared, ZShare, Badongo, DepositFiles и Mediafire.

Что умеет эта вещь:

  • — Запускается с консоли xNix сервера. В моем случае, для Fedora, потребовалось только дополнительно установить пакет recode.
  • — Может закачивать файлы из списков.
  • — Работает как с бесплатными, так и с платными аккаунтами.
  • — Закачивает файлы защищенные от скачивания паролем (естественно если этот пароль Вы знаете).
  • — Может выдергивать прямые URLы для скачивания.
  • — Мне понравился очень полезный пример, как можно выдернуть с какого-либо сайта все URLы относящиеся например к megaupload и скормить их на скачивание plowshare:
$ curl http://some-website.com/page.html | \
grep -o «http://www.megaupload.com/[^\»< ]*" | uniq | head -n10 | plowdown -
  • — Кроме закачки файлов умеет их и выкладывать.
  • — Есть возможность подключать (писать самостоятельно) другие модули, для поддержки других веб-хранилищ общего доступа.

Не знаю как Вам, по мне это очень сподручная штука.

Напоследок, так, к случаю, пару полезных советов:

Как зачистить историю в bash:

history -c && rm -f ~/.bash_history

Где хранятся дифолтовые настройки для curl (plowshare использует его для процедур скачивания):

~/.curlrc

Обновлено: теперь эта утилитка может качать с: 2Shared, 4Shared, Badongo, DepositFiles, divShare, dl.free.fr, Freakshare.net, Loadfiles.in, Mediafire, Megaupload, Netload.in, Rapidshare, Sendspace, Storage.to, Uploaded.to, Uploading.com, Usershare, x7.to, ZShare

26 комментариев на статью:
  1. BadMan:

    Ну-ну. Это сказка для кого? Это у кого все аккаунты — Премиум! Ты попробуй без них. Ответь лучше на конкретный вопрос: — \Какой Download Manager может начать загрузку файла в 1 Гиг, не с самого начала, а допустим с 25% его размера?\ А я посмотрю, как ты будешь \париться\.

    • admin:

      Как я буду «париться» Вы не увидите, потому что пользуюсь стабильными каналами и качаю большие файлы разбитые на несколько кусков.
      Я здесь, понимаете-ли, опытом делюсь, а не какими-то пустыми домыслами, и премиум аккаунты мне не нужны.

  2. BadMan:

    Но любая информация есть информация. За это THK!

  3. Tolia:

    Что-то не совсем понятно Вы изложили свою концепцию по закачке файлов с файлообменников. Это больше смахивает на закачивание файлов без понимания их содержимого (рыбалка или грабалка при наличии спутникового оборудования). Или в Nix системах проблема в нормальных (для простого user’а) Download Manager с GUI интерфейсом? В основном этими или подобными методами занимаются users, у кого проблема с подключением к Интернету, поэтому они используют различные грабалки и качают всё без разбору, а потом разгребают накопленное «богатство». Я лично понял всё выше приведенное так, а как другие — можно только предполагать!

    • admin:

      Понимайте как хотите, … если Вас интересует конкретика того, что-же я качаю, то это аудио книги на английском,
      а та «рыбалка» о которой Вы говорите проводится другими средствами и абсолютно бесполезна при запаролировании источников

      • Tolia:

        Этот Ваш ответ не соответсвует принципу «делиться опытом». А по поводу парсить все ссылки относящиеся к Megaupload и скармливания их на скачивание plowshare!? Это и смахивает на скачивание без разбору.

        • admin:

          Не смахивает, Вот вам конкретный пример: есть большая аудио-книга, разбитая на 10 частей, ссылки на все части указаны на одной странице, скармливаете такую страницу для plowshare по примеру приведенному выше и все.

          • Tolia:

            Ну теперь понятен смысл, но это справедливо если на этой странице нет других ссылок на данный сервер. В таком случае действительно удобно использовать такой подход, чем заниматься отдельным копипастом или выдирать эти ссылки из исходной страницы, отсеивая ненужные теги!

  4. Tolia:

    Да, а в чём собственно заключается это «делиться опытом», если на каждом столбе(у) в Google можно об этом прочитать? Или это «новый метод» обхода временной задержки на скачивание с RapidShare.com? Для users Windows систем вообще нет проблем с закачкой файлов с файлообменников — включил и забыл:
    -USDownloader
    -CryptLoad
    -JDownloader
    -Rapidshare Auto Downloader
    Единственный недостаток — не умеют обходить задержку времени и докачку с RapidShare.com (сервер не поддерживающий докачку)

    • admin:

      Да я сам раньше пользовался Universal Share Downloader, приходилось долго ждать по причинам: один источник скачки (временные ограничения), приходилось оставлять PC на ночь, с консолью эти проблемы исчезли, вот это и есть опыт.

      • Tolia:

        ну а без SSH доступа к нескольким клиентским Линукс серверам, я так понимаю, этот вариант не проходит. Большинство пользователей не имеют этой возможности, то что им взять из Вашего опыта?

        • admin:

          Да почему к нескольким, можно и к одному, а нет такой возможности, пользуйтесь тем что дано (Universal Share Downloader), я ведь никого и ни к чему не принуждаю

          • Tolia:

            В таком случае не совсем понятен смысл SSH доступа только к одному северу (посреднику?). Объясните в чём потребность именно SSH доступа. Если у пользователя есть быстрый и стабильный канал (инет), то для него данная программа не имеет значения?

  5. Tolia:

    Здесь всё о чём Вы могли бы сообщить, без кодирования ссылок
    code.google.com/p/plowshare/wiki/Readme

    http://www.webupd8.org/2009/09/download-files-from-megaupload.html

    • admin:

      Я об этом и сообщил, только по русски, и ссылка в тексте как-раз ведет на первоисточник, а насчет ее кодирования — это мое личное дело, то-же выведенное из опыта распыления ссылками.

      • Tolia:

        Данная информация вполне доступна и открыта для всех, а такое «сокрытие» ссылок приводит к недоверию к источнику сообщения, т.к. эта ссылка может перенаправить пользователя не в нужном ему направлении (безопасность). Вы же делитесь опытом со всеми, а не пишете это для себя. Соответственно все должно быть доступно и открыто, а иначе это можно расценить как тщеславие, высокомерие и прочее…..

        • admin:

          Если честно, ничего не понял, что Вы хотели сказать насчет тщеславия :(
          а насчет безопасности: ничему нельзя доверять в этом мире, в том числе и тому, что ссылка правильно отображаемая в строке состояния приведет Вас туда, куда Вы хотели

          • Tolia:

            Это когда человек считает что он знает больше, чем остальные и все вытекающие от сюда последствия. Понятная разборчивая ссылка не вызывает никаких «задних» мыслей.

  6. Tolia:

    Каким образом всё-таки достигается обход ограничения по времени? Это что привилегия SSH или алгоритм работы самой программы?

    • Tolia:

      Я так понял, смысл всего этого состоит в том, что при SSH доступе c RapidShare.com, при закачке согласно очереди, он позволяет качать через ~60 сек, а не через 15 минут, как это происходит при обычной пакетной закачке.

      • admin:

        Теперь я понял, чего Вы не поняли :)
        SSH это лишь способ (протокол) по которому я получаю доступ к консоле сервера, на которой запускаю Plowshare, с самим Plowshare он никак не связан :)
        А почему сервер (пусть даже один)? Ограничений никаких он не снимает, просто он имеет гарантированное питание и всегда в интернет, поэтому не надо оставлять свою PC включенной, все задачи перекладываем на сервер и пусть он сам занимается медленной закачкой, — вот это я и хотел сказать, не подумал, что меня не поймут :(
        Буду писАть доходчивей, а не с намеками

  7. Tolia:

    Вот теперь всё стало на свои места! Да и в принципе после проверки этой программы стало ясно, что она не имеет каких-то уникальных особенностей, кроме тех, которыми её наделили. Ну а по использованию консоли для удаленного управления закачками, то этот вариант, для меня лично, не имеет какой-то привлекательности (Интернет и Промышленная сеть стабильны и беспрерывны). И такой вариант может быть привлекательным тем у кого есть физический доступ к Серверу и в таком случае удалённый доступ тоже не помешает, т.к. закаченное «богатство» можно будет «забрать» как физически так и удаленным подсоединением (подключением). Вот только физически забрать, будет быстрее по времени, чем качать удаленно. Если нет физического доступа, то в данном случае не вижу вообще смысла в использовании Вашего подхода к этому процессу, т.к. время затрачиваемое на закачку файлов от этого не экономится и не сокращается. Так зачем «Огород городить в чистом поле»?

    • Timur4ik:

      У меня дома канал 2 мегабита, а на работе 128к +не стабильные + не безлим. так вот я сегодня пока был на работе, запросто скачал очень важный и нужный мне файл. Это я к коментарию относительно
      >>>т.к. время затрачиваемое на закачку файлов от этого не экономится и не сокращается. Так зачем «Огород городить в чистом поле»?

      А еще вариант. Скажем у меня вообще компа нет под рукой компа. только коммуникатор с гпрс. А скачать и запустить скажем что нибудь нужно.
      Вообщем маст хев. А вообще рассматривал даже вариант, подянтия vnс для запуска firefox для закачки файла.

  8. Tolia:

    Благодарю за ответы! Пойду дальше бороздить Мировой Интернет! Удачи!

  9. druid:

    Спасибо за наводку на Plowshare, перед этим перебрал несколько гуёвых качалок — всё-таки консоль рулит

Ответить
Обязательные поля помечены *