Wget - повелитель закачек, или Как использовать wget

Задача: хочется Teleport Pro и FlashGet для Linux.
Решение: откройте для себя wget - это программа скачивания сайтов, которая позволит вам скачать сайт целиком.

Часто ищут прежде всего множество графических программ с несколькими кнопками - но есть одна утилита, способная заменить их и предоставляющая возможности, которых больше нигде нет. Это wget и всё, что на нём основано. Освоение этой утилиты требует некоторых усилий и хотя бы беглого прочтения руководства, но взамен вы получаете мощную утилиту, которая будет экономить ваше время и трафик. Кстати, есть wget для windows, так что wget можно пользоваться не только в nix-системах.

Стоит сказать, что man wget при первом взгляде производит сокрушительное впечатление, однако потом понимаешь, что далеко не все опции нужны при повседневном использовании. Ниже приводятся наиболее часто используемые мною опции.

Эпиграф
О любви wget так много песен спето,
Я спою, тебе спою, ещё одну...
(c) Романс из к/ф "Три друга"



Использование а-ля "FlashGet for Linux"
Нужно просто скачать файл и/или продолжить закачку, которая оборвалась. Это очень и очень легко сделать, написав в терминале несколько строчек.

Просто скачать файл wget-ом

wget ftp://vasya.pupkin.com/film.avi

Ещё вариант: часть файла скачана, закачка оборвалась.

Для продолжения файла закачки пишем:

wget -c ftp://vasya.pupkin.com/film.avi
или
wget -continue ftp://vasya.pupkin.com/film.avi
Вместо -с можно написать -continue, так как каждый ключ имеет короткую и длинную формы: длинные ключи проще запомнить, но дольше писать. Можно легко смешивать различные формы написания.

Чтобы выкачать файлы из списка, содержащего прямые ссылки:

wget -i pupkinlist
или
wget -input-file=pupkinlist
Здесь указывается только файл, в котором содержатся ссылки. Файл может так же быть HTML-страницей, в которой есть ссылки. Они будут выкачаны указанной выше командой.



Использование а-ля "Teleport Pro for Linux"
При скачивании веб-сайтов возможностей больше, и поэтому требуется больше ключей. Опять-таки, запоминать их все не обязательно, можно сделать скрипт (а лучше несколько - под разные случаи) и вызывать их.
Так вот, если имеется веб-сайт, и хотелось бы иметь его локальную копию на компьютере, чтобы, отключившись от сети, можно было не торопясь его почитать.

Зеркалирование сайтов на локальную машину:

wget -m http://www.vasyapupkin.com/

Замечу, что при этом ссылки останутся абсолютными - то есть, будут указывать на Интернет-адреса, и удобно просматривать на локальной машине будет затруднительно.

Копирование сайта для локального просмотра:
wget -r -l0 -np -k http://www.vasyapupkin.com/

При этом будет включена рекурсивная выгрузка (ключ -r, --recursive), то есть не только файлы с главной страницы, но и все остальные, на которые ведут ссылки (ключ -l0 бесконечная вложенность ссылок). Имена ссылок будут переконвертированы в локальные для удобства просмотра (ключ -k). Так же при помощи ключа -np (no-parrent) можно запретить wget подниматься выше начального адреса при рекурсивной загрузке, то есть если вы копируете http://home.vasyapupkin.com/ то по ссылкам с основного сайта http://www.vasyapupkin.com/ скопированы не будут.

И несколько других полезных ключей
Включение и исключение файлов при загрузке
-A acclist | -accept acclist

-R rejlist | -reject rejlist
Задаёт разделяемые запятыми шаблоны имён файлов, которые следует загружать (acclist) или игнорировать (rejlist).

-k | -convert-links
Превращает абсолютные ссылки (типа http://www...) в относительные (типа file///home/vasya/www/index.html) для удобства локального просмотра. Чтобы локально в броузере просмотреть скачанный сайт, открываете файл index.html в броузере и бродите по ссылкам точно так же, как если бы вы были подключены к Интернету.



-H
--span-hosts

Разрешает wget скачивать данные с любого адреса, на который есть ссылка в запрашиваемом документе.

-p --page-requisites

Загружать все файлы, которые нужны для отображения страниц HTML. Например: рисунки, звук и каскадные стили. После завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме. Это касается не только видимых ссылок на другие документы, а ссылок на все внешние локальные файлы.


Ограничение канала загрузки –limit-rate=значение в кб. Например:

wget --limit-rate=50k http://www....

Это приведет к тому, что скорость загрузки не будет превышать указанных в примере пятидесяти килобайт/сек.

Siteget - простой скрипт для скачивания сайтов
Если вам надоели все эти премудрости с ключами wget и нужно просто скачать сайт, то siteget вам определённо понравится. Это довольно простой скрипт с необходимыми параметрами для загрузки сайта.
Взять скрипт можно тут, использование очень простое:
siteget http://www.vasyapupkin.com/
Большое спасибо за ссылку jetxee, который писал об этом здесь.


Ссылки:
Их очень много. Вот здесь лежит простое описание возможностей wget, здесь часть ключей с интересными комментариями. Что-то взято отсюда и отсюда. Ну и конечно это не отменяет прочтение руководства man wget, в том числе на русском.

51 комментариев: |высказаться!| RSS-лента дискуссии.|
aim комментирует...

слишком умная типографика на blogspot съела двойные минусы у команд. поправь пожалуйста.

Kesha комментирует...

Спасибо за статью... а главное вовремя - на следующей неделе как раз снова ставлю линь (после короткого знакомства полгода назад) и меня как раз беспокоил этот вопрос.

Tigro комментирует...

А добавь в статью ещё вот этот параметр *--directory-prefix*. Он используется для указания каталога в который следует сохранять закачки. Очень полезен когда нужно что-то в cron качать.

Biga комментирует...

> Использование а-ля "FlashGet for Linux"

Насколько я помню, одной из основных возможностей FlashGet является многопоточное скачивание. Что скажешь на это?

StraNNicK комментирует...

Нихера он не заменяет. Кроме wget'а для windows

Упомянутые выше многопоточные закачки, поиск зеркал, автоматическое прописывание реферрера - всего этого нет.

Равно как и много другого.

wget и, скажем, Download Master - это как Inetrnet Explorer и вдумчиво настроенный Firefox. Добиться-то нужного результата можно, но об удобстве и говорить не приходится.

А вообще, рекомендую к прочтению старую добрую статью "Wget - насос для Интернета"

Роман Чепляка комментирует...

Как-то странно в твоем исполнении выглядят относительные ссылки.

SIR комментирует...

Интересно. Я wget-ом не пользовался... Очень понравилась возможность "Копирование сайта для локального просмотра". Сам постоянно пользуюсь KGet-ом, как заядлый КДЕ-шник. Очень приятная вещица в работе. А на счет такой и иных тонкостей надо будет попробовать.

virens комментирует...

2 aim пишет...
слишком умная типографика на blogspot съела двойные минусы у команд. поправь пожалуйста.
Не понял, у меня всё отображается... Где конкретно?

2 Tigro пишет...
А добавь в статью ещё вот этот параметр *--directory-prefix*.
Не пользовался, но добавлю. Сейчас на работе :-)

2 Biga пишет...

> Использование а-ля "FlashGet for Linux"

Насколько я помню, одной из основных возможностей FlashGet является многопоточное скачивание. Что скажешь на это?

Что это дурь полная. В исполнении флешгета по крайней мере. Качал большие файлы - и выходило даже медленнее. Wget использует всю ширину канала, так что выше некуда.

2 StraNNicK пишет...
Нихера он не заменяет. Кроме wget'а для windows
1. следи за языком, ладно? Не ЖЖ.
2. кому как: я пользуюсь только им, и кроме закачки торрентов, он мне лично заменяет всё.

Упомянутые выше многопоточные закачки
Приведи пример, где это реально качает быстрее.

А вообще, рекомендую к прочтению старую добрую статью "Wget - насос для Интернета"
А вот это дельная статья. Спасибо за ссылку.

virens комментирует...

2 Роман Чепляка пишет...
Как-то странно в твоем исполнении выглядят относительные ссылки.
Намёка не понял. Где в тексте? Все ссылки вроде открываются...

2 SIR пишет...
Интересно. Я wget-ом не пользовался... Очень понравилась возможность "Копирование сайта для локального просмотра". Сам постоянно пользуюсь KGet-ом
Пользуешься, т.к. kget это графическая рожица для wget.

А на счет такой и иных тонкостей надо будет попробовать.
Тонкостей там много. Я написал про то, что сам использую.

gio комментирует...

2 Biga пишет...
Насколько я помню, одной из основных возможностей FlashGet является многопоточное скачивание. Что скажешь на это?

Хотите многопоточное скачивание, ставьте Downloader for X

wiz комментирует...

А разве многопоточное скачивание ещё не сдохло?... В принципе не понимаю его назначения в настоящий момент.

vyazovoi комментирует...

wget никогда небудет заменой FlashGet и подобных пока к нему небудет вменяемого менеджера URL а не тупого списка урлов.
Чтото такое попытались сделать в GWget но даже половины нужных функций нету.

Что касательно многопоточности - unix-way рулит. wget у меет качать определенные от байта до байта части файла, на линуксфоруме я както даже встречал готовый скрипт для автоматизации этого дела.

Для чего это надо? Некоторые сервера ограничивают скорость на один поток, таким способом можно увеличить скорость но нарушается политика этого сервера.

StraNNicK комментирует...

Ok. поехали.

Многопоточное скачивание не сдохло. Более того, оно таки рулит, поскольку в более чем в половине случаев ускоряет скачивание раза в полтора.

Желающим проверить рекомендую axel (оно конечно можно и скрипт к wget'у написать, но зачем?)

При этом axel тянет только с того же источника. Download Master под виндой умеет искать зеркала и тянуть кусочки с разных мест. Периодически это здорово ускоряет процесс.

Впрочем, пользователям торрента объяснять почему вариант "тянем много маленьких кусочков из разных мест" выгоднее "качаем в один поток" я полагаю не нужно.

Теперь про то, когда wget попросту неудобен.
Попробуйте скачать что-либо скажем с old-games.ru. Или с рапидшары. Или с любого другого сайта, авторы которого решили, что проверка реферрера - это не по детски круто.

Да, прописать можно.
Последовательность действий:
1. Копируем адрес странички со ссылкой
2. Вписываем этот адрес в соответствующий ключ, который находим в мане.
3. Надеемся, что умники-затейники не придумали проверять ещё и по кукам...

Знаете, мне кажется, что вариант "перетянуть ссылку в корзину" или "щёлкнуть по ссылке, а качалка подхватит" несколько удобнее.

Собственно, я даже не говорю, что wget плох.

Отчего? Это отличный инструмент и я сам часто и с удовольствием им пользуюсь.
Скачать небольшой одиночный файл, скачать небольшую страничку - для этого он вполне подходит.

Но вот сравнивать его с менеджером закачек не стоит. потому что разница как между велосипедом и автомобилем. Первый надёжен, второй удобен.

Продукты разного класса.

P.S. А для скачивания сайтов я окончательно перешёл либо на ScrapBook для Firefox (когда качать мало), либо на httrack (когда качать много и/или сайт имеет сложную структуру).
Специализированные инструменты всё же лучше универсальных.
P.P.S. Толкового менеджера закачек под линуксом так и не нашёл. Увы. Хоть сам пиши...

Alexander комментирует...

во, здорово, а то до манов руки не доходили. сам пользую httrack тож хорошая штука. зеркалит сайты на раз.

Анонимный комментирует...

Заранее прошу прощения за столь мелочный комментарий, но я думаю что
"Файл может так же пыть HTML-страницей, ..." стоить заменить на
"Файл может так же быть HTML-страницей, ..."

Анонимный комментирует...

Гы. Есть еще octod.
http://diozaka.org/octod/

Tigro комментирует...

Не пользовался, но добавлю.

Я тоже не пользовался, пока в крон не пришлось добавить. Причем для зеркалирования Debian, Так сказать Pull-Mirroring.

Анонимный комментирует...

Кстати, во wget есть еще любопытный набор опций для определения пауз между скачками как фиксированных, так и вычисляемых случайно в заданном промежутке.

Бывает полезно если сайт запрещает обращение к себе со скоростью несколько страниц в секунду.

//IT-partisan

Dem@nXP комментирует...

Мдаа... Всё было бы классно, но качаю в основном с рапидшары. А если мелочь качать какую - то и стандартная качалка Firefox катит. Крупные файлы через d4x качать действительно удобно, но лично мне это делать не позволяет цена траффика :)
+ иногда просто лениво в файрфоксе мышью выдерать линк, сворачивать файрфокс, запускать закачку, заново разворачивать файрфокс. Вот так вотЪ. Я в смятении. И по прежнему продолжаю юзать стандартную качалку...

Анонимный комментирует...

А кто-то пробовал wget через прокси запускать? Есть ли у него какие-то хитрые параметры для прокси?

ато попытки в кроне указывать строку типа http_proxy=127.0.0.1:8080 wget -c ...

ничего не давали :(

Yuriy Volkov комментирует...

для запуска wget через прокси нужно в файле .wgetrc для юзера (или в глобальном конфге) прописать этот этот самый прокси. В дебиане глобальный файл wgetrc находится в каталоге /etc:
http_proxy = http://ip:port/
ftp_proxy = http://ip:port/
Там еще много настроек, лучше почитать ;-)

Анонимный комментирует...

Если надо многопоточная закачка и закачка с нескольких зеркал - стоит попробовать aria2c - входит в дистрибутив Debian. Сайты закачивать, правда, не умеет (но оно вам надо, еслі есть httrack), зато, кроме многопоточной закачки и зеркалірования, умеет скачивать торренты.

Chpock комментирует...

wget - это быстро скачать чего нить маленькое или небольшой список, если уж позиционировать как замену виндовым менеджерам закачки - тогда брать d4x. Хотя и он далек от "замены", может быть из-за того что уже давно заброшен.

И для зеркалирования wget довольно таки ограничен, разве что хомяк простенький забрать. Но, к сожалению, вменяемого зеркалирования в никсах просто нет вообще.

Анонимный комментирует...

to Chpock
Попробуй httrack и скажи, может ли хоть один другой оффлайн браузер с ним сравниться по возможностям.

virens комментирует...

2 wiz пишет...
А разве многопоточное скачивание ещё не сдохло?... В принципе не понимаю его назначения в настоящий момент.
Я в общем тоже, но у Евгения [StraNNiсk] другое мнение :-)

2 vyazovoi пишет...
wget никогда небудет заменой FlashGet и подобных пока к нему небудет вменяемого менеджера URL а не тупого списка урлов.
Спорно. Мне удобнее списком, тем более, что часто он внушительный.


Что касательно многопоточности - unix-way рулит.
Он всегда рулит, но что-то проще сделать через графику :-)

Ещё раз: моё личное скромное мнение - wget прекрасно может заменить виндовые качалки. Кроме рапидшары, естественно :-)

2 StraNNicK пишет...
Многопоточное скачивание не сдохло. Более того, оно таки рулит, поскольку в более чем в половине случаев ускоряет скачивание раза в полтора.
Давай конкретные примеры. Это не разговор.

При этом axel тянет только с того же источника. Download Master под виндой умеет искать зеркала и тянуть кусочки с разных мест.
... тратя на это зачастую намного больше трафика и времени, чем тупая однопоточная закачка.

Теперь про то, когда wget попросту неудобен.
Да, конечно, бывает. Для этого есть kget, aria, httrack...

Знаете, мне кажется, что вариант "перетянуть ссылку в корзину" или "щёлкнуть по ссылке, а качалка подхватит" несколько удобнее.
Безусловно: у меня в броузере по умолчанию стоит d4x. И всем устраивает :-)

Но вот сравнивать его с менеджером закачек не стоит. потому что разница как между велосипедом и автомобилем.
Неслабый получается велосипед, минимум с дизельным движком и многоступенчатой коробкой передач :-)

virens комментирует...

2 Alexander пишет...

во, здорово, а то до манов руки не доходили.
Да я собственно тоже выложил основные ключи, которыми я пользуюсь. :-)

2 Анонимный пишет...
Заранее прошу прощения за столь мелочный комментарий, но я думаю что
Очень даже ценный комментарий - багфикс! Исправлено, спасибо.

2 Анонимный пишет...
Гы. Есть еще octod.
Надо будет посмотреть. Благодарю за наводку.

2 Tigro пишет...
Я тоже не пользовался, пока в крон не пришлось добавить. Причем для зеркалирования Debian,
Да, для периодических закачиваний wget особенно полезен. Это точно.

2 Анонимный пишет...
Кстати, во wget есть еще любопытный набор опций для определения пауз между скачками как фиксированных, так и вычисляемых случайно в заданном промежутке.
Мне не приходилось пока столкнуться с такими сайтами, но если что - буду знать.


2 Dem@nXP пишет...
Мдаа... Всё было бы классно, но качаю в основном с рапидшары.
Тут wget определённо проигрывает. Не бывает серебряной пули :-)


2 Анонимный пишет...
Если надо многопоточная закачка и закачка с нескольких зеркал - стоит попробовать aria2c - входит в дистрибутив Debian.
Попробуем, спасибо.

2 Chpock пишет...
wget - это быстро скачать чего нить маленькое или небольшой список, если уж позиционировать как замену виндовым менеджерам закачки - тогда брать d4x
Не согласен. wget у меня качает огромные сайты и большие дистрибутивы (что, 4DVD Debian это "что-нибудь маленькое"!?).

Хотя и он далек от "замены", может быть из-за того что уже давно заброшен.
В нём реализовано уже почти всё, что можно.

И для зеркалирования wget довольно таки ограничен, разве что хомяк простенький забрать.
Зеркалирую собственный блог. Одного текста HTML на 20Мб - нифига себе хомяк...

Frosty комментирует...

Так же не стоит забывать про ~/.wgetrc, очень полезно вписать туда то, что пишешь каждый раз, вот мой ~/.wgetrc:
user-agent = "Mozilla/5.0" есть такие быдлосайты, которые дают качать только "правильным" юзер-агентам
tries = 1000 пытаемся докачать до посинения :D
wait = 0 мы не ждем, мы качем ;)
continue = on и конечно же нужно докачивать
dir_prefix = ~/Downloads/ вот прямо сюда докачивать :)

Анонимный комментирует...

> Копирование сайта для локального просмотра

Агащазблин! wget -r -l0 -np -k http://mydebianblog.blogspot.com

virens комментирует...

2 Анонимный пишет...

> Копирование сайта для локального просмотра
Агащазблин! wget -r -l0 -np -k http://mydebianblog.blogspot.com

Так ведь картинки гугл теперь на пикасу перетащил - чего ж вы хотели!? :-)))

ahel комментирует...

Спасибо, оч полезная штука и оч полезная инфа

Анонимный комментирует...

Тут никто не сказал про один важный плюс - он же консольный!!! а это возможность писать СКРИПТЫ!!! тут же можно все что угодно: периодические закачки, закачки при выполнении определенных условий и все что только можно придумать. Так что полезным он будет даже если появится идеальный гуевый менеджер.

Kirill комментирует...

Посоветуйте, что делать в случае: wget долго и упорно качал, а потом был прерван, в связи с чем опция -k (для превращения ссылок в локальные) не отработала... Как сделать ссылки локальными?
Хотел сразу взять sed, но проблема в различных относительных ссылках в разных уровнях.

Анонимный комментирует...

По поводу того, что надо сворачивать FireFox запускать консоль и в ней wget
установите себе Flashgot, я с ним прекрасно с рапиды качаю с помощью wget-a

cyber-punk комментирует...

Михаил, а как быть с utf-8? Пробую закачать сайт xgu.ru, так у них странички названы русскими буквами, после скачки имена файлов нечитабельны, я нашёл описание этой проблемы, но не знаю как применить патч: http://m0sia.ru/node/64#comment-567
Подскажи, как быть, а то ну уж совсем житья нет. Дома нета нету, а возможность поиграться с xen есть только дома...

cyber-punk комментирует...

Отвечаю сам себе. Скачиваем патч: http://m0sia.ru/files/wget.utf8.patch ложим его в каталог с исходниками wget`а, потом: $patch -p0 < wget.utf8.patch
После наложения патча переконфигурируем, а затем перекомпилируем и устанавливаем wget. Вот и всё, сразу всё становиться, как в сказке...

Анонимный комментирует...

Во-первых, хотелось бы сказать спасибо за отличный блог.
А во-вторых, хотел скачать его wget'ом wget -r -l 0 -k http://mydebianblog.blogspot.com
и в результате каждая страница качалась несколько раз, в зависимости от количества комментариев, и, соответственно, создавалось множество копий. Не подскажете как с этим бороться?

Dober комментирует...

косячок
по -R он скачивает, но потом удаляет
это многократно увеличивает время загрузки

wget2win32 комментирует...

Свежая сборка wget для windows
http://kartz.ru/files/wget(kartz.ru).zip

Анонимный комментирует...

Загрузка всех URL, указанных в файле FILE:
wget -i FILE

если предположить чтокачаем с рапиды, там же каждый раз после скачки надо ждать 15 минут, как это реализовать?

можеть в содержании файла FILE:
www.urlno.01.ru
sleep 900s
www.urlno.02.ru
sleep 900s

или как? будет работать?

Анонимный комментирует...

Лично я использую wget в двух случаях
1. Когда нужно пакет скачать на сервер без иксов
2. Когда мне нужно на удаленном сайте выполнить некий скрипт по расписанию.
Второй случай расшифрую. Например есть некий сайт на хостинге, где нет доступа к крну. Но там же лежит фалик script.php, который нужно запускать раз в час (например он чегото там парсит). А не беда. Я у себя в крон прописываю
wget http://www.site.ru/script.php, и вот у меня запуск моего скрипта по расписанию.

Анонимный комментирует...

Отличная статья, сижу под линуксом а что этот оператор делает не знал, вот теперь узнал. и за одное еще одну видюшку с сайта качнул 400мб, браузерами качать пробовал раз 5 всевремя закачка обрывалась а через wget попробовал так у меня и скрость была выше чем через торрент или браузер качать и без обрыва, вобщем класная эта штука wget. Автор спасиб тебе

Анонимный комментирует...

дайте патч на wget.utf8.patch
по сцылке на качается nm11[gav]ukr.net

Tiny Lil' Ghost комментирует...

"Попробуйте скачать что-либо скажем с old-games.ru. Или с рапидшары. Или с любого другого сайта, авторы которого решили, что проверка реферрера - это не по детски круто.

Да, прописать можно.
Последовательность действий:
1. Копируем адрес странички со ссылкой
2. Вписываем этот адрес в соответствующий ключ, который находим в мане.
3. Надеемся, что умники-затейники не придумали проверять ещё и по кукам...

Знаете, мне кажется, что вариант "перетянуть ссылку в корзину" или "щёлкнуть по ссылке, а качалка подхватит" несколько удобнее."
Собственно для этого в Firefox есть FlashGot - он как раз и обеспечивает передачу кошерного реферера и кукиса wget-у.

Анонимный комментирует...

Для интереса под Win XP SP3 отзеркалил пару сайтов для локального просмотра с помощью httrack-3.44.4, Teleport Pro 1.59, wget GnuWin32-1.11.4-1. Итог по качеству:
1. Teleport Pro 1.59
2. httrack-3.44.4 (многих файлов не хватает)
3. wget GnuWin32-1.11.4-1 (оч.многих файлов не хватает)
Сравните сами.

virens комментирует...

@Анонимный комментирует...
Для интереса под Win XP SP3
Справедливости ради нужно сказать, что блог вообще-то про Линукс и опенсорс, а ТелепортПро ни к тому, ни к другому не относится.

1. Teleport Pro 1.59
Положа руку на сердце, я должен сказать: твоя правда, Анонимус. Телепорт лучше. Httrack неспешно пилят, но до телепорта там далековато. Но у меня винды нет, и что мне теперь делать!?

Я к тому, что Httrack - это лучшее под линуксом, что может справиться со сложными сайтами.

Хайямыч комментирует...

По поводу axel. Не зря подняли тему, конечно, спор насчет многопоточной закачки был мне не очень интересен, так как я ей обычно не пользуюсь. Но: во-первых, соединение у меня нестабильное, во-вторых, из-за этого есть косяки с загрузкой видео с youtube (т.к. последнее время он, видимо для ускорения загрузки в плеере, делит файл на много-много кусков и, если закачивать видео wget, то при нестабильной соединении на определенном месте файл просто перестает закачиваться). Wget с параметром -T я успешно пользовался, но, со временем, и это помогать перестало. Прочитал здесь в комментариях про axel. Программка маленькая, но весьма хорошо реализует многопоточное скачивание файла. Стал использовать ее и все проблемы с обрывом канала исчезли. К слову - при нестабильном соединении (к примеру, 3g) она очень даже ощутимо ускоряет загрузку (с ~70 килобайт/с до ~150 килобайт/с).

Анонимный комментирует...

А как быть с закачками у которых привязка по IP или по времени(дин.ссылки)- пример:качал я нечто,"бах" обрыв,и если и у меня динамический IP,то только один вариант-начать закачку заново,и новый файл заменить старым
C Downloader Master проще - зашел в свойство оборванной закачки,вбил новую ссылку и качаем дальше
"Блин" 21 век,а нам приходится выбирать между бесплатным(но без функциональных программ с GUI) и красивой,но дорогой конфеткой с рынка который всех кормит

Хайямыч комментирует...

Заинтересовался проблемой докачки... Скачал через axel видео на 50% по одной ссылке, затем подождал, пока сервер изменит ссылку на ролик, вбил новую ссылку в axel, указав в качестве целевого файла для сохранения тот же самый, что и в первый раз. Все докачалось нормально. По новой ссылке. Насколько я знаю, wget так не умеет. Просто axel создает при закачке в директории, где сохраняется файл, файл состояния с тем же названием, но с расширением st. В нем-то и записываются данные для восстановления загрузки в случае остановки ее пользователем, либо обрыва канала, даже в том случае, если ссылка для догрузки берется другая.

Азимут комментирует...

Есть сайт со страницами вида: http://www.site.ru/?par=123&id=XXX
Соответственно вместо XXX я буду подставлять нужные мне индексы.

wget --load-cookies=cookies.txt -p -k -r -l1 'http://www.site.ru/?par=123&id=1'

Понятно, что страницы с примерно одинаковым адресом содержат примерно одинаковое оформление, а так же ссылки на одни и те же страницы. Я не нашёл параметр запрещающий выкачивать уже имеющиеся данны и wget каждый раз из выкачивает заново.

Анонимный комментирует...

Взять скрипт можно тут, использование очень простое:
siteget http://www.vasyapupkin.com/

И куда делся этот сскрипт??

Vitaliy Fust комментирует...

Русский в урлах вроде победил, так:

wget --restrict-file-names=nocontrol -r -k -p -E -nc http://jquery.page2page.ru/

Отправить комментарий

Подписаться на RSS-ленту комментариев к этому посту.