Как скачать все файлы (но не HTML) с веб-сайта с помощью wget?

Как использовать wget и получить все файлы с сайта?



Мне нужны все файлы, кроме файлов веб-страницы, таких как HTML, PHP, ASP и т. д.

683   9  

9 ответов:

для фильтрации конкретных расширений файлов:

wget -A pdf,jpg -m -p -E -k -K -np http://site/path/

или, если вы предпочитаете длинные имена вариант:

wget --accept pdf,jpg --mirror --page-requisites --adjust-extension --convert-links --backup-converted --no-parent http://site/path/

это зеркало сайта, но файлы без jpg или pdf расширение будет автоматически удалено.

222  
2017-11-17 18:54:39

этот скачал весь сайт для меня:

wget --no-clobber --convert-links --random-wait -r -p -E -e robots=off -U mozilla http://site/path/
73  
2015-11-29 09:02:10 
wget -m -p -E -k -K -np http://site/path/

на странице скажу вам, что эти варианты делать.

wget только переходить по ссылкам, если нет ссылки на файл с индексной страницы, то wget не будет знать о его существовании, а значит и не скачивать его. то есть. это помогает, если все файлы связаны с веб-страницами или индексами каталогов.

62  
2015-11-29 09:01:42

Я пытаюсь загрузить zip-файлы, связанные с страница тем Омека - очень похожие задачи. Это сработало для меня:

wget -A zip -r -l 1 -nd http://omeka.org/add-ons/themes/
  • -A: принимать только zip-файлы
  • -r: recurse
  • -l 1: один уровень глубоко (т. е. только файлы, непосредственно связанных с этой страницы)
  • -nd: не создавайте структуру каталогов, просто загрузите все файлы в этот каталог.

все ответы с -k,-K,-E параметры etc, вероятно, не совсем поняли вопрос, как и для перезаписи HTML-страниц, чтобы сделать локальную структуру, переименование .php файлы и так далее. Не относящийся.

чтобы буквально получить все файлы за исключением.html etc:

wget -R html,htm,php,asp,jsp,js,py,css -r -l 1 -nd http://yoursite.com
20  
2014-11-07 00:09:25

можно попробовать:

wget --user-agent=Mozilla --content-disposition --mirror --convert-links -E -K -p http://example.com/

также вы можете добавить:

-A pdf,ps,djvu,tex,doc,docx,xls,xlsx,gz,ppt,mp4,avi,zip,rar

принять определенные расширения или отклонить только определенные расширения:

-R html,htm,asp,php

или исключить конкретные области:

-X "search*,forum*"

если файлы игнорируются для роботов (например, поисковых систем), вы должны добавить также: -e robots=off

7  
2013-12-10 14:40:47

попробуйте это. Это всегда работает для меня

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
5  
2014-09-23 05:53:16 
wget -m -A * -pk -e robots=off www.mysite.com/

это загрузит все типы файлов локально и укажет на них из файла html и он будет игнорировать роботы файл

4  
2015-09-24 23:50:50

в системах Windows, чтобы получить wget вы можете

  1. скачать программа
  2. скачать GnuWin32
3  
2014-01-26 04:21:44

это работает для меня:

wget -r -np http://yoursite.com/path/
0  
2018-06-22 15:05:46

Comments

    Ничего не найдено.
Click here to cancel reply.