使用 wget 制作网站镜像

发表于2017-03-12   1416次阅读

Linux 下的 wget 其实非常强大,可以制作网站镜像,或者来备份你的网站,相关参数如下:

  • -r, --recursive

    递归循环下载整个站点。

  • -m, --mirror

    制作网站镜像模式。

  • --no-clobber

    避免重复现在相同文件。

  • -A, --accept=LIST

    允许下载的扩展名,逗号分隔。

  • -k, --convert-links

    让下载得到的 HTML 或 CSS 中的链接指向本地文件,只有完成下载之后才进行转换。

  • -E, --adjust-extension

    根据 content-type 类型,以合适的扩展名保存 HTML/CSS 文档。

  • -p, --page-requisites

    下载所有用于显示 HTML 页面的图片、CSS之类的元素。

  • -np, --no-parent

    不追溯至父目录,只在当前和子目录中进行抓取。不过对于一些样式文件、js文件可能都在上级目录中,使用时需要注意。

  • -w, --wait=SECONDS

    等待间隔为 SECONDS 秒。避免把对方服务器压垮。

  • --waitretry=SECONDS

    在获取文件的重试期间等待 1..SECONDS 秒。

  • --random-wait

    获取多个文件时,每次随机等待间隔。

  • -O, --output-document=file

    对下载文件进行重命名

  • -o, --output-file=FILE

    记录下载日志,并将日志信息写入 FILE。

  • -U, --user-agent=AGENT

    标识为 AGENT 而不是 Wget/VERSION。比如使用Chrome流量器的Agent “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36”,这样可以避免被对方网站。

  • -D, --domains=LIST , --exclude-domains=LIST

    逗号分隔的可接受或不可接受(--exclude-domains)的域列表。

  • --restrict-file-names=modes

    其中OS的值可以为: unix, windows, nocontrol, ascii, lowercase, and uppercase

    限定文件名中的字符为 modes 允许的字符。比如你的本地操作系统是Windows,对方服务器使用的是linux,由于操作系统的差异,有些字符在Linux下可以作为文件名的一部分,但在Window下不允许。

    比如你的本地系统是windows则用法如下方式:

    --restrict-file-names=windows

    如果你的本地系统为Linux或者MacOS,则可以使用如下方式:

    --restrict-file-names=unix
  • -c, --continue

    断点续传,如果一个站点的页面很多,建议使用该选项。

  • --connect-timeout

    请求超时时间。

  • -t, --tries=NUMBER

    设置重试次数为 NUMBER (0 代表无限制)。

  • --limit-rate

    控制下载速度,如:

    --limit-rate=100k
  • -b, --background

    按照后台模式运行,启动后转入后台。

  • -P, --directory-prefix=PREFIX

    将下载的所有文件保存在 PREFIX 目录中。

  • -R, --reject=LIST

    屏蔽某类扩展名的文件,用逗号分隔。比如不下载gif如图片:

    --reject=gif
  • --reject-regex=REGEX

    以正则表达式的方式屏蔽某些url。

  • -e robots=off

    不遵循robots协议。默认情况下wget遵循robots协议。

    关于robots协议可以参考本博客的另外一篇文章《Robots.txt 文件写法、生成、检测工具》

  • -I, --include-directories=LIST

    允许抓取的目录列表,逗号分隔,可以使用通配符“*”。

  • -X, --exclude-directories=LIST

    排除目录的列表,逗号分隔,可以使用通配符“*”。

例子:

wget
    -m  \
    -np \
    -E  \
    -k  \
    -c  \
    -r  \
    --directory-prefix=/tmp/pagespeed_doc \
    -e robots=off \
    --random-wait \
    --restrict-file-names=unix  \
    --domains=developers.google.com \
    --include-directories=speed/ \
    --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36" \
    --output-file=/tmp/developers.google.com.log \
    "https://developers.google.com/speed/pagespeed/module/"

下载过程中查看下载日志:

下载完成后,查看 /tmp/pagespeed_doc 中的内容如下:

本例的镜像页面可以点击这里来访问。

注意:wget 不支持 socks 代理,如需走代理请和 tsocks 配套使用,tsocks 的安装参见本博客的另外一篇文章《 Mac 下安装 tsocks 前置代理工具 》

另外,wget 对 gzip 压缩的 css 文件支持的不好,不能自动解压,需要手动解压,比如:

$ wget https://developers.google.com/_static/254aea64a1/css/devsite-google-blue.css
$ file devsite-google-blue.css
devsite-google-blue.css: gzip compressed data, max compression

直接 cat devsite-google-blue.css 会显示乱码。

多线程下载

axel

wget 不支持多线程下载,对于较大文件 wget 有时候显得力不从心。axel 可以解决这个问题。axel 的安装方法如下:

$ wget -O axel.zip https://github.com/angelj-a/axel/archive/master.zip

$ unzip axel.zip

$ cd axel-master/

$ sudo ./configure 
Configuration done:
  Internationalization enabled.
  Debugging disabled.
  Binary stripping enabled.

$ sudo make
$ sudo make install

用法

$ axel -v -a -n 10 http://github.com/naver/pinpoint/archive/1.6.0.zip

mytget

myget 是另外一个Linux下的多线程下载工具。

安装

$ wget http://myget.sourceforge.net/release/myget-0.1.2.tar.gz
$ tar -zxvf myget-0.1.2.tar.gz
$ cd myget-0.1.2
$ sudo ./configure
$ sudo make
$ make install

用法:

$sudo mytget -n 5 http://github.com/naver/pinpoint/archive/1.6.0.zip
Redirect to: https://github.com/naver/pinpoint/archive/1.6.0.zip
Redirect to: https://codeload.github.com/naver/pinpoint/zip/1.6.0
Begin to download: pinpoint-1.6.0.zip
Filesize:  29M
  1% [>                           ] [307K] [  0B/s] [ETA:--:--