Windows版Wget
Wget:从WWW检索文件
描述(说明)
gnuwget是一个免费的网络实用程序,可以使用HTTP和FTP这两种最广泛使用的互联网协议从万维网上检索文件。它以非交互方式工作,因此可以在注销后在后台工作。
支持对HTML页面和FTP站点的递归检索——您可以使用Wget制作归档文件和主页的镜像,或者像WWW机器人一样遍历web(Wget理解)/机器人.txt).
Wget在慢速或不稳定的连接上工作得非常好,它一直在获取文档,直到它被完全检索到为止。在支持它的服务器(HTTP和FTP)上,从停止位置重新获取文件是可行的。通过FTP检索时,可以使用通配符匹配和目录的递归镜像。HTTP和FTP检索都可以有时间戳,因此Wget可以查看远程文件自上次检索以来是否发生了更改,并自动检索新版本(如果有)。
Wget支持代理服务器,可以减轻网络负载,加快检索速度,并提供防火墙后的访问。如果您位于需要使用socks样式网关的防火墙后面,那么可以获得socks库并编译wget,并支持socks。
大多数特性都是可配置的,可以通过命令行选项,也可以通过初始化文件.wgetrc进行配置。Wget允许您为站点设置安装全局启动文件(默认为etc/wgetrc)。
1、windows上如何安装wget
下载网址:http://gnuwin32.sourceforge.net/packages/wget.htm
下载地址:http://downloads.sourceforge.net/gnuwin32/wget-1.11.4-1-src-setup.exe
下载可能会比较慢,请耐心等待,如果下载失败,请重新尝试。
下载后直接双击安装
下一步下一步,选择安装目录
安装完成
安装完成查看版本(命令行下):vget -V(大写v)
如果出现找不到命令,请配置环境变量
我的电脑邮件属性,系统环境变量,选择新建
GNU_HOME=D:\Program Files (x86)\GnuWin32
path添加
;%GNU_HOME%\bin(如果是windwos7前面添加分号)
使用vget下载整站
用wget下载东西很方便,会自动重连并断点续传。
经常要下载一个网站或网站的某个目录。
下载一个目录,例如下载网站www.demo.com/目录demo下的所有内容
命令如下:
wget -r -p -k -np -nc -e robots=off http://www.demo.com/demo/
如果要想下载整个网站,最好去除-np参数。
wget -r -p -k -nc -e robots=off http://www.demo.com/demo/
-r 递归;对于HTTP主机,wget首先下载URL指定的文件,然后(如果该文件是一个HTML文档的话)递归下载该文件所引用(超级连接)的所有文件(递 归深度由参数-l指定)。
对FTP主机,该参数意味着要下载URL指定的目录中的所有文件,递归方法与HTTP主机类似。
-c 指定断点续传功能。
实际上,wget默认具有断点续传功能,只有当你使用别的ftp工具下载了某一文件的一部分,并希望wget接着完成此工作的时候,才 需要指定此参数。
-nc 不下载已经存在的文件
-np 表示不追溯至父目录,不跟随链接,只下载指定目录及子目录里的东西
-p 下载页面显示所需的所有文件。比如页面中包含了图片,但是图片并不在/yourdir目录中,而在/images目录下,有此参数,图片依然会被正常下 载。
-k 修复下载文件中的绝对连接为相对连接,这样方便本地阅读。
-o down.log 记录日记到down.log
-e robots=off 忽略robots.txt
例子:
wget -r -p -np -k http://www.demo.com/
wget -T 5 -t 10 -Q 500m -nH -r -E -l inf -k -p -np 'http://www.demo.com/'
发表评论 取消回复