WGET下载https连接及WGET命令的详解

使用wget下载https连接：
# wget -r -np -nd --accept=gz --no-check-certificate https://www.xxx.com/dir/ --http-user=username --http-password=password
下载'dir'目录下的全部gz文件
-np 没有父目录
-nd 不要构建本地目录结构
--accept=gz 只下载gz文件

HTTPS (SSL/TLS) Options（HTTPS (SSL) 参数选项）
--certificate=file
可选的客户段端证书
--private-key=file    
对此证书可选的“密钥文档”
--private-key-type=type
对此证书可选的“密钥类型“
--egd-file=file
EGD socket 文档名
--ca-directory=directory    
CA 散列表所在的目录
--ca-certificate=file    
包含 CA 的文档
--certificate-type=[ PEM（默认），DER ]    
Client-Cert 类型：PEM，DER
--no-check-certificate    
不用检查服务器的证书
--secure-protocol=[ auto，SSLv2，SSLv3，TLSv1 ]    
选择 SSL 协议：auto，SSLv2，SSLv3，TLSv1

FTP Options（FTP参数选项）
--ftp-user    
登陆ftp的用户名（注意：最好方法是在.netrc或.wgetrc文件中定义）
--ftp-password
登陆ftp的密码（注意：最好方法是在.netrc或.wgetrc文件中定义）
--no-remove-listing    
不删除“.listing” 文档
--no-glob    
关闭全部通配符的ftp文档名
--no-passive-ftp    
禁用“被动”传输模式
--retr-symlinks    
在递归模式中，下载连接所指示的文档（排除链接目录的）

1. 下载单个文件
wget url + filename
下载过程当中能够看到四项信息
已经下载的比例，已经下载的大小，当前的下载速度，剩余的时间
2. 使用一个大写O作参数表示另存为
wget -O save_name url
这种方法适用于对应连接中没有显式文件名的状况。
3. 指定下载速率
wget --limit-rate
wget -limit-rate=200k url + filename
4. 断点下载
wget -c完成未完成的下载
下载一半时能够停下来，ctrl+c停顿，继续下载能够加入一个-c参数。
注意：若是不加入-c，那么下载的文件会多出一个.1的后缀。
5. 后台下载
加上一个-b参数
wget -b url/filename为后台下载，下载通过写入到wget-log文件中。
用tail -f wget-log查看下载日志
6. 模拟在浏览器下下载
有的网站不容许客户在非浏览器环境下下载。使用--user-agent来设置
wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD
7. 测试下载连接
方法:使用--spider
试图作计划下载时候，须要先检查一下下载连接是否有效。
wget --spider DOWNLOAD-URL
若是返回OK，则表示下载连接是正确的
八、增长尝试次数
方法：--tries=1000
若是网速有问题，下载大文件的时候可能会发生错误，
默认wget尝试20次连接。
若是尝试75次，能够
wget --tires=75 DOWNLOAD-URL
九、下载多个文件使用wget -i
将多个下载连接写入到一个download-file-list.txt文件中，然后用
wget -i download-file-list.txt
十、下载整站
方法：用--mirror参数
当你要下载一个完整站点并实现本地浏览的时候，
wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
参数讲解：
--mirror：设置这个参数用来创建本地镜像
-p：下载全部html文件适合显示的元素
--convert-links：下载完成后，将文档连接都转换成本地的
-P ./LOCAL-DIR：保存全部的文件和目录到指定文件夹下
十一、下载时候禁止下载指定类型的文件
例以下载站点时候，不打算下载gif动画图片。
wget --reject=gif WEBSITE-TO-BE-DOWNLOADED
十二、记录下载日志
方法：使用小写字母o
wget -o xx.html.log -O xx.html "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"
检查一下日志：
[root@localhost opt]# cat xx.html.log
--2010-07-12 11:57:22-- http://ip138.com/ips.asp?ip=58.251.193.137&action=2
正在解析主机 ip138.com... 221.5.47.136
Connecting to ip138.com|221.5.47.136|:80... 已链接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：7817 (7.6K) [text/html]
Saving to: `xx.html'
0K ....... 100% 65.5K=0.1s
2010-07-12 11:57:22 (65.5 KB/s) - `xx.html' saved [7817/7817]
1三、是第9条的加强版。能够限制下载容量
wget -Q5m -i FILE-WHICH-HAS-URLS
当下载的文件达到5兆的时候，中止下载。
注意：若是不是对一个文件下载连接清单，对单个文件，这个限制不会生效的。
1四、和第11条正好相反，
这条技巧是讲述如何仅仅下载指定类型的文件
从一个网站中下载全部的pdf文件
wget -r -A.pdf http://url-to-webpage-with-pdfs/
1五、使用wget完成ftp下载
匿名ftp下载相似于http下载
wget ftp-url便可。
若是是须要输入用户名和密码，则是
wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL