wget 是一个从网络上自动下载文件的自由工具，支持经过 HTTP、HTTPS、FTP 三个最多见的 TCP/IP协议 下载，并能够使用 HTTP 代理。"wget" 这个名称来源于 “World Wide Web” 与 “get” 的结合。docker
[root@localhost ~]# yum install -y wget [root@localhost ~]# wget -c -r -npH -k -nv http://www.baidu.com 参数说明 -c：断点续传 -r：递归下载 -np：递归下载时不搜索上层目录 -nv：显示简要信息 -nd：递归下载时不建立一层一层的目录,把全部文件下载当前文件夹中 -p：下载网页所须要的全部文件(图片,样式,js文件等) -H：当递归时是转到外部主机下载图片或连接 -k：将绝对连接转换为相对连接,这样就能够在本地脱机浏览网页了 -L: 只扩展相对链接，该参数对于抓取指定站点颇有用，能够避免向宿主主机
wget.exe -d -S -O - http://lyshark.com # 显示请求和响应的headers
wget -c -r -npH -k -nv http://lyshark.com # 爬取整个页面
--user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10"api
HTTrack是一个免费并易于使用的线下浏览器工具，全称是HTTrack Website Copier for Windows，它可以让你从互联网上下载整个网站进行线下浏览。浏览器
[root@localhost ~]# yum install -y httrack [root@localhost ~]# httrack "https://www.baidu.com" -o "/root" "+*.https://www.baidu.com*" -v
页面渲染工具网络
#安装所须要的包： yum install -y yum-utils device-mapper-persistent-data lvm2 docker pull scrapinghub/splash docker run -d -p 8050:8050 scrapinghub/splash #经过浏览器访问8050端口验证安装是否成功