linux中使用wget模拟爬虫抓取网页

如何在linux上或者是mac上简单使用爬虫或者是网页下载工具呢，常规的咱们确定是要去下载一个软件下来使用啦，可怜的这两个系统老是找不到相应的工具，这时wget出来帮助你啦!!!wget自己是拿来下载东西的，但远不止那么简单,wget是一把强大利器。

 

wget -c -r -npH -k http://www.baidu.com

　　

参数说明

-c：断点续传
-r：递归下载
-np：递归下载时不搜索上层目录
-nd：递归下载时不建立一层一层的目录,把全部文件下载当前文件夹中
-p：下载网页所须要的全部文件(图片,样式,js文件等)
-H：当递归时是转到外部主机下载图片或连接
-k：将绝对连接转换为相对连接,这样就能够在本地脱机浏览网页了
ls

而后生成了index.html文件

将index.html移动到/var/www/html/

须要提早安装httpd服务并关闭防火墙

而后打开浏览器输入目标IP