数据下载工做笔记一：wget批量下载网页连接

对于网页上的连接，”–accept”和”–reject”参数是不会起做用的,由于他们只对文件操做起做用，只能用在目录中（例如ftp）。因此必定要用”lynx -dump”参数来代替。
$ lynx -dump ftp://ftp.xxx.com/pub/lg/ |grep gz$ |awk {print $2} > urllist
lynx的输出结果能够被各类GNU文本处理工具过虑。以”gz”结尾的地址放入urllist文件里。

写一个简单的bash脚原本自动下载这个文件里的目标文件:
$ for x in $(cat urllist)
> do
> wget $x
> done

或者 wget -i urllist