静态网页抓取，动态网页抓取，模拟登陆的注意事项和心得

最近更新：2013-07-03 背景 之前，对于折腾，静态或动态的网页抓取，模拟登陆，也算有些时日了。 在此期间，遇到很多问题，也都基本上靠自己慢慢的解决了。 此处，把其中相对常见和通用的问题或者是注意事项， 再加上一些心得，在此整理出来，供参考： 网页抓取和模拟登陆的注意事项和心得 如果不加User-Agent，则有些网址的访问，会被禁止的 此点，之前别的很多人已总结过了。 此处，还是再啰嗦一遍

>>阅读原文<<