python+正则提取+ip代理爬取糗事百科文字信息

很多网站都有反爬措施，最常见的就是封ip，请求次数过多服务器会拒绝连接，如图； 在程序中设置一个代理ip，可有效的解决这种问题，代码如下； # 需要的库 import requests import re from multiprocessing import Pool # 设置代理ip proxy = { 'https':'111.231.140.109:8888' } # 请求头 header

>>阅读原文<<