爬虫学习日记（八）

维护WHLCCrawler：

这个爬虫以前跑不通的缘由：
1.以前的做者写的工具类，里面的重定向出现了问题，没有重定向成功。
解决方案：
我从新声明一个httpclient，不过用的仍是defaultHttpclient的方式，这个方式早已通过时了，可是我须要他前面操做而后获取他的cookie，用最新的方式的话，所有都要大改，因此我就跟着他先用着过期的方法，把以前进行操做的cookie放进去。放进去之后，手动完成重定向，他返回302状态后，在返回的response中取出header，在header中取出location，把location当作新的url了，用以前的parma再从新访问一遍，若是返回的是301则重复上诉操做。

HttpResponse res = client.execute(post);
				int status = res.getStatusLine().getStatusCode();
				if(res.getStatusLine().getStatusCode() == HttpStatus.SC_MOVED_TEMPORARILY){
					Header[] header ;
					header = res.getHeaders("Location");
					String location = header[0].getValue();
					HttpPost post2 = new HttpPost(location);
					post2.setEntity(entity);
					DefaultHttpClient client2 = httpClientProxy.generateClient();
					client2.setCookieStore(httpClientProxy.getCookieStore());
					HttpResponse res2 = client2.execute(post2);
					int status2 = res2.getStatusLine().getStatusCode();
					
					if(res2.getStatusLine().getStatusCode() == HttpStatus.SC_MOVED_PERMANENTLY){
						Header[] header2 ;
						header2 = res2.getHeaders("Location");
						String location2 = header2[0].getValue();
						HttpPost post3 = new HttpPost(location2);
						post3.setEntity(entity);
						DefaultHttpClient client3 = httpClientProxy.generateClient();
						client3.setCookieStore(httpClientProxy.getCookieStore());
						HttpResponse res3 = client3.execute(post3);
						int status3 = res3.getStatusLine().getStatusCode();
						routeScheduleResponse = EntityUtils.toString(res3.getEntity());
						System.out.print(routeScheduleResponse);
					}	
				}
复制代码

2.返回的response是乱码
解决方案：观察response header里面，他的contenttype是gzip，就说明了网站把数据进行了压缩，咱们获取到是压缩过得数据，想要得到正确的数据，就必须解码，解码成utf-8。由于原做者是直接返回的String，因此我在他原工具类里面，添加了一个判断，判断header里面的contenttype是否为gzip，是的话，就进行转码，不是的话，也不影响以前的功能。
转码实现方式：由于返回来的是String，先用inputStream输入流来接收他，再传进去gzip输入流。

InputStream in = response.getEntity().getContent();
	    			 GZIPInputStream gzin = new GZIPInputStream(in);
	    			 InputStreamReader isr = new InputStreamReader(gzin,"utf-8");
	    			 StringBuilder buffer = new StringBuilder();
    		         BufferedReader reader = null;
    		         reader = new BufferedReader(isr);
    		         String line = null;
    		         while ((line = reader.readLine()) != null) {
    		             buffer.append(line + "\n");
    		        }
    		        reader.close();
    		        body = buffer.toString();
复制代码

3.特定的por和特定的fnd不能返回正确的结果 解决方案：由于这个爬虫以前的逻辑是，模拟输入出发国家，模拟输入出发城市，再模拟目的国家，而后把进行完这些操做的cookie传给要进行submit操做的client就能返回正确的结果。而当进行模拟输出出发国家时，他会返回默认的出发国家，若是咱们恰好给的数据就是这个默认的国家的话，就不用进行模拟出发城市的操做，而我以前是进行的，可能这个cookie就是错的，他往下面执行，就不能获取正确的结果。
因此我在进行模拟输入出发城市的时候，会获取默认城市，跟我要搜索的城市进行比较。

private boolean checkFromCity(String response,String fromCity) {
		// TODO Auto-generated method stub
		Parser parser;
		try {
			parser = Parser.createParser(new String(response.getBytes(), encode_UTF8), encode_UTF8);
			parser.setEncoding(parser.getEncoding());
			String defaultOption = parserOptionNode(parser, CSS_OPTION_SELECTED, ATTRIBUTE_VALUE);
			if(defaultOption.equals(fromCity)){
				return true;
			}else{
				return false;
			}
		} catch (UnsupportedEncodingException e) {
			throw new UnRetriableException(RoboticsException.TYPE_UNKNOWN, "parser defaultOption from search index page meet encoding error!", e);
		} catch (ParserException e) {
			throw new UnRetriableException(RoboticsException.TYPE_UNKNOWN, "parser defaultOption from search index page meet parser error!", e);
		}
	}

	private String parserOptionNode(Parser parser, String css, String attribute) throws ParserException {
		// TODO Auto-generated method stub
		NodeList searchResultNodes = extractNodesByCss(parser, css);
		if (null == searchResultNodes || searchResultNodes.size() < 1) {
			throw new RetriableException(RoboticsException.TYPE_UNEXPECTED_RESPONSE, "Can not get " + css + " element from route search page!", null);
		}
		OptionTag inputTag = (OptionTag) searchResultNodes.elementAt(1);
		String value = inputTag.getAttribute(attribute);
		return value;
	}
	private NodeList extractNodesByCss(Parser parser, String css) throws ParserException {
		parser.reset();
		CssSelectorNodeFilter searchResultFilter = new CssSelectorNodeFilter(css);
		NodeList searchResultNodes = parser.extractAllNodesThatMatch(searchResultFilter);
		return searchResultNodes;
	}
复制代码

这里学到一个很重要的东西，怎么把页面转成可解析的html而后根据css的值来取value。
首先把response转成parse，parse是一个HTML解析器。CssSelectorNodeFilter searchResultFilter = new CssSelectorNodeFilter(css);這一句至关于设置一个过滤，NodeList searchResultNodes = parser.extractAllNodesThatMatch(searchResultFilter);而后装载，把符合条件的的节点放在NodeList中。而后我要的节点在索引1的位置，取出索引1的的值，我取得节点标签是option，就用optionTag来接收，而后用.getAttribute(attribute);来获取这个节点里面的值，我要获取的是他的value，因此atribute的值是value。