HttpClient

时间 2019-11-12

原文原文链接

HttpClient 是我近期想研究的东西，曾经想过的一些应用没能有很是好的实现，发现这个开源项目以后就有点眉目了，使人头痛的cookie问题仍是有办法解决滴。在网上整理了一些东西，写得很是好，寄放在这里。

HTTP 协议多是现在 Internet 上使用得最多、最重要的协议了，愈来愈多的 Java 应用程序需要直接经过 HTTP 协议来訪问网络资源。虽然在 JDK 的 java.net 包中已经提供了訪问 HTTP 协议的基本功能，但是对于大部分应用程序来讲，JDK 库自己提供的功能还不够丰富和灵活。HttpClient 是 Apache Jakarta Common 下的子项目，用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本号和建议。HttpClient 已经应用在很是多的项目中，比方 Apache Jakarta 上很是著名的另外两个开源项目 Cactus 和 HTMLUnit 都使用了 HttpClient，不少其它使用 HttpClient 的应用可以參见http://wiki.apache.org/jakarta-httpclient/HttpClientPowered。HttpClient 项目很是活跃，使用的人仍是很是多的。眼下 HttpClient 版本号是在 2005.10.11 公布的 3.0 RC4 。

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

应用HttpClient来对付各类顽固的WEBserver
php

通常的状况下咱们都是使用IE或者Navigator浏览器来訪问一个WEBserver，用来浏览页面查看信息或者提交一些数据等等。所訪问的这些页面有的仅仅是一些普通的页面，有的需要用户登陆后方可以使用，或者需要认证以及是一些经过加密方式传输，好比HTTPS。眼下咱们使用的浏览器处理这些状况都不会构成问题。只是你可能在某些时候需要经过程序来訪问这种一些页面，比方从别人的网页中“偷”一些数据；利用某些站点提供的页面来完毕某种功能，好比说咱们想知道某个手机号码的归属地而咱们本身又没有这种数据，所以仅仅好借助其它公司已有的站点来完毕这个功能，这个时候咱们需要向网页提交手机号码并从返回的页面中解析出咱们想要的数据来。假设对方仅仅是一个很是easy的页面，那咱们的程序会很是easy，本文也就没有必要大张旗鼓的在这里浪费口舌。但是考虑到一些服务受权的问题，很是多公司提供的页面每每并不是可以经过一个简单的URL就可以訪问的，而必须通过注冊而后登陆后方可以使用提供服务的页面，这个时候就涉及到COOKIE问题的处理。咱们知道眼下流行的动态网页技术好比ASP、JSP无不是经过COOKIE来处理会话信息的。为了使咱们的程序能使用别人所提供的服务页面，就要求程序首先登陆后再訪问服务页面，这过程就需要自行处理cookie，想一想当你用java.net.HttpURLConnection来完毕这些功能时是多么恐怖的事情啊！何况这仅仅是咱们所说的顽固的WEBserver中的一个很是常见的“顽固”！再有如经过HTTP来上传文件呢？不需要头疼，这些问题有了“它”就很是easy攻克了！ html

咱们不可能列举所有可能的顽固，咱们会针对几种最多见的问题进行处理。固然了，正如前面说到的，假设咱们本身使用java.net.HttpURLConnection来搞定这些问题是很是恐怖的事情，所以在開始以前咱们先要介绍一下一个开放源代码的项目，这个项目就是Apache开源组织中的httpclient，它隶属于Jakarta的commons项目，眼下的版本号是2.0RC2。commons下原本已经有一个net的子项目，但是又把httpclient单独提出来，可见httpserver的訪问绝非易事。java

Commons-httpclient项目就是专门设计来简化HTTP客户端与server进行各类通信编程。经过它可以让原来很是头疼的事情现在轻松的解决，好比你再也不管是HTTP或者HTTPS的通信方式，告诉它你想使用HTTPS方式，剩下的事情交给httpclient替你完毕。本文会针对咱们在编写HTTP客户端程序时经常碰到的几个问题进行分别介绍怎样使用httpclient来解决它们，为了让读者更快的熟悉这个项目咱们最開始先给出一个简单的样例来读取一个网页的内容，而后按部就班解决掉前进中的所有问题。apache

1．读取网页(HTTP/HTTPS)内容编程

如下是咱们给出的一个简单的样例用来訪问某个页面浏览器

/*
* Created on 2003-12-14 by Liudong
*/ 安全

package http.demo;
import java.io.IOException;
import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.methods.*; cookie

/**
*最简单的HTTP客户端,用来演示经过GET或者POST方式訪问某个页面
*@authorLiudong
*/网络

public class SimpleClient {
public static void main(String[] args) throws IOException
{
HttpClient client = new HttpClient();
// 设置代理server地址和端口 session

      //client.getHostConfiguration().setProxy("proxy_host_addr",proxy_port);
      // 使用 GET 方法，假设server需要经过 HTTPS 链接，那仅仅需要将如下 URL 中的 http 换成 https
         HttpMethodmethod=newGetMethod("http://java.sun.com");
      //使用POST方法
      //HttpMethod method = new PostMethod("http://java.sun.com");
      client.executeMethod(method);

      //打印server返回的状态
       System.out.println(method.getStatusLine());
      //打印返回的信息
      System.out.println(method.getResponseBodyAsString());
      //释放链接
      method.releaseConnection();
   }
}

在这个样例中首先建立一个HTTP客户端(HttpClient)的实例，而后选择提交的方法是GET或者POST，最后在HttpClient实例上运行提交的方法，最后从所选择的提交方法中读取server反馈回来的结果。这就是使用HttpClient的基本流程。其有用一行代码也就可以搞定整个请求的过程，很是的简单！

2．以GET或者POST方式向网页提交參数

事实上前面一个最简单的演示样例中咱们已经介绍了怎样使用GET或者POST方式来请求一个页面，本小节与之不一样的是多了提交时设定页面所需的參数，咱们知道假设是GET的请求方式，那么所有參数都直接放到页面的URL后面用问号与页面地址隔开，每个參数用&隔开，好比：http://java.sun.com/?name=liudong&mobile=123456，但是当使用POST方法时就会略微有一点点麻烦。本小节的样例演示向怎样查询手机号码所在的城市，代码例如如下：

/*
* Created on 2003-12-7 by Liudong
*/

package http.demo;
import java.io.IOException;
import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.methods.*;

/**
*提交參数演示
*该程序链接到一个用于查询手机号码所属地的页面
*以便查询号码段1330227所在的省份以及城市
*@authorLiudong
*/

public class SimpleHttpClient {
   public static void main(String[] args) throws IOException {
      HttpClient client = new HttpClient();
      client.getHostConfiguration().setHost( "www.imobile.com.cn" , 80, "http" );
      method = getPostMethod();    // 使用 POST 方式提交数据
      client.executeMethod(method);   //打印server返回的状态
      System.out.println(method.getStatusLine());   //打印结果页面
      Stringresponse=newString(method.getResponseBodyAsString().getBytes("8859_1"));

      //打印返回的信息
      System.out.println(response);
      method.releaseConnection();
   }

   /**
    * 使用 GET 方式提交数据
    *@return
    */

   privatestaticHttpMethodgetGetMethod(){
      returnnewGetMethod("/simcard.php?simcard=1330227");
   }

/**
     * 使用 POST 方式提交数据
     *@return
     */

private static HttpMethod getPostMethod(){
      PostMethod post = new PostMethod( "/simcard.php" );
      NameValuePair simcard = new NameValuePair( "simcard" , "1330227" );
      post.setRequestBody( new NameValuePair[] { simcard});
      return post;
   }
}

在上面的样例中页面http://www.imobile.com.cn/simcard.php需要一个參数是simcard，这个參数值为手机号码段，即手机号码的前七位，server会返回提交的手机号码相应的省份、城市以及其它具体信息。GET的提交方法仅仅需要在URL后增长參数信息，而POST则需要经过NameValuePair类来设置參数名称和它所相应的值。

3．处理页面重定向

在JSP/Servlet编程中response.sendRedirect方法就是使用HTTP协议中的重定向机制。它与JSP中的<jsp:forward …>的差异在于后者是在server中实现页面的跳转，也就是说应用容器载入了所要跳转的页面的内容并返回给客户端；而前者是返回一个状态码，这些状态码的可能值见下表，而后客户端读取需要跳转到的页面的URL并又一次载入新的页面。就是这样一个过程，因此咱们编程的时候就要经过HttpMethod.getStatusCode()方法推断返回值是否为下表中的某个值来推断是否需要跳转。假设已经确认需要进行页面跳转了，那么可以经过读取HTTP头中的location属性来获取新的地址。

状态码	相应 HttpServletResponse 的常量	具体描写叙述
301	SC_MOVED_PERMANENTLY	页面已经永久移到另一个新地址
302	SC_MOVED_TEMPORARILY	页面临时移动到另一个新的地址
303	SC_SEE_OTHER	客户端请求的地址必须经过另外的 URL 来訪问
307	SC_TEMPORARY_REDIRECT	同 SC_MOVED_TEMPORARILY

如下的代码片断演示怎样处理页面的重定向

client.executeMethod(post);
System.out.println(post.getStatusLine().toString());
post.releaseConnection();
// 检查是否重定向
int statuscode = post.getStatusCode();
if ((statuscode == HttpStatus.SC_MOVED_TEMPORARILY) || (statuscode == HttpStatus.SC_MOVED_PERMANENTLY) || (statuscode == HttpStatus.SC_SEE_OTHER) || (statuscode == HttpStatus.SC_TEMPORARY_REDIRECT)) {
// 读取新的 URL 地址
   Headerheader=post.getResponseHeader("location");
   if (header!=null){
      Stringnewuri=header.getValue();
      if((newuri==null)||(newuri.equals("")))
         newuri="/";
         GetMethodredirect=newGetMethod(newuri);
         client.executeMethod(redirect);
         System.out.println("Redirect:"+redirect.getStatusLine().toString());
         redirect.releaseConnection();
   }else
    System.out.println("Invalid redirect");
}

咱们可以自行编写两个JSP页面，当中一个页面用response.sendRedirect方法重定向到另一个页面用来測试上面的样例。

4．模拟输入用户名和口令进行登陆

本小节应该说是HTTP客户端编程中最常遇见的问题，很是多站点的内容都仅仅是对注冊用户可见的，这种状况下就必需要求使用正确的用户名和口令登陆成功后，方可浏览到想要的页面。因为HTTP协议是无状态的，也就是链接的有效期仅仅限于当前请求，请求内容结束后链接就关闭了。在这种状况下为了保存用户的登陆信息必须使用到Cookie机制。以JSP/Servlet为例，当浏览器请求一个JSP或者是Servlet的页面时，应用server会返回一个參数，名为jsessionid（因不一样应用server而异），值是一个较长的惟一字符串的Cookie，这个字符串值也就是当前訪问该站点的会话标识。浏览器在每訪问该站点的其它页面时候都要带上jsessionid这种Cookie信息，应用server依据读取这个会话标识来获取相应的会话信息。

对于需要用户登陆的站点，通常在用户登陆成功后会将用户资料保存在server的会话中，这样当訪问到其它的页面时候，应用server依据浏览器送上的Cookie中读取当前请求相应的会话标识以得到相应的会话信息，而后就可以推断用户资料是否存在于会话信息中，假设存在则赞成訪问页面，不然跳转到登陆页面中要求用户输入账号和口令进行登陆。这就是通常使用JSP开发站点在处理用户登陆的比較通用的方法。

这样一来，对于HTTP的客户端来说，假设要訪问一个受保护的页面时就必须模拟浏览器所作的工做，首先就是请求登陆页面，而后读取Cookie值；再次请求登陆页面并增长登陆页所需的每个參数；最后就是请求终于所需的页面。固然在除第一次请求外其它的请求都需要附带上Cookie信息以便server能推断当前请求是否已经经过验证。说了这么多，但是假设你使用httpclient的话，你甚至连一行代码都无需增长，你仅仅需要先传递登陆信息运行登陆过程，而后直接訪问想要的页面，跟訪问一个普通的页面没有不论什么差异，因为类HttpClient已经帮你作了所有该作的事情了，太棒了！如下的样例实现了这样一个訪问的过程。

/*
* Created on 2003-12-7 by Liudong
*/

package http.demo;
import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.cookie.*;
import org.apache.commons.httpclient.methods.*;

/**
* 用来演示登陆表单的演示样例
* @author Liudong
*/

public class FormLoginDemo {
   static final String LOGON_SITE = "localhost" ;
   static final int     LOGON_PORT = 8080;

   public static void main(String[] args) throws Exception{
      HttpClient client = new HttpClient();
      client.getHostConfiguration().setHost(LOGON_SITE, LOGON_PORT);

      // 模拟登陆页面 login.jsp->main.jsp
      PostMethod post = new PostMethod( "/main.jsp" );
      NameValuePair name = new NameValuePair( "name" , "ld" );
      NameValuePair pass = new NameValuePair( "password" , "ld" );
      post.setRequestBody( new NameValuePair[]{name,pass});
      int status = client.executeMethod(post);
      System.out.println(post.getResponseBodyAsString());
      post.releaseConnection();

      // 查看 cookie 信息
      CookieSpec cookiespec = CookiePolicy.getDefaultSpec();
      Cookie[] cookies = cookiespec.match(LOGON_SITE, LOGON_PORT, "/" , false , client.getState().getCookies());
      if (cookies.length == 0) {
         System.out.println( "None" );
      } else {
         for ( int i = 0; i < cookies.length; i++) {
            System.out.println(cookies[i].toString());
         }
      }

      // 訪问所需的页面 main2.jsp
      GetMethodget=newGetMethod("/main2.jsp");
      client.executeMethod(get);
      System.out.println(get.getResponseBodyAsString());
      get.releaseConnection();
   }
}

5．提交XML格式參数

提交XML格式的參数很是easy，仅仅是一个提交时候的ContentType问题，如下的样例演示从文件文件里读取XML信息并提交给server的过程，该过程可以用来測试Web服务。

import java.io.File;
import java.io.FileInputStream;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.methods.EntityEnclosingMethod;
import org.apache.commons.httpclient.methods.PostMethod;

/**
*用来演示提交XML格式数据的样例
*/

public class PostXMLClient {

   public static void main(String[] args) throws Exception {
      File input = new File(“test.xml”);
      PostMethod post = new PostMethod(“http://localhost:8080/httpclient/xml.jsp”);

      // 设置请求的内容直接从文件里读取
      post.setRequestBody( new FileInputStream(input));
      if (input.length() < Integer.MAX_VALUE)
         post.setRequestContentLength(input.length());
      else
         post.setRequestContentLength(EntityEnclosingMethod.CONTENT_LENGTH_CHUNKED);

      // 指定请求内容的类型
      post.setRequestHeader( "Content-type" , "text/xml; charset=GBK" );
      HttpClient httpclient = new HttpClient();
      int result = httpclient.executeMethod(post);
      System.out.println( "Response status code: " + result);
      System.out.println( "Response body: " );
      System.out.println(post.getResponseBodyAsString());
      post.releaseConnection();
   }
}

6．经过HTTP上传文件

httpclient使用了单独的一个HttpMethod子类来处理文件的上传，这个类就是MultipartPostMethod，该类已经封装了文件上传的细节，咱们要作的仅仅是告诉它咱们要上传文件的全路径就能够，如下的代码片断演示怎样使用这个类。

MultipartPostMethod filePost = new MultipartPostMethod(targetURL);
filePost.addParameter( "fileName" , targetFilePath);
HttpClient client = new HttpClient();

// 因为要上传的文件可能比較大 , 所以在此设置最大的链接超时时间
client.getHttpConnectionManager(). getParams().setConnectionTimeout(5000);
int status = client.executeMethod(filePost);

上面代码中，targetFilePath即为要上传的文件所在的路径。

7．訪问启用认证的页面

咱们经常会碰到这种页面，当訪问它的时候会弹出一个浏览器的对话框要求输入username与password后方可，这种用户认证的方式不一样于咱们在前面介绍的基于表单的用户身份验证。这是HTTP的认证策略，httpclient支持三种认证方式包含：基本、摘要以及NTLM认证。当中基本认证最简单、通用但也最不安全；摘要认证是在HTTP 1.1中增长的认证方式，而NTLM则是微软公司定义的而不是通用的规范，最新版本号的NTLM是比摘要认证还要安全的一种方式。

如下样例是从httpclient的CVSserver中下载的，它简单演示怎样訪问一个认证保护的页面：

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.UsernamePasswordCredentials;
import org.apache.commons.httpclient.methods.GetMethod;

public class BasicAuthenticationExample {

   public BasicAuthenticationExample() {
   }

   public static void main(String[] args) throws Exception {
      HttpClient client = new HttpClient();
      client.getState().setCredentials( "www.verisign.com" , "realm" , new UsernamePasswordCredentials( "username" , "password" ) );

      GetMethod get = new GetMethod( "https://www.verisign.com/products/index.html" );
      get.setDoAuthentication( true );
      int status = client.executeMethod( get );
      System.out.println(status+ "\n" + get.getResponseBodyAsString());
      get.releaseConnection();
   }
}

8．多线程模式下使用httpclient

多线程同一时候訪问httpclient，好比同一时候从一个站点上下载多个文件。对于同一个HttpConnection同一个时间仅仅能有一个线程訪问，为了保证多线程工做环境下不产生冲突，httpclient使用了一个多线程链接管理器的类：MultiThreadedHttpConnectionManager，要使用这个类很是easy，仅仅需要在构造HttpClient实例的时候传入就能够，代码例如如下：

MultiThreadedHttpConnectionManager connectionManager = new MultiThreadedHttpConnectionManager();

HttpClient client = new HttpClient(connectionManager);

之后虽然訪问client实例就能够。

參考资料：

httpclient首页： http://jakarta.apache.org/commons/httpclient/
关于NTLM是怎样工做： http://davenport.sourceforge.net/ntlm.html

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

HttpClient入门
http://blog.csdn.net/ambitiontan/archive/2006/01/07/572644.aspx

Jakarta Commons HttpClient 学习笔记
http://blog.csdn.net/cxl34/archive/2005/01/19/259051.aspx

Cookies,SSL，httpclient的多线程处理，HTTP方法
http://blog.csdn.net/bjbs_270/archive/2004/11/05/168233.aspx