java模拟HTTP请求（集合了网上搜来的各类）

Java发送http请求 (get 与 post方法请求)

Java发送http请求 (get 与post方法请求)，如下代码经本人亲自调试可用！能够直接使用之。

注意：经过BufferedReader 读取远程返回的数据时，必须设置读取编码，不然中文会乱码！

packagecom.jiucool.www.struts.action;
 
importjava.io.BufferedReader;
importjava.io.DataOutputStream;
importjava.io.File;
importjava.io.FileReader;
importjava.io.IOException;
importjava.io.InputStreamReader;
importjava.net.HttpURLConnection;
importjava.net.URL;
importjava.net.URLEncoder;
 
publicclass post_request{
        publicstaticfinalString GET_URL="http://www.jiucool.com/request.php?key=j0r56u2";
 
publicstaticfinalString POST_URL="http://www.jiucool.com/request.php";
publicstaticvoid readContentFromGet()throwsIOException{
// 拼凑get请求的URL字串，使用URLEncoder.encode对特殊和不可见字符进行编码
String getURL = GET_URL+"&activatecode="+URLEncoder.encode("久酷博客","utf-8");
URL getUrl =newURL(getURL);
// 根据拼凑的URL，打开链接，URL.openConnection函数会根据URL的类型，
// 返回不一样的URLConnection子类的对象，这里URL是一个http，所以实际返回的是HttpURLConnection
HttpURLConnection connection =(HttpURLConnection) getUrl
.openConnection();
// 进行链接，可是实际上get request要在下一句的connection.getInputStream()函数中才会真正发到
// 服务器
connection.connect();
// 取得输入流，并使用Reader读取
BufferedReader reader =newBufferedReader(newInputStreamReader(connection.getInputStream(),"utf-8"));//设置编码,不然中文乱码
System.out.println("=============================");
System.out.println("Contents of get request");
System.out.println("=============================");
String lines;
while((lines= reader.readLine())!=null){
        //lines = new String(lines.getBytes(), "utf-8");
System.out.println(lines);
}
reader.close();
// 断开链接
connection.disconnect();
System.out.println("=============================");
System.out.println("Contents of get request ends");
System.out.println("=============================");
}
        publicstaticvoid readContentFromPost()throwsIOException{
// Post请求的url，与get不一样的是不须要带参数
URL postUrl =newURL(POST_URL);
// 打开链接
HttpURLConnection connection =(HttpURLConnection) postUrl
.openConnection();
// Output to the connection. Default is
// false, set to true because post
// method must write something to the
// connection
// 设置是否向connection输出，由于这个是post请求，参数要放在
// http正文内，所以须要设为true
connection.setDoOutput(true);
// Read from the connection. Default is true.
connection.setDoInput(true);
// Set the post method. Default is GET
connection.setRequestMethod("POST");
// Post cannot use caches
// Post 请求不能使用缓存
connection.setUseCaches(false);
// This method takes effects to
// every instances of this class.
// URLConnection.setFollowRedirects是static函数，做用于全部的URLConnection对象。
// connection.setFollowRedirects(true);
 
// This methods only
// takes effacts to this
// instance.
// URLConnection.setInstanceFollowRedirects是成员函数，仅做用于当前函数
connection.setInstanceFollowRedirects(true);
// Set the content type to urlencoded,
// because we will write
// some URL-encoded content to the
// connection. Settings above must be set before connect!
// 配置本次链接的Content-type，配置为application/x-www-form-urlencoded的
// 意思是正文是urlencoded编码过的form参数，下面咱们能够看到咱们对正文内容使用URLEncoder.encode
// 进行编码
connection.setRequestProperty("Content-Type",
"application/x-www-form-urlencoded");
// 链接，从postUrl.openConnection()至此的配置必需要在connect以前完成，
// 要注意的是connection.getOutputStream会隐含的进行connect。
connection.connect();
DataOutputStream out =newDataOutputStream(connection
.getOutputStream());
// The URL-encoded contend
// 正文，正文内容其实跟get的URL中'?'后的参数字符串一致
String content="key=j0r53nmbbd78x7m1pqml06u2&type=1&toemail=jiucool@gmail.com"+"&activatecode="+URLEncoder.encode("久酷博客","utf-8");
// DataOutputStream.writeBytes将字符串中的16位的unicode字符以8位的字符形式写道流里面
out.writeBytes(content);
out.flush();
out.close();// flush and close
BufferedReader reader =newBufferedReader(newInputStreamReader(connection.getInputStream(),"utf-8"));//设置编码,不然中文乱码
String line="";
System.out.println("=============================");
System.out.println("Contents of post request");
System.out.println("=============================");
while((line= reader.readLine())!=null){
//line = new String(line.getBytes(), "utf-8");
System.out.println(line);
}
System.out.println("=============================");
System.out.println("Contents of post request ends");
System.out.println("=============================");
reader.close();
connection.disconnect();
}
}

HttpURLConnection.connect函数，实际上只是创建了一个与服务器的tcp链接，并无实际发送http请求。不管是post仍是get，http请求实际上直到HttpURLConnection.getInputStream()这个函数里面才正式发送出去。

在readContentFromPost() 中，顺序是重中之重，对connection对象的一切配置（那一堆set函数）都必需要在connect()函数执行以前完成。而对 outputStream的写操做，又必需要在inputStream的读操做以前。这些顺序其实是由http请求的格式决定的。

http 请求实际上由两部分组成，一个是http头，全部关于这次http请求的配置都在http头里面定义，一个是正文content，在connect()函数里面，会根据HttpURLConnection对象的配置值生成http头，所以在调用connect函数以前，就必须把全部的配置准备好。

紧接着http头的是http请求的正文，正文的内容经过outputStream写入，实际上outputStream不是一个网络流，充其量是个字符串流，往里面写入的东西不会当即发送到网络，而是在流关闭后，根据输入的内容生成http正文。

至此，http请求的东西已经准备就绪。在getInputStream()函数调用的时候，就会把准备好的http请求正式发送到服务器了，而后返回一个输入流，用于读取服务器对于这次http请求的返回信息。因为http请求在getInputStream的时候已经发送出去了（包括http头和正文），所以在getInputStream()函数以后对connection对象进行设置（对http头的信息进行修改）或者写入 outputStream（对正文进行修改）都是没有意义的了，执行这些操做会致使异常的发生。

  

源文档 <http://www.jiucool.com/java-sending-http-requests-get-and-post-method-request/>

  

JAVA-用HttpClient来模拟浏览器GET,POST

七月 9, 2009 |标签 post  http   | 浏览 4808

评论 0

通常的状况下咱们都是使用IE或者Navigator浏览器来访问一个WEB服务器，用来浏览页面查看信息或者提交一些数据等等。所访问的这些页面有的仅仅是一些普通的页面，有的须要用户登陆后方可以使用，或者须要认证以及是一些经过加密方式传输，例如HTTPS。目前咱们使用的浏览器处理这些状况都不会构成问题。不过你可能在某些时候须要经过程序来访问这样的一些页面，好比从别人的网页中"偷"一些数据；利用某些站点提供的页面来完成某种功能，例如说咱们想知道某个手机号码的归属地而咱们本身又没有这样的数据，所以只好借助其余公司已有的网站来完成这个功能，这个时候咱们须要向网页提交手机号码并从返回的页面中解析出咱们想要的数据来。若是对方仅仅是一个很简单的页面，那咱们的程序会很简单，本文也就没有必要大张旗鼓的在这里浪费口舌。可是考虑到一些服务受权的问题，不少公司提供的页面每每并非能够经过一个简单的URL就能够访问的，而必须通过注册而后登陆后方可以使用提供服务的页面，这个时候就涉及到COOKIE问题的处理。咱们知道目前流行的动态网页技术例如ASP、JSP无不是经过COOKIE来处理会话信息的。为了使咱们的程序能使用别人所提供的服务页面，就要求程序首先登陆后再访问服务页面，这过程就须要自行处理cookie，想一想当你用java.net.HttpURLConnection来完成这些功能时是多么恐怖的事情啊！何况这仅仅是咱们所说的顽固的WEB服务器中的一个很常见的"顽固"！再有如经过HTTP来上传文件呢？不须要头疼，这些问题有了"它"就很容易解决了！ 

  

咱们不可能列举全部可能的顽固，咱们会针对几种最多见的问题进行处理。固然了，正如前面说到的，若是咱们本身使用java.net.HttpURLConnection来搞定这些问题是很恐怖的事情，所以在开始以前咱们先要介绍一下一个开放源码的项目，这个项目就是Apache开源组织中的httpclient，它隶属于Jakarta的commons项目，目前的版本是2.0RC2。commons下原本已经有一个net的子项目，可是又把httpclient单独提出来，可见http服务器的访问绝非易事。 

  

Commons-httpclient项目就是专门设计来简化HTTP客户端与服务器进行各类通信编程。经过它可让原来很头疼的事情如今轻松的解决，例如你再也不管是HTTP或者HTTPS的通信方式，告诉它你想使用HTTPS方式，剩下的事情交给httpclient替你完成。本文会针对咱们在编写HTTP客户端程序时常常碰到的几个问题进行分别介绍如何使用httpclient来解决它们，为了让读者更快的熟悉这个项目咱们最开始先给出一个简单的例子来读取一个网页的内容，而后按部就班解决掉前进中的全部问题。 

1．读取网页(HTTP/HTTPS)内容 

下面是咱们给出的一个简单的例子用来访问某个页面 

  

*    

 * Created on 2003-12-14 by skydong 

 */    

    

package http.demo;    

import java.io.IOException;    

import org.apache.commons.httpclient.*;    

import org.apache.commons.httpclient.methods.*;    

/** *//**   

 * 最简单的HTTP客户端,用来演示经过GET或者POST方式访问某个页面   

 * @author skydong 

 */   

public class SimpleClient ...{    

    public static void main(String[] args) throws IOException    

    ...{    

        HttpClient client = new HttpClient();       

        //设置代理服务器地址和端口         

     //client.getHostConfiguration().setProxy("proxy_host_addr",proxy_port);    

        //使用GET方法，若是服务器须要经过HTTPS链接，那只须要将下面URL中的http换成https    

        HttpMethod method = new GetMethod("http://java.sun.com";);     

        //使用POST方法    

     //HttpMethod method = new PostMethod("http://java.sun.com";);     

        client.executeMethod(method);    

        //打印服务器返回的状态    

     System.out.println(method.getStatusLine());    

       //打印返回的信息    

     System.out.println(method.getResponseBodyAsString());    

       //释放链接    

     method.releaseConnection();    

    }    

}    

  

  

在这个例子中首先建立一个HTTP客户端(HttpClient)的实例，而后选择提交的方法是GET或者POST，最后在HttpClient实例上执行提交的方法，最后从所选择的提交方法中读取服务器反馈回来的结果。这就是使用HttpClient的基本流程。其实用一行代码也就能够搞定整个请求的过程，很是的简单！ 

  

2．以GET或者POST方式向网页提交参数 

其实前面一个最简单的示例中咱们已经介绍了如何使用GET或者POST方式来请求一个页面，本小节与之不一样的是多了提交时设定页面所需的参数，咱们知道若是是GET的请求方式，那么全部参数都直接放到页面的URL后面用问号与页面地址隔开，每一个参数用&隔开，例如：http://java.sun.com?name=liudong&mobile=123456，可是当使用POST方法时就会稍微有一点点麻烦。本小节的例子演示向如何查询手机号码所在的城市，代码以下： 

  

  

*    

 * Created on 2009-7-9 by skydong    

 */    

package http.demo;    

import java.io.IOException;    

import org.apache.commons.httpclient.*;    

import org.apache.commons.httpclient.methods.*;    

/** *//**   

 * 提交参数演示   

 * 该程序链接到一个用于查询手机号码所属地的页面   

 * 以便查询号码段1330227所在的省份以及城市   

 * @author skydong  

 */   

    

public class SimpleHttpClient ...{    

    public static void main(String[] args) throws IOException    

    ...{    

        HttpClient client = new HttpClient();    

        client.getHostConfiguration().setHost("www.imobile.com.cn", 80, "http");    

        HttpMethod method = getPostMethod();//使用POST方式提交数据    

     client.executeMethod(method);    

       //打印服务器返回的状态    

     System.out.println(method.getStatusLine());    

       //打印结果页面    

    String response =   new String(method.getResponseBodyAsString().getBytes("8859_1"));    

       //打印返回的信息    

     System.out.println(response);    

        method.releaseConnection();    

    }    

    /** *//**   

     * 使用GET方式提交数据   

   * @return   

     */   

    private static HttpMethod getGetMethod()...{    

        return new GetMethod("/simcard.php?simcard=1330227");    

    }    

    /** *//**   

     * 使用POST方式提交数据   

   * @return   

     */   

    private static HttpMethod getPostMethod()...{    

        PostMethod post = new PostMethod("/simcard.php");    

        NameValuePair simcard = new NameValuePair("simcard","1330227");    

        post.setRequestBody(new NameValuePair[] ...{ simcard});    

        return post;    

    }    

}    

  

在上面的例子中页面http://www.imobile.com.cn/simcard.php须要一个参数是simcard，这个参数值为手机号码段，即手机号码的前七位，服务器会返回提交的手机号码对应的省份、城市以及其余详细信息。GET的提交方法只须要在URL后加入参数信息，而POST则须要经过NameValuePair类来设置参数名称和它所对应的值 

  

3．处理页面重定向 

  

在JSP/Servlet编程中response.sendRedirect方法就是使用HTTP协议中的重定向机制。它与JSP中的的区别在于后者是在服务器中实现页面的跳转，也就是说应用容器加载了所要跳转的页面的内容并返回给客户端；而前者是返回一个状态码，这些状态码的可能值见下表，而后客户端读取须要跳转到的页面的URL并从新加载新的页面。就是这样一个过程，因此咱们编程的时候就要经过HttpMethod.getStatusCode()方法判断返回值是否为下表中的某个值来判断是否须要跳转。若是已经确认须要进行页面跳转了，那么能够经过读取HTTP头中的location属性来获取新的地址。 

  

状态码 

对应HttpServletResponse的常量 

详细描述 

  

301 

SC_MOVED_PERMANENTLY 

页面已经永久移到另一个新地址 

  

302 

SC_MOVED_TEMPORARILY 

页面暂时移动到另一个新的地址 

  

303 

SC_SEE_OTHER 

客户端请求的地址必须经过另外的URL来访问 

  

307 

SC_TEMPORARY_REDIRECT 

同SC_MOVED_TEMPORARILY 

  

  

下面的代码片断演示如何处理页面的重定向 

  

client.executeMethod(post);    

        System.out.println(post.getStatusLine().toString());     

        post.releaseConnection();    

        //检查是否重定向    

     int statuscode = post.getStatusCode();    

        if ((statuscode == HttpStatus.SC_MOVED_TEMPORARILY) ||    

            (statuscode == HttpStatus.SC_MOVED_PERMANENTLY) ||    

            (statuscode == HttpStatus.SC_SEE_OTHER) ||    

            (statuscode == HttpStatus.SC_TEMPORARY_REDIRECT))     

        ...{//读取新的URL地址    

         Header header = post.getResponseHeader("location");    

              if (header != null) ...{    

                 String newuri = header.getValue();    

                 if ((newuri == null) || (newuri.equals("")))    

                      newuri = "/";     

               GetMethod redirect = new GetMethod(newuri);    

               client.executeMethod(redirect);    

                System.out.println("Redirect:"+ redirect.getStatusLine().toString());     

                redirect.releaseConnection();    

            } else ...{    

               System.out.println("Invalid redirect");    

        } 

  

咱们能够自行编写两个JSP页面，其中一个页面用response.sendRedirect方法重定向到另一个页面用来测试上面的例子。 

本小节应该说是HTTP客户端编程中最常遇见的问题，不少网站的内容都只是对注册用户可见的，这种状况下就必需要求使用正确的用户名和口令登陆成功后，方可浏览到想要的页面。由于HTTP协议是无状态的，也就是链接的有效期只限于当前请求，请求内容结束后链接就关闭了。在这种状况下为了保存用户的登陆信息必须使用到Cookie机制。以JSP/Servlet为例，当浏览器请求一个JSP或者是Servlet的页面时，应用服务器会返回一个参数，名为jsessionid（因不一样应用服务器而异），值是一个较长的惟一字符串的Cookie，这个字符串值也就是当前访问该站点的会话标识。浏览器在每访问该站点的其余页面时候都要带上jsessionid这样的Cookie信息，应用服务器根据读取这个会话标识来获取对应的会话信息。 

  

对于须要用户登陆的网站，通常在用户登陆成功后会将用户资料保存在服务器的会话中，这样当访问到其余的页面时候，应用服务器根据浏览器送上的Cookie中读取当前请求对应的会话标识以得到对应的会话信息，而后就能够判断用户资料是否存在于会话信息中，若是存在则容许访问页面，不然跳转到登陆页面中要求用户输入账号和口令进行登陆。这就是通常使用JSP开发网站在处理用户登陆的比较通用的方法。 

  

这样一来，对于HTTP的客户端来说，若是要访问一个受保护的页面时就必须模拟浏览器所作的工做，首先就是请求登陆页面，而后读取Cookie值；再次请求登陆页面并加入登陆页所需的每一个参数；最后就是请求最终所需的页面。固然在除第一次请求外其余的请求都须要附带上Cookie信息以便服务器能判断当前请求是否已经经过验证。说了这么多，但是若是你使用httpclient的话，你甚至连一行代码都无需增长，你只须要先传递登陆信息执行登陆过程，而后直接访问想要的页面，跟访问一个普通的页面没有任何区别，由于类HttpClient已经帮你作了全部该作的事情了，太棒了！下面的例子实现了这样一个访问的过程 

  

*    

 * Created on 2009-7-9 by skydong 

 */    

package http.demo;    

import org.apache.commons.httpclient.*;    

import org.apache.commons.httpclient.cookie.*;    

import org.apache.commons.httpclient.methods.*;    

/** *//**   

 * 用来演示登陆表单的示例   

 * @author skydong 

 */   

public class FormLoginDemo ...{    

    static final String LOGON_SITE = "localhost";    

    static final int    LOGON_PORT = 8080;    

    public static void main(String[] args) throws Exception...{    

        HttpClient client = new HttpClient();    

        client.getHostConfiguration().setHost(LOGON_SITE, LOGON_PORT);    

        //模拟登陆页面login.jsp->main.jsp    

        PostMethod post = new PostMethod("/main.jsp");    

        NameValuePair name = new NameValuePair("name", "ld");         

        NameValuePair pass = new NameValuePair("password", "ld");         

        post.setRequestBody(new NameValuePair[]...{name,pass});    

       int status = client.executeMethod(post);    

       System.out.println(post.getResponseBodyAsString());    

       post.releaseConnection();      

       //查看cookie信息    

    CookieSpec cookiespec = CookiePolicy.getDefaultSpec();    

      Cookie[] cookies = cookiespec.match(LOGON_SITE, LOGON_PORT, "/", false, client.getState().getCookies());    

       if (cookies.length == 0) ...{    

           System.out.println("None");        

       } else ...{    

           for (int i = 0; i < cookies.length; i++) ...{    

              System.out.println(cookies[i].toString());        

           }    

      }    

       //访问所需的页面main2.jsp    

        GetMethod get = new GetMethod("/main2.jsp");    

        client.executeMethod(get);    

        System.out.println(get.getResponseBodyAsString());    

        get.releaseConnection();    

    }    

}    

  

  

5．提交XML格式参数 

  

提交XML格式的参数很简单，仅仅是一个提交时候的ContentType问题，下面的例子演示从文件文件中读取XML信息并提交给服务器的过程，该过程能够用来测试Web服务。

  

import java.io.File;    

import java.io.FileInputStream;    

import org.apache.commons.httpclient.HttpClient;    

import org.apache.commons.httpclient.methods.EntityEnclosingMethod;    

import org.apache.commons.httpclient.methods.PostMethod;    

/** *//**   

 * 用来演示提交XML格式数据的例子   

 */   

public class PostXMLClient ...{    

    public static void main(String[] args) throws Exception ...{    

        File input = new File("test.xml");    

        PostMethod post = new PostMethod("http://localhost:8080/httpclient/xml.jsp");    

        // 设置请求的内容直接从文件中读取    

     post.setRequestBody(new FileInputStream(input));    

        if (input.length() < Integer.MAX_VALUE)     

           post.setRequestContentLength(input.length());    

        else               

           post.setRequestContentLength(EntityEnclosingMethod.CONTENT_LENGTH_CHUNKED);    

        // 指定请求内容的类型    

     post.setRequestHeader("Content-type", "text/xml; charset=GBK");    

        HttpClient httpclient = new HttpClient();     

        int result = httpclient.executeMethod(post);     

        System.out.println("Response status code: " + result);    

        System.out.println("Response body: ");    

        System.out.println(post.getResponseBodyAsString());    

        post.releaseConnection();    

    }    

}    

  

6．经过HTTP上传文件 

  

httpclient使用了单独的一个HttpMethod子类来处理文件的上传，这个类就是MultipartPostMethod，该类已经封装了文件上传的细节，咱们要作的仅仅是告诉它咱们要上传文件的全路径便可，下面的代码片断演示如何使用这个类。 

  

MultipartPostMethod filePost = new MultipartPostMethod(targetURL);    

filePost.addParameter("fileName", targetFilePath);    

HttpClient client = new HttpClient();    

//因为要上传的文件可能比较大,所以在此设置最大的链接超时时间    

client.getHttpConnectionManager().getParams().setConnectionTimeout(5000);    

int status = client.executeMethod(filePost);    

  

上面代码中，targetFilePath即为要上传的文件所在的路径。 

  

7．访问启用认证的页面 

  

咱们常常会碰到这样的页面，当访问它的时候会弹出一个浏览器的对话框要求输入用户名和密码后方可，这种用户认证的方式不一样于咱们在前面介绍的基于表单的用户身份验证。这是HTTP的认证策略，httpclient支持三种认证方式包括：基本、摘要以及NTLM认证。其中基本认证最简单、通用但也最不安全；摘要认证是在HTTP 1.1中加入的认证方式，而NTLM则是微软公司定义的而不是通用的规范，最新版本的NTLM是比摘要认证还要安全的一种方式。 

  

下面例子是从httpclient的CVS服务器中下载的，它简单演示如何访问一个认证保护的页面： 

import org.apache.commons.httpclient.HttpClient;    

import org.apache.commons.httpclient.UsernamePasswordCredentials;    

import org.apache.commons.httpclient.methods.GetMethod;    

public class BasicAuthenticationExample ...{    

   public BasicAuthenticationExample() ...{    

    }    

   public static void main(String[] args) throws Exception ...{    

       HttpClient client = new HttpClient();    

        client.getState().setCredentials(    

            "www.verisign.com",    

            "realm",    

            new UsernamePasswordCredentials("username", "password")    

        );    

        GetMethod get = new GetMethod("https://www.verisign.com/products/index.html";);    

        get.setDoAuthentication( true );    

        int status = client.executeMethod( get );    

        System.out.println(status+""+ get.getResponseBodyAsString());    

        get.releaseConnection();    

    }    

}   

  

8．多线程模式下使用httpclient 

  

多线程同时访问httpclient，例如同时从一个站点上下载多个文件。对于同一个HttpConnection同一个时间只能有一个线程访问，为了保证多线程工做环境下不产生冲突，httpclient使用了一个多线程链接管理器的类：MultiThreadedHttpConnectionManager，要使用这个类很简单，只须要在构造HttpClient实例的时候传入便可，代码以下： 

  

MultiThreadedHttpConnectionManager connectionManager =     

   new MultiThreadedHttpConnectionManager();    

HttpClient client = new HttpClient(connectionManager);    

  

注：因为有的网站限制，使用httpclient是要设置一下client，不然提示没有权限。。。

HttpClient client = new HttpClient();
		
		//User-Agent
		client.getParams().setParameter(HttpMethodParams.USER_AGENT,
				"Mozilla/5.0 (X11; U; Linux i686; zh-CN; rv:1.9.1.2) Gecko/20090803");