定时抓取网页链接,提取网页内容,存入数据库

 

流程

1. 提供要抓取的网页地址（列表）
   
2. 提取网页列表中目标全部LINK
   
3. 抓取LINK中的全部网页(爬虫)
   
4. 解析正文内容
   
5. 存入数据库
   

1、抓取任务（主程序）

1. package com.test;
3. import java.text.SimpleDateFormat;
4. import java.util.Date;
5. import java.util.List;
9. public class CatchJob {
10.     
11.     public String catchJob(String url){
12.         
13.         String document= null;
14.         List allLinks = null;
15.         try {
16.             
17. //          获取网页内容 
18.             document = ExtractPage.getContentByUrl(url);
19. //          获取页面指定内容的Link
20.             allLinks = ExtractPage.getLinksByConditions(document, "http://www.free9.net/others/gift/");
21.             if(allLinks!=null&&!allLinks.isEmpty()){
22.                 for(int i=0;i<allLinks.size();i++){
23.                     String link = (String)allLinks.get(i);
24.                     String content = ExtractPage.getContentByUrl(link);
25.                     ExtractPage.readByHtml(content);
26.                 }           
27.             }
28.             
29.         } catch (Exception e) {
30.             // TODO Auto-generated catch block
31.             e.printStackTrace();
32.         }
33.         
34.         
35.         return "success";
36.         
37.         
38.     }
39.     
40.     
41.     
42.     
43.     
44.        
45.      
46.         public static void main(String[] args){
47.             Long startTime = System.currentTimeMillis();
48.             System.out.println(">>start.......");
49.             String   httpProxyHost   =   "211.167.0.131";//default   http   proxy   
50.             String   httpProxyPort   =   "80"; //default   http   port   
51.             System.getProperties().setProperty( "http.proxyHost", httpProxyHost);
52.             System.getProperties().setProperty( "http.proxyPort", httpProxyPort);
53.             CatchJob job = new CatchJob();
54.             //System.out.println(job.catchJob("http://www.free9.net/others/gift/2008-12-09/12288046534312.htm"));
55.             System.out.println(job.catchJob("http://www.free9.net/others/gift/"));
56.             Date   date   =   new   Date(System.currentTimeMillis()-startTime);
57.             SimpleDateFormat   sdf   =   new   SimpleDateFormat("HH:mm:ss "); 
58.             String   s   =   sdf.format(date); 
59.             System.out.println(">>end.......USE"+s+"秒");
60.         }
62. }

2、抓取网页内容，并解析

1. package com.test;
3. import java.io.BufferedReader;
4. import java.io.IOException;
5. import java.io.InputStreamReader;
6. import java.net.HttpURLConnection;
7. import java.net.MalformedURLException;
8. import java.net.URL;
9. import java.util.ArrayList;
10. import java.util.List;
12. import org.htmlparser.Node;
13. import org.htmlparser.NodeFilter;
14. import org.htmlparser.Parser;
15. import org.htmlparser.filters.NodeClassFilter;
16. import org.htmlparser.filters.OrFilter;
17. import org.htmlparser.tags.Div;
18. import org.htmlparser.tags.LinkTag;
19. import org.htmlparser.tags.TitleTag;
20. import org.htmlparser.util.NodeList;
21. import org.htmlparser.util.ParserException;
23. public class ExtractPage {
24.     
25.     //抓取页面内容
26.     public static String getContentByUrl(String url){
27.         System.out.println("**********抓取页面内容***********");
28.         StringBuffer document= null;
29.         URL targetUrl;
30.         try {
31.             targetUrl = new URL(url);
32.             HttpURLConnection con = (HttpURLConnection) targetUrl.openConnection();
33.             con.setFollowRedirects(true);
34.             con.setInstanceFollowRedirects(false);
35.             con.connect();
36.             
37.             BufferedReader br = new BufferedReader(new InputStreamReader(con.getInputStream(),"gb2312"));
38.             String s = "";
39.             document= new StringBuffer();
40.             while ((s = br.readLine()) != null) {
42.                 document.append(s+"\r\n");
44.             }
45.             s=null;
46.             br.close();
47.             return document.toString();
48.             
49.         } catch (MalformedURLException e) {
50.             // TODO Auto-generated catch block
51.             e.printStackTrace();
52.         } catch (IOException e) {
53.             // TODO Auto-generated catch block
54.             e.printStackTrace();
55.         }
56.         return null;
57.         
58.     }
59.     
60.     
61. //  按页面方式处理.解析标准的html页面
62.      public static void readByHtml(String result) throws Exception
63.         {
64.          System.out.println("**********按页面方式处理.解析标准的html页面***********");
65.             Parser parser;
66.             NodeList nodelist;
67.             parser = Parser.createParser(result, "utf8");
68.             NodeFilter textFilter = new NodeClassFilter(Div.class);
69.             //NodeFilter linkFilter = new NodeClassFilter(LinkTag.class);
70.             NodeFilter titleFilter = new NodeClassFilter(TitleTag.class);
71.             OrFilter lastFilter = new OrFilter();
72.             lastFilter.setPredicates(new NodeFilter[] { textFilter,titleFilter});
73.             nodelist = parser.parse(lastFilter);
74.             Node[] nodes = nodelist.toNodeArray();
75.             StringBuffer page = new StringBuffer();
76.             String id = "";
77.             for (int i = 0; i < nodes.length; i++) {
78.                 Node node = nodes[i];
79.                 if (node instanceof Div) {
80.                     Div textnode = (Div) node;
81.                     id = textnode.getAttribute("id");
82.                    if ("Zoom".equals(id)) {
83.                     //System.out.println(textnode.getChild(5).toHtml());
84.                     page.append(textnode.getChild(5).toHtml().toString());
85.                     page.append(textnode.getChild(6).toHtml().toString());
86.                    }
87.                 }else if (node instanceof TitleTag) {
88.                     TitleTag titlenode = (TitleTag) node;
89.                     page.append(titlenode.getTitle().substring(0, titlenode.getTitle().indexOf("|")));
90.                 }
91.                 /*
92.                 else if (node instanceof LinkTag) {
93.                     LinkTag link = (LinkTag) node;
94.                     line = link.getLink();
95.                 } else if (node instanceof TitleTag) {
96.                     TitleTag titlenode = (TitleTag) node;
97.                     line = titlenode.getTitle();
98.                 }
99.                 */
100.                 //if (isTrimEmpty(line))
101.                     //continue;
102.                 
103.             }
104.             System.out.println(page.toString());
105.       
106.         }
107.      
108.      //获取页面指定内容的Link
109.      public static List getLinksByConditions(String result,String coditions){
110.          System.out.println("**********//获取页面指定内容的Link***********");
111.          List links = null;
112.          Parser parser;
113.          NodeList nodelist;
114.          parser = Parser.createParser(result, "utf8");
115.          NodeFilter linkFilter = new NodeClassFilter(LinkTag.class);
116.          try {
117.             links =  new ArrayList();
118.             nodelist = parser.parse(linkFilter);
119.             Node[] nodes = nodelist.toNodeArray();
120.              for (int i = 0; i < nodes.length; i++) {
121.                     Node node = nodes[i];
122.                     if (node instanceof LinkTag) {
123.                         LinkTag link = (LinkTag) node;
124.                         if(link.toHtml().indexOf(coditions)!=-1&&link.toHtml().indexOf("index")==-1&&link.toHtml().indexOf(".htm")!=-1){
125.                             System.out.println(link.toHtml());
126.                             links.add(link.getLink());
127.                         }
128.                        
129.                     }
130.                     
131.                     //if (isTrimEmpty(line))
132.                         //continue;
133.                     
134.              }
135.             
136.             
137.         } catch (ParserException e) {
138.             // TODO Auto-generated catch block
139.             e.printStackTrace();
140.         }
141.          
142.          
143.         return links;
144.          
145.      }
147. }

 

出处：[url]http://blog.csdn.net/JUDYLOVELD/archive/2008/12/08/3477222.aspx[/url]