Java版 QQ空间自动登陆无需拷贝cookie一天抓取30WQQ说说数据&流程分析

QQ空间说说抓取难度比较大，花了一个星期才研究清楚！

 代码请移步到GitHub GitHub地址:https://github.com/20100507/Qzone 【没有加入多线程,但愿你能够参与进来加入多线程不过 单个QQ请求频率不能够过高  过多的线程就须要 更多的QQ小号轮流登陆】 不要忘了点一个赞 哈哈哈~~       

1. 截图看一看效果:

      1.1抓取执行过程:         

     1.2 部分数据截图:

 

1.3 每个说说的具体内容

 1.4 70W说说数据文件大小:

        

 

2.接下来分析整个执行的流程

  2.1代码结构图【项目是采用Maven构建】：

       

   简单的说一下整个代码的结构：

1. QQBean         是对QQ密码和帐号的简单的一个封装，
2. VerifyCode      提取验证码的【若是你的QQ号码是异地登陆就须要输入验证码或者腾讯检测到你不安全】
3. QzoneEncrypt 加密 俩个重要的参数 一个是加密QQ密码【腾讯在传输密码是作得很安全】，一个是加密g_tk,这个在获取说说时必须携带
4. GetQQByProperties  读取num.properties文件中的QQ帐号和密码
5. KeyWord   对QQ帐号密码 和关键参数的一个提取
6. Login 使用加密后的密码和QQ帐号 登陆 获取相关重要的cookie 
7. InputNameAndPwd 在login基础上再次调用其余登陆接口直到真正登陆到日常打开的QQ空间好友动态页面从页面中提取到 g_qzonetoken
8. GetMsgBoard 获取QQ用户留言
9. GetQNum 获取你的好友的列表
10. GetShuoShuoData 获取说说数据
11. login.js 是网上的一位高人,提取加密QQ密码的js精华
12. entry.js是对g_tk的加密的获取
13. num.properties 是存放QQ和密码的地方 若是你真的想保存数据的话 你最好放上6个无须验证码登陆的QQ小号 就临时注册几个就完事了，切记必定不要使用一个，不然封号了就吉吉了。

   2.2Visio分析流程

      

 

    上面的Vsio的图，和代码中基本上都对应了，对于保存留言也很简单，换一个路径就好，全部的必要参数和cookie都已经拿到。若是想要保存一我的全部的QQ说说数据，切换分页的参数便可，but，个人代码中没有加入分页，仅仅保存每一个QQ用户的首页的说说数据，懒得弄了，就是那么回事，就是在研究参数和cookie真的很费劲！！！！

 2.3 测试代码中 请注意:

    1. 注意我写的 try-catch，以前程序没有使用try-catch，程序在执行中 ，会因为网络缘由抛出异常 ，若是抛给了虚拟机 ，JVM就中止，程序就挂了，干脆我就catch异常，若是catch到异常，我就在递归再次调用你，防止网络缘由，致使程序极容易中止。

    2.注意一点，个人在  %25 ，也就是轮询QQ号登录，每一个QQ号采集25个用户我就从新换其余的QQ用户登陆，num.properties中的QQ数量越多越好【封号率越低】，%多少看本身的喜爱！

    

 1 package qzone_enter;
 2 
 3 import java.io.IOException;
 4 import java.util.List;
 5 
 6 import org.bianqi.enter.bean.QQBean;
 7 import org.bianqi.enter.key.GetQQByProperties;
 8 import org.bianqi.enter.key.KeyWord;
 9 import org.bianqi.enter.login.InputNameAndPwd;
10 import org.bianqi.getdata.GetShuoShuoData;
11 
12 public class GetMyShuoShuo {
13 
14     public static List<QQBean> listQQ = null;
15     public static int k = 0;
16     
17     static {
18         try {
19             listQQ = GetQQByProperties.getQQNumAndPwd();
20             KeyWord.uin = listQQ.get(k).getNum();
21             KeyWord.password = listQQ.get(k).getPwd();
22             System.out.println("初始化"+KeyWord.uin+"登陆~~~~~~~~~~~~~");
23             InputNameAndPwd.login();
24         } catch (IOException e) {
25             e.printStackTrace();
26         }
27     }
28 
29     public static void getShuoshuoDemo(long i, long j) throws Exception {
30         try {
31             for (; i <= j; i++) {
32                 if (i % 25 == 0) {
33                     if (k == listQQ.size()) {
34                         k = 0;
35                     }
36                     KeyWord.uin = listQQ.get(k).getNum();
37                     KeyWord.password = listQQ.get(k).getPwd();
38                     System.out.println("切换到"+KeyWord.uin+"登陆");
39                     InputNameAndPwd.login();
40                     k++;
41                 }
42                 GetShuoShuoData.getShuoData(Long.toString(i));
43                 System.out.println(KeyWord.uin+"正在采集==============QQ用户" + i + "数据=======================");
44             }
45         } catch (Exception e) {
46             e.printStackTrace();
47             GetMyShuoShuo.getShuoshuo(i, j);
48         }
49     }
50 
51     public static void getShuoshuo(long i, long j) throws Exception {
52         try {
53             for (; i <= j; i++) {
54                 if (i % 25 == 0) {
55                     if (k == listQQ.size()) {
56                         k = 0;
57                     }
58                     KeyWord.uin = listQQ.get(k).getNum();
59                     KeyWord.password = listQQ.get(k).getPwd();
60                     System.out.println("切换到"+KeyWord.uin+"登陆");
61                     InputNameAndPwd.login();
62                     k++;
63                 }
64                 GetShuoShuoData.getShuoData(Long.toString(i));
65                 System.out.println(KeyWord.uin+"正在采集==============QQ用户" + i + "数据=======================");
66             }
67         } catch (Exception e) {
68             e.printStackTrace();
69             GetMyShuoShuo.getShuoshuoDemo(i, j);
70         }
71     }
72 
73     public static void main(String[] args) throws Exception {
74         // 开始QQ号 结束QQ号
75         long i = 669424;
76         long j = 2000000000;
77         getShuoshuo(i, j);
78     }
79 }

 

 3.1总结

                   就目前来看，个人网速可能不是很好，可是一天依然能够保存30W说说数据，可是有时候程序也会假死，也许是网络很差。

                   还有，有时候 莫名的须要你输入验证码，没有办法你就在浏览器输入这个QQ帐号密码，手动多输入几回验证码，他就通常不会检测了。不在须要验证码

                  PS【验证码须要打码平台 可是我没有整，but 须要money哦~还有 ， 验证码图片会自动保存到项目路径下可是，手动输入验证码目前程序也不经过，能够修复的帮我修                     复一下 谢谢~~~】

                 num.properties中 QQ号码低于12个也有可能封号，再次强调QQ小号必定要多，让他检测不出你是爬虫。若是你就一个QQ号就不要尝试玩 ，封号不要怪我！

                  没有采用多线程技术，一个缘由我也没有那么多的QQ小号。若是每个QQ访问频率过高就会封号！！

                  记得在GitHub点一个赞！哈哈哈