python--实践--模拟浏览器（http）登录

#方法一：直接使用coookies登录，此方法须要提早在浏览器中使用帐号密码登录后，获取浏览器中的cookies，在构造的请求中携带这个cookies（缺点是有时效性）。

#方法二：经过帐号密码（From data）登录，在登录后得到其中的cookies，以后的对须要登录的页面操做，只须要携带这个cookies便可

 

 1 #如下代码是利用方法1
 2 # -*- coding: utf-8 -*-
 3 import requests;
 4 import sys;
 5 import io;
 6 #重点：标准解析库
 7 from bs4 import BeautifulSoup;
 8 sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8'); #改变标准输出的默认编码
 9 #根据cookies访问后台
10 url = 'http://域名/other/other.comment.wall.php?ac=l&id=&fid=&uid=&title=&source=0&status=0&b_time=&e_time=';
11 
12 #浏览器登陆后获得的cookie，也就是刚才复制的字符串
13 cookie_str = r'PHPSESSID=9f20c6bb676841f38aee8589aceb5c7f; username=zhonghuihong; password=XXX';
14 #把cookie字符串处理成字典，以便接下来使用
15 cookies = {};
16 for line in cookie_str.split(';'):
17 key, value = line.split('=', 1);
18 cookies[key] = value;
19 #设置请求头,直接复制便可
20 headers = {'User-agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36'};
21 疑问：请求头header是否是必需要加
22 搜罗网上的答复：
23 ①、不加，直接裸着请求url，彷佛也没有报错，本身尝试也是这样
24 ②、防止封ip，加上准没错
25 ③、禁止反扒机制，输出的text信息中会出现抱歉，没法访问等字眼，这就是禁止爬取（headers是解决requests请求反爬的方法之一，至关于咱们进去这个网页的服务器自己，伪装本身自己在爬取数据）
26 ④、做为一个良好的习惯，最好都要加上
27  
28 疑问二：请求头里面已经含有cookies,请求时是否还要重复添加一个cookies=cookies参数
29 根据本身的实践：不须要重复添加
30  
31  
32 疑问三：为何访问android端的接口基本不用提早设置header
33 header里面是手机端信息，经过手机端页面去爬不会那么容易被封（这个是询问网友来着，至今不知道缘由），根据目前实践确实不须要
34  
35  
36 #在发送get请求时带上请求头和cookies（）
37 resp = requests.get(url, headers = headers, cookies = cookies);
38 html_resp=resp.content.decode('UTF-8'); 
39 #print(resp.content.decode('utf-8'));
40 soup_string = BeautifulSoup(html_resp, 'html.parser');
41 soup_table=soup_string.find(attrs={'class':'table table-striped table-bordered table-hover'});
42 #print(soup_table);
43 soup_str=soup_table.findAll(attrs={'style':'text-align:center;vertical-align:middle;word-break:break-all; word-wrap:break-all;'});
44 print(soup_str);
45 #for soup in soup_str:
46 #print(soup.string);
47 #book_div = soup_string.find(attrs={"id":"book"})
48 #book_a = book_div.findAll(attrs={"class":"title"})
49 #for book in book_a:
50 #print book.string
51 #print(soup_string);