python实现post请求

今天不管如何都要留下一些什么东西。。。

能够说今天学到一个新的一个东西，也须要分享出来，给更多的人去使用。

今天爬取的数据里面是客户端向服务器端发送加密过的token和一些页码之类的一个数据。（我主要是想经过翻页获取每一页的数据，该网页是经过post去获取的请求，因此须要带一堆的嵾数才会出来数据）。

pyload={"token": "2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb","sign":"700eae16811bd1844e21c31c3ed0f5b0","page":"3","order":"0","limit":"12","map":""}

headers={'Host': 'usedcar.auto.sina.com.cn',
'Connection': 'keep-alive',
'Content-Length': '186',
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Origin': 'http://usedcar.auto.sina.com.cn',
'X-Requested-With': 'XMLHttpRequest',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.0.1471.813 Safari/537.36',
'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
'Referer': 'http://usedcar.auto.sina.com.cn/buycar/s/%E8%AF%B7%E8%BE%93%E5%85%A5%E5%93%81%E7%89%8C%E6%88%96%E8%BD%A6%E5%9E%8B',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.8',
}

d=requests.post(url,data=payload,headers=headers)

print(d)

而后服务器报错，可是同样的数据在filder里面倒是对的，这是什么缘由呢？

后来经过requests的官方文档发现，有这么一句话：

不少时候你想要发送的数据并不是编码为表单形式的。若是你传递一个 string 而不是一个 dict，那么数据会被直接发布出去。

经过抓包软件fillder去看看我在pycharm里面请求和在fillder里面请求的东西来看，最后返回来的数据的形式彻底就是不同了，因此对应正确的格式，我把其转换为string，得出结果和正确同样的，

能够正确返回的表单的值是这样子的：

{"token":"2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb","sign":"700eae16811bd1844e21c31c3ed0f5b0","page":"3","order":"0","limit":"12","map":""}

而后个人目的就是把那些参数化为输出为上面的数据那样子。

因此最后形式为如下那样子：

payload = '{"token":'+' "2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb"'+',"sign":'+'"700eae16811bd1844e21c31c3ed0f5b0"'+',"page":'+'"3"'+',"order":'+'"0"'+',"limit":'+'"12"'+',"map":'+'""'+'}'

接下来发现又是一个很尴尬的事情，服务器直接报错，504错误，开始还去找这是什么缘由，后来在网上看到是这样子说的：

wireshark抓包发现：

用reqeusts和curl发送的数据都是同样的，可是，curl有带一个header："Content-Type": "application/x-www-form-urlencoded"

看来requests也须要加上这个头：

headers = {"Content-Type": "application/x-www-form-urlencoded"}

最后我把我内容的headers换成以上headers，结果还真的是成功了。

虽然为何是那个头，我还真的不知道是什么一个的缘由 。后续知道会陆续去更新的。

 

立刻看完文档发现一个问题，就立刻来记下来，在新的版本的requests里面，除了对dict格式去编码之外，还可使用json格式直接去传递，而后它就会被自动编码。这是 2.4.2 版的新加功能：

d=requests.post(url,json=data,headers=headers)
print d
print d.text

总结：这样子是否是很简单就能够去实现了呢，而不须要转换为string之类的呢，看来东西须要不断的去发现的 。