PHP经过CURL模拟登陆并获取数据

<?php
/*经过CURL模拟登陆并获取数据
一些网站须要权限认证,必须登陆网站后,才能有效地抓取网页并采集内容,
这就须要curl来设置cookie完成模拟登陆网页,php的curl在抓取网页内容方
面效率是比较高的,并且支持多线程,而file_get_contents()效率就要稍低
些。模拟登陆的代码以下所示:
*/
function login_post($url, $cookie, $post){
$ch = curl_init(); //初始化curl模块
curl_setopt($ch, CURLOPT_URL, $url); //登陆提交的地址
curl_setopt($ch, CURLOPT_HEADER, 0); //是否显示头信息
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0); //是否自动显示返回的信息
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //设置cookie信息保存在指定的文件夹中
curl_setopt($ch, CURLOPT_POST, 1); //以POST方式提交
curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($post));//要执行的信息
curl_exec($ch); //执行CURL
curl_close($ch);
}
/*
上例中声明的函数login_post(),须要提供一个url地址,一个保存cookie文
件,以及post的数据(用户名和密码等信息),注意php自带的http_build_query()
函数能够将数组转换成相链接的字符串,若是经过该函数登陆成功后,咱们要获取
登陆成功个页面信息。声明函数的代码以下所示:
*/
function get_content($url, $cookie){
$ch = curl_init(); //初始化curl模块
curl_setopt($ch, CURLOPT_URL, $url); //登陆提交的地址
curl_setopt($ch, CURLOPT_HEADER, 0); //是否显示头信息
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //是否自动显示返回的信息
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);//设置cookie信息保存在指定的文件夹中
$rs = curl_exec($ch); //执行curl转去页面内容
curl_close($ch);
return $rs; //返回字符串
}
/*
get_content()中用curlopt_cookiefile能够读取到登陆保存的cookie信
息 最后讲页面内容返回.咱们的目的是获取到模拟登陆后的信息,也就是
只有正常登陆成功后菜能获取的有用的信息,下面举例代码
*/
$post = array(
'_username' => 'g@ydma.cn',
'_password' => '123456',
'_submit' => '登陆'
);
$url = "http://www.ydma.cn/login/check"; //登陆地址, 和原网站一致
$cookie = dirname(__FILE__).'/cookie_ydma.txt'; //设置cookie保存的路径
$url2 = "http://www.ydma.cn/course/59"; //登陆后要获取信息的地址

login_post($url, $cookie, $post); //调用模拟登陆
$content = get_content($url2, $cookie); //登陆后,调用get_content()函数获取登陆后指定的页面信息

@unlik($cookie); //删除cookie文件
file_put_contents('save.txt', $content); //保存抓取的页面内容php

相关文章
相关标签/搜索