百度AI开放平台- API实战调用

时间 2019-11-10

标签百度开放平台 api 实战调用繁體版

原文原文链接

百度AI开放平台- API实战调用php

1、前言html

首先说一下项目需求。算法

两个用户，分别上传了两段不一样的文字，要计算两段文字类似度有多少，匹配数据库中的符合条件的数据，初步估计列出来会有60-100条左右，不会更多，只会更少。最终的需求是：从这些匹配结果中找到类似度较高的那些条目。数据库

本身编写算法来实现是一个很大的工程，涉及到天然语言处理的一些方面，比较复杂。因而上网搜了搜，发现百度开放平台的天然语言处理能够免费调用，并且天天有10W的调用次数，对个人小项目来讲正好知足。可是，在往下翻的时候，发现百度给了提示，不保证并发，也就是说，在我调用的时候很容易出现返回错误结果的状况，这部分须要进行适当的处理。json

既然是实战，咱们从头开始说。api

2、 准备工做数组

从哪里开始说呢，从在百度开放平台建立一个应用提及。建立应用以后（下面的开发环境是PHP，因此在选择应用使用类型的时候填写HTML），会有应用的ID，key，secret。后两个参数接下来会有用。服务器

我使用的是短文本类似度API，其余类型的功能与此基本如出一辙（不接受抬杠）。先去看开发文档http://ai.baidu.com/docs#/NLP-API/top能够看到提供了两种调用方式，这里咱们以调用方式一为例-向API服务地址使用POST发送请求，这种方式来实现上述功能。看描述，须要一个参数叫作access_token，原文也提供了其获取方式。以获取短文本类似度的access_token为例子：微信

https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=MzRN******Txgske3QRf5Yj69&client_secret=a30CAbc*****bDuuGLdHLeyRaZk1tq5&网络

其中一共涉及三个参数，第一个固定为client_credentials不要改变。

第二第三个分别为前面获取到的key，secret。

把这一串地址放在地址栏中，回车便可返回json格式的字符串，找到access_token复制存在一个文件中，留着备用。

注意：复制地址的时候，中间可能会带有空格，必定要删去。特别是复制开发文档中的那段代码的时候，带有空格，是得不到返回结果的。能够复制个人这一段地址则没有问题。

3、动手

下面开始编写PHP代码。整个过程咱们只需一个文件就好。

PHP可使用curl来请求url参数。在开发文档中，说明了要传参access_token以及要把请求文本以json格式传过去（编码是GBK）。下面是代码：

$access_token = "24.a810b4be2b5683a4d6af2f47b420877f.2592000.1507883636.282335-10044457";

$url = "https://aip.baidubce.com/rpc/2.0/nlp/v2/simnet?access_token=" . $access_token;

$body=array(

    "text_1"=>"我在二舍B门口看到一床被子，应该是哪位同窗忘记收走了，记得来取哦。",

    "text_2"=>"信息A门口有一辆自行车，黄色的，没上锁，请失主前去认领。"

);

$json_data=json_encode($body);

这段代码及时实现了上述功能。在把$body转为json格式的时候，已经默认把中文从UTF8转到GBK了，无需另外的操做。

$curl=curl_init();

        curl_setopt($curl, CURLOPT_URL, $url);

        curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);

        curl_setopt($curl, CURLOPT_POST, true);

        curl_setopt($curl, CURLOPT_POSTFIELDS, $dataArray[$i]);

        curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);//取消SSL鉴权验证

最后这个取消SSL鉴权验证是必须的，不然会报错！

$result = curl_exec($ch);

//var_dump($result);

$json = iconv("gb2312", "UTF-8", $result);//返回格式是中文GBK编码，须要转为UTF8

输出$json则能够看到返回结果。

可是上述过程仅仅实现了一条记录的类似度匹配，怎么实现多条呢？使用循环？？？NO!NO!NO!本身去测试一下若是同时10条url请求，会发生什么事情。好吧答案是：结果正确返回。。可是返回时间很是慢，由于10条请求是顺序执行的，不会并行。因此下面的问题就是要解决并行问题。

4、 解决并行问题以及QPS并发问题

说一个你们都知道的很差的消息，就是PHP自己是不支持多线程的。有木有想死的感受？？

再说一个好消息，curl是能够并行处理多个url请求来模拟多线程的，这点很是好，啪啪！30条url请求同时发送，最终时间取决于最慢的那个请求。可是这个结果也很是棒了好很差。

下面是先是代码（我作了20条数据（文字内容都是同样的，其实一不同无所谓））：

<?php

header('content-type:text/html;charset=utf8');

$localtime=date('y-m-d H:i:s',time());

echo "开始时间：".$localtime;

$access_token = "24.a810b4be2b5*******************507883636.282335-10044457";

$url = "https://aip.baidubce.com/rpc/2.0/nlp/v2/simnet?access_token=" . $access_token;

$body=array(

    "text_1"=>"我在二舍B门口看到一床被子，应该是哪位同窗忘记收走了，记得来取哦。",

    "text_2"=>"信息A门口有一辆自行车，黄色的，没上锁，请失主前去认领。"

);

$json_data=json_encode($body);

$dataArray=array();

for($i=0;$i<160;$i++){

    array_push($dataArray,$json_data);

}

$jsonResultArray=array();

mFunction($url,$dataArray,$jsonResultArray);

/*$jsonResultArray=func($url,$json_data);//存储返回的json数组*/

function mFunction($url,$dataArray,&$jsonResultArray){

    $multicurl=curl_multi_init();

    $curls=array();//存放全部的ch对象

    for($i=0;$i<count($dataArray);$i++){

        $curl=curl_init();

        curl_setopt($curl, CURLOPT_URL, $url);

        curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);

        curl_setopt($curl, CURLOPT_POST, true);

        curl_setopt($curl, CURLOPT_POSTFIELDS, $dataArray[$i]);

        curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);//取消SSL鉴权验证

        curl_multi_add_handle($multicurl,$curl);

        array_push($curls,$curl);

    }

/*    $running = null;

    do {

        $mrc = curl_multi_exec($multicurl, $running);

    } while ($mrc == CURLM_CALL_MULTI_PERFORM);

 

    while ($running && $mrc == CURLM_OK) {

        if (curl_multi_select($multicurl) != -1) {//$mh批处理中还有可执行的$ch句柄，curl_multi_select($mh) != -1程序退出阻塞状态。

            do {                   //继续执行须要处理的$ch句柄。

                $mrc = curl_multi_exec($multicurl, $running);

            } while ($mrc == CURLM_CALL_MULTI_PERFORM);

        }

    }*/

 

    $running = null;

// 执行批处理句柄

    do {

        usleep(10000);

        curl_multi_exec($multicurl, $running);

    } while ($running > 0);

 

    $failArray=array();

    for($i=0;$i<count($dataArray);$i++){

        $temp=iconv("gb2312", "UTF-8", curl_multi_getcontent($curls[$i]));//获得的是返回结果的json格式字符串

        $resultarray=json_decode($temp);//获得一个数组

        if(array_key_exists("error_msg",$resultarray)){//出错则从新发送请求,最后获得的结果要赋值给temp

            array_push($failArray,$dataArray[$i]);

            curl_multi_remove_handle($multicurl, $curls[$i]);

        }else{

            array_push($jsonResultArray,$temp);

            curl_multi_remove_handle($multicurl, $curls[$i]);

        }

    }

    if($failArray!=null){//若是$failArray数组不为空，继续调用func()

        curl_multi_close($multicurl);

        mFunction($url,$failArray,$jsonResultArray);//$url,$json_data,&$jsonResultArray

    }else{//若是$failArray数组为空,return 便可退出函数。

        curl_multi_close($multicurl);

        return;

    }

}

for($i=0;$i<count($jsonResultArray);$i++){

    var_dump($jsonResultArray[$i]);

}

$localtime=date('y-m-d H:i:s',time());

echo "结束时间：".$localtime;

上面这段代码，没错就是所有代码都贴出来了，注释也能够看。代码中一道都把并发带来的问题都解决了。

curl_multi_init(); 的用法很少说，上网查处处都是，能够去菜鸟教程看。下面说一说处理QPS的问题。

由于并行提交速度太快，服务器容易达到QPS限制，就会返回错误代码：

'{"error_msg":"Open api qps request limit reached","error_code":18}' (length=66)

没什么好的解决方式，要想无偿使用，个人方案是，对返回结果检测是否存在error_msg只要存在，就得从新发送请求。返回结果正常呢，就把返回结果现存人数组中。在处理从新发送请求部分，使用了函数迭代，直到没有错误信息才结束调用。最终全部的正确结果都存在数组中了。

5、 测试结果

经测试：

测试数据条目以及对应的响应时间，从结果来看，仍是能够接受的。

/*

 * 20条=>1s

 *

 *40条=>3s

 *

 * 80条=>7s

 *

 * 160条=>16s

 * */

文章是昨晚上熬夜写的，没想到学校忽然断网断电，断电不可怕，重要的是电没了，手机移动网络也跟着消失……消失……失……

早上起来从新发喽~

欢迎关注微信公众号“ **IT客**“ ，投稿邮箱 itkeyy@163.com