使用讯飞实现语音听写与语音合成功能
一、准备工作
1、首先你需要去科大讯飞的官网去注册一个账号，怎么注册我就不说了，然后去控制台，创建新应用。
2、下载对应的sdk，点击sdk下载，记住这里的APPID码，sdk初始化要用。
3、下载语音听写和在线语音合成对应的sdk（离线的语音听写需要手机安装语+这个软件才能用，离线语音合成收费，我就没考虑）
4、将压缩文件中的assets和lib放到项目中，需要注意的是如果是Android studio项目，lib文件夹中的.so相关文件夹都应该放在jniLibs文件夹里，直接放到libs下无法识别。
二、SDK初始化
与大部分的sdk一样越早初始化越好，免得用的时候忘了，初始化失败导致调用不成功，所以我选择在自定义的application中初始化，代码如下：
public class MyApplication extends Application { @Override public void onCreate() { /* 应用程序入口处调用,避免手机内存过小,杀死后台进程后通过历史intent 进入Activity造成SpeechUtility对象为null*/ /* 注意：此接口在非主进程调用会返回null对象，如需在非主进程使用语音功能， 请增加参数：SpeechConstant.FORCE_LOGIN+"=true" 参数间使用“,”分隔。 设置你申请的应用appid*/ // 注意： appid 必须和下载的SDK保持一致，否则会出现10407错误 StringBuffer param = new StringBuffer(); param.append("appid="+getString(R.string.app_id)); param.append(","); // 设置使用v5+ param.append(SpeechConstant.ENGINE_MODE+"="+SpeechConstant.MODE_MSC); SpeechUtility.createUtility(MyApplication.this, param.toString()); super.onCreate(); } }
三、语音听写功能
1、使用讯飞提供的UI
i.定义语音听写UI控件
//语音听写UI private RecognizerDialog reDialog;
ii.定义语音听写初始化监听，监听初始化是否成功
/** * 语音听写初始化监听器。 */ private InitListener mInitListener = new InitListener() { @Override public void onInit(int code) { Log.d("zhangdi", "SpeechRecognizer init() code = " + code); if (code != ErrorCode.SUCCESS) { showTip("初始化失败，错误码：" + code); } } };
iii.初始化语音听写UI
// 初始化听写Dialog，如果只使用有UI听写功能，无需创建SpeechRecognizer // 使用UI听写功能，请根据sdk文件目录下的notice.txt,放置布局文件和图片资源 reDialog = new RecognizerDialog(this,mInitListener);
iv.定义听写UI的听写回调监听
/** * 听写UI监听器 */ private RecognizerDialogListener mRecognizerDialogListener = new RecognizerDialogListener() { @Override public void onResult(RecognizerResult results, boolean b) { //正确回调 Log.d("zhangdi", "recognizer result：" + results.getResultString()); //解析返回的json字符 String text = JsonParser.parseIatResult(results.getResultString()); //将返回的结果显示在edittext中 resultText.append(text); resultText.setSelection(resultText.length()); } /** * 识别回调错误. */ public void onError(SpeechError error) { if(mTranslateEnable && error.getErrorCode() == 14002) { showTip( error.getPlainDescription(true)+"\n请确认是否已开通翻译功能" ); } else { showTip(error.getPlainDescription(true)); } } };
v.在语音听写对应的按钮点击事件中显示UI
// 显示听写对话框 reDialog.setListener(mRecognizerDialogListener); reDialog.show(); showTip(getString(R.string.text_begin));
2.使用自己的UI界面
i.定义语音听写对象
//语音听写对象 private SpeechRecognizer recognizer;
ii.定义语音听写初始化监听，监听初始化是否成功
/** * 语音听写初始化监听器。 */ private InitListener mInitListener = new InitListener() {
@Override public void onInit(int code) {
Log.d("zhangdi", "SpeechRecognizer init() code = " + code);
if (code != ErrorCode.SUCCESS) {
showTip("初始化失败，错误码：" + code);
}
}
};
iii.初始化听写对象
// 初始化识别无UI识别对象 // 使用SpeechRecognizer对象，可根据回调消息自定义界面； recognizer = SpeechRecognizer.createRecognizer(this, mInitListener);
iv.对听写对象进行参数设置
/** * 参数设置 * @return */ public void setParamRecognizer(){ // 清空参数 recognizer.setParameter(SpeechConstant.PARAMS, null); // 设置引擎,目前只支持云端模式，本地模式需要手机安装语+软件才能用 recognizer.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD); // 设置返回结果格式 recognizer.setParameter(SpeechConstant.RESULT_TYPE, "json"); // 设置语言 recognizer.setParameter(SpeechConstant.LANGUAGE, "zh_cn"); // 设置语言地区,普通话 recognizer.setParameter(SpeechConstant.ACCENT, "mandarin"); // 设置语音前端点:静音超时时间，即用户多长时间不说话则当做超时处理 recognizer.setParameter(SpeechConstant.VAD_BOS, "4000"); // 设置语音后端点:后端点静音检测时间，即用户停止说话多长时间内即认为不再输入， 自动停止录音 recognizer.setParameter(SpeechConstant.VAD_EOS, "1000"); // 设置标点符号,设置为"0"返回结果无标点,设置为"1"返回结果有标点 recognizer.setParameter(SpeechConstant.ASR_PTT, "1"); // 设置音频保存路径，保存音频格式支持pcm、wav，设置路径为sd卡请注意WRITE_EXTERNAL_STORAGE权限 // 注：AUDIO_FORMAT参数语记需要更新版本才能生效 // recognizer.setParameter(SpeechConstant.AUDIO_FORMAT,"wav"); // recognizer.setParameter(SpeechConstant.ASR_AUDIO_PATH, Environment.getExternalStorageDirectory()+"/msc/iat.wav"); }
v.在语音听写对应的按钮事件中为听写对象设置回调监听
recognizer.startListening(new RecognizerListener() { @Override public void onVolumeChanged(int i, byte[] bytes) { Log.i("zhangdi","i = "+i+"bytes = "+bytes.toString()); } @Override public void onBeginOfSpeech() { showTip("开始说话"); } @Override public void onEndOfSpeech() { showTip("结束说话"); } @Override public void onResult(RecognizerResult recognizerResult, boolean b) { resultText.append(recognizerResult.getResultString()); } @Override public void onError(SpeechError speechError) { showTip(speechError.getErrorDescription()); } @Override public void onEvent(int i, int i1, int i2, Bundle bundle) { Log.i("zhangdi","i = "+i+" i1 = "+i1+" i2 = "+i2); } });
四、语音合成功能
1.定义语音合成对象
// 语音合成对象 private SpeechSynthesizer mTts;
2.语音合成初始化监听
/** * 语音合成初始化监听。 */ private InitListener mTtsInitListener = new InitListener() { @Override public void onInit(int code) { Log.d("zhangdi", "InitListener init() code = " + code); if (code != ErrorCode.SUCCESS) { showTip("初始化失败,错误码："+code); } //else { // 初始化成功，之后可以调用startSpeaking方法 // 注：有的开发者在onCreate方法中创建完合成对象之后马上就调用startSpeaking进行合成， // 正确的做法是将onCreate中的startSpeaking调用移至这里 //} } };
3.初始化语音合成对象
// 初始化合成对象 mTts = SpeechSynthesizer.createSynthesizer(this, mTtsInitListener);
4.为语音合成对象设置参数
private void setParamTTS() { // 清空参数 mTts.setParameter(SpeechConstant.PARAMS, null); //设置使用云端引擎,本地语音合成是收费的，所以忽略了 mTts.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD); //设置发音人 mTts.setParameter(SpeechConstant.VOICE_NAME,voicerCloud); //设置合成语速 mTts.setParameter(SpeechConstant.SPEED, "50"); //设置合成音调 mTts.setParameter(SpeechConstant.PITCH, "50"); //设置合成音量 mTts.setParameter(SpeechConstant.VOLUME, "50"); //设置播放器音频流类型 mTts.setParameter(SpeechConstant.STREAM_TYPE, "3"); // 设置播放合成音频打断音乐播放，默认为true mTts.setParameter(SpeechConstant.KEY_REQUEST_FOCUS, "true"); }
5.定义语音合成监听回调
/** * 合成回调监听。 */ private SynthesizerListener mTtsListener = new SynthesizerListener() { @Override public void onSpeakBegin() { showTip("开始播放"); } @Override public void onSpeakPaused() { showTip("暂停播放"); } @Override public void onSpeakResumed() { showTip("继续播放"); } @Override public void onBufferProgress(int percent, int beginPos, int endPos, String info) { // 合成进度 mPercentForBuffering = percent; showTip(String.format(getString(R.string.tts_toast_format), mPercentForBuffering, mPercentForPlaying)); } @Override public void onSpeakProgress(int percent, int beginPos, int endPos) { // 播放进度 mPercentForPlaying = percent; showTip(String.format(getString(R.string.tts_toast_format), mPercentForBuffering, mPercentForPlaying)); } @Override public void onCompleted(SpeechError error) { if (error == null) { showTip("播放完成"); } else if (error != null) { showTip(error.getPlainDescription(true)); } } @Override public void onEvent(int eventType, int arg1, int arg2, Bundle obj) { // 以下代码用于获取与云端的会话id，当业务出错时将会话id提供给技术支持人员，可用于查询会话日志，定位出错原因 // 若使用本地能力，会话id为null // if (SpeechEvent.EVENT_SESSION_ID == eventType) { // String sid = obj.getString(SpeechEvent.KEY_EVENT_SESSION_ID); // Log.d(TAG, "session id =" + sid); // } } };
6.在语音合成对应按钮的点击事件中为语音合成对象设置监听
int code = mTts.startSpeaking(text, mTtsListener); if (code != ErrorCode.SUCCESS) { showTip("语音合成失败,错误码: " + code); }