基于wince的网络音视频通信(简单易明版)

时间 2021-07-14 标签 WinCE 网络协议 F# XML EXT

本文来自http://blog.csdn.net/hellogv/
<meta http-equiv="Content-Type" content="text/html; charset=utf-8"> <meta name="ProgId" content="Word.Document"> <meta name="Generator" content="Microsoft Word 11"> <meta name="Originator" content="Microsoft Word 11"> <link rel="File-List" href="file:///G:%5CDOCUME%7E1%5CADMINI%7E1%5CLOCALS%7E1%5CTemp%5Cmsohtml1%5C01%5Cclip_filelist.xml"> <link rel="Edit-Time-Data" href="file:///G:%5CDOCUME%7E1%5CADMINI%7E1%5CLOCALS%7E1%5CTemp%5Cmsohtml1%5C01%5Cclip_editdata.mso"> <style>  </style>

由于这个学期的期末将至，因此期末大作业也要开始做了。这次做的是N个月前就做过的网络音视频通信，不过这次做了不少改进。
在这里，先要感谢一下 MacintoshM 大侠，他的帖子给我提供了最原始的源代码，我现在的代码也是在他代码的基础上做出修改的。
OK，现在进入主题，先来介绍一下这个东东：

下位机为 mini2440 ，其操作系统是WINCE 5.0，需要在下位机上插入USB摄像头（中星微301，驱动为15分钟限制版），以及插入麦克风耳机；
上位机为普通的PC，需要插入麦克风耳机；
上位机和下位机的开发环境为Visual Studio 2005。

接下来，说说这个东东的功能，和工作原理：

网络视频传输，首先把mini2440与USB摄像头连接在一起，通过USB摄像头捕捉图像(320 x 240，15fps)，然后通过UDP协议发送至PC端，在PC屏幕上以15fps的速度显示。
网络音频传输，首先在mini2440和PC上都插入麦克风耳机，两者都同时录音，并以G.726编码，然后把压缩包通过UDP协议发送至对方，而在录音的同时，也对来自对方的压缩包用G.726解码，然后再在耳机播放音频。

最后，说说这个版本相对于以前的改进：

把以前的RTP改为UDP，实践证明，在这个系统中，用UDP的效率会比RTP好，毕竟不需要用到RTP的流量监测等高级功能，仅仅能通信就行了；
以前版本基于100M网卡，现在支持10M网卡了，在100M网卡的机器上，可以直接把JPEG图片发过去，但是，在10M的网卡是，每次数据包最大为1440比特，因此要兼容10M网卡，就需要把图像分割成多个1440大小的数据包，分别发送了。

源代码可以到这里下载（2008.12.01才可以下载）：
http://download.csdn.net/user/hellogv
网络音视频通信

下面说说关键的源代码：
以下是WINCE部分的代码

 
  #pragmaonce 
 #include"winsock2.h" 
 //RTP支持 
 #include"..\UDP\UDP.h" 
 //音频支持 
 #include"WaveIn.h" 
 #include"WaveOut.h" 
 //G726支持 
 #include"g726.h" 
 //摄像头支持 
 #include".\video\\zc030xlib.h" 
 #defineVideo_Width320//视频宽度 
 #defineVideo_Height240//视频长度 
 #defineAudioData_Size960//每块音频数据包的大小 
 #defineCompr_AudioData_Size120//压缩后音频块的大小 
 //音频输入输出变量 
CWaveIn*g_pIn;
CWaveOut*g_pOut;
 charpin[AudioData_Size],pout[Compr_AudioData_Size]; 
 charwaveout[AudioData_Size]; 
 //摄像头输入变量 
 DWORDdwSize; 
 DWORDdwJpg; 
 DWORDdwRtnSize[2];/*0-forbmp,1-forjpeg*/ 
 LPBYTElpFrameBuffer; 
 LPBYTElpJpgBuffer; 
 //控制变量 
 boolisCameraEnabled; 
 //UDP 
CUDP_CEm_CEUdp;
 classAVClass 
{
 public: 
 //===================================================================== 
 //语法格式：voidInitAV(CWnd*p) 
 //实现功能：初始化音频和视频，用于录音、播放音频，以及播放视频 
 //参数：p为窗口类指针 
 //返回值：无 
 //===================================================================== 
 voidInitAV(CWnd*p,intlocal_port,CStringremote_ip,intremote_port) 
{
 //-----------------------初始化UDP-----------------------// 
m_CEUdp.m_OnUdpRecv=OnUdpCERecv;
 DWORDnResult=m_CEUdp.Open(p,local_port,remote_ip,remote_port); 
 if(nResult<=0) 
{
 AfxMessageBox(_T("打开端口失败")); 
 return; 
}
 //------------------------控制变量-----------------------// 
 isCameraEnabled=false; 
 //-------------------------视频--------------------------// 
 inti=capInitCamera(); 
dwSize=320*240*3;
dwJpg=40960;
 lpFrameBuffer=(LPBYTE)malloc(dwSize); 
 lpJpgBuffer=(LPBYTE)malloc(dwJpg); 
 if(i<=0) 
{
 //::MessageBox(NULL,L"Initcameraerror",L"Notice",0); 
 gotovideo_error;//出错，释放空间 
}
 if(0!=capSetVideoFormat(0,VIDEO_PALETTE_RGB24,VIDEO_SIZE_SIF)) 
{
 //::MessageBox(NULL,L"SetVideoFormaterror",L"Notice",0); 
 gotovideo_error;//出错，释放空间 
}
 if(capStartCamera(0)!=0) 
{
 //::MessageBox(NULL,L"StartCameraerror",L"Notice",0); 
capStopCamera(0);
 gotovideo_error;//出错，释放空间 
}
 //没出错，进行视频(控制状态)、音频设置 
 isCameraEnabled=true; 
 gotoaudio; 
video_error:
free(lpFrameBuffer);
lpFrameBuffer=NULL;
free(lpJpgBuffer);
lpJpgBuffer=NULL;
 //-------------------------音频--------------------------// 
audio:
 g_pOut=newCWaveOut(); 
 g_pIn=newCWaveIn(); 
g_pOut->StartPlay();
 g_pIn->StartRec(OnRecCapAndSend,(DWORD)p); 
}
 //===================================================================== 
 //语法格式：voidFreeAV() 
 //实现功能：释放音频、视频 
 //参数：无 
 //返回值：无 
 //===================================================================== 
 voidFreeAV() 
{
 //-------------------------视频--------------------------// 
 if(isCameraEnabled) 
capStopCamera(0);
 //-------------------------音频--------------------------// 
g_pOut->StopPlay();
g_pIn->StopRec();
 deleteg_pOut; 
 deleteg_pIn; 
 //------------------------UDP------------------------// 
m_CEUdp.Close();
}
 //===================================================================== 
 //语法格式：voidRecAndPlay(WPARAMwParam,LPARAMlParam) 
 //实现功能：接收网络传来的音频，以及播放 
 //参数：wParam,表示数据；lParam，表示数据长度 
 //返回值：无 
 //===================================================================== 
 staticvoidCALLBACKOnUdpCERecv(CWnd*pWnd,char*buf,intnLen,sockaddr*addr) 
{
 g726_Decode(buf,(unsignedchar*)waveout); 
g_pOut->Play(waveout,AudioData_Size);
}
 //===================================================================== 
 //语法格式：staticvoidOnRecCapAndSend(char*data,intlength,DWORDuserdata) 
 //实现功能：录音,摄像并且发送 
 //参数：data表示数据,length表示数据长度,userdata暂时没用 
 //返回值：无 
 //=====================================f================================ 
 staticvoidOnRecCapAndSend(char*data,intlength,DWORDuserdata) 
{
 //-------------------------音频--------------------------// 
memcpy(pin,g_pIn->buffer,AudioData_Size);
 g726_Encode((unsignedchar*)pin,pout); 
m_CEUdp.SendData(pout,Compr_AudioData_Size);
 //-------------------------视频--------------------------// 
 if(isCameraEnabled==false)//如果程序不能用摄像头 
 return; 
Sleep(15);
 intindex=0; 
memset(lpFrameBuffer,0,dwSize);
memset(lpJpgBuffer,0,dwJpg);
dwRtnSize[0]=dwRtnSize[1]=0;
 if(capGetPicture(index,lpFrameBuffer,dwSize,lpJpgBuffer,dwJpg,dwRtnSize)==0) 
{
 ///m_CEUdp.SendData((constchar*)lpJpgBuffer,dwRtnSize[1]); 
 chartmp[1440]; 
 inttmp_i=0; 
 for(inti=0;i<dwRtnSize[1];i++) 
{
tmp[tmp_i]=lpJpgBuffer[i];
tmp_i++;
 if(tmp_i==1440) 
{
m_CEUdp.SendData(tmp,1440);
tmp_i=0;
}
 elseif(i==dwRtnSize[1]-1) 
{
m_CEUdp.SendData(tmp,dwRtnSize[1]-(dwRtnSize[1]/1440)*1440);
tmp_i=0;
}
}
}
}
};
 

以下是PC部分的关键代码

 
  #pragmaonce 
 #include"winsock2.h" 
 //UDP支持 
 #include"..\UDP\UDP.h" 
 //音频支持 
 #include"WaveIn.h" 
 #include"waveout.h" 
 //G726支持 
 #include"g726.h" 
 //视频支持 
 #include"Gdiplus.h" 
 usingnamespaceGdiplus; 
 #defineVideoData_Size1440//每块视频数据包的大小 
 #defineVideo_Width320//视频宽度 
 #defineVideo_Height240//视频长度 
 #defineAudioData_Size960//每块音频数据包的大小 
 #defineCompr_AudioData_Size120//压缩后音频块的大小 
 //音频输入输出变量 
CWaveIn*g_pIn;
CWaveOut*g_pOut;
 charpin[AudioData_Size],pout[Compr_AudioData_Size]; 
 charwave_data[AudioData_Size]; 
 //UDP变量 
CUDP_CEm_CEUdp;
 //视频输入变量 
GdiplusStartupInputm_gdiPlusInPut;
 ULONG_PTRm_gdiPlusToken; 
 charvideo_data[Video_Width*Video_Height]; 
 intindex;//视频数据当前索引 
 classAVClass 
{
 private: 
 public: 
 //===================================================================== 
 //语法格式：voidInitAV(CWnd*p) 
 //实现功能：初始化音频和视频，用于录音、播放音频，以及播放视频 
 //参数：p为窗口类指针 
 //返回值：无 
 //===================================================================== 
 voidInitAV(CWnd*p,intlocal_port,CStringremote_ip,intremote_port) 
{
 //-------------------------UDP连接--------------------------// 
m_CEUdp.m_OnUdpRecv=OnUdpCERecv;
 DWORDnResult=m_CEUdp.Open(p,local_port,remote_ip,remote_port); 
 if(nResult<=0) 
{
 AfxMessageBox(_T("打开端口失败")); 
 return; 
}
 //-------------------------音频--------------------------// 
 g_pOut=newCWaveOut(); 
 g_pIn=newCWaveIn(); 
g_pOut->StartPlay();
 g_pIn->StartRec(OnRecording,(DWORD)p); 
 //-------------------------视频--------------------------// 
 GdiplusStartup(&m_gdiPlusToken,&m_gdiPlusInPut,NULL);//初始化GDI+ 
memset(video_data,0,Video_Width*Video_Height);
index=0;
}
 //===================================================================== 
 //语法格式：voidFreeAV() 
 //实现功能：释放音频、视频 
 //参数：无 
 //返回值：无 
 //===================================================================== 
 voidFreeAV() 
{
 //-------------------------音频--------------------------// 
g_pOut->StopPlay();
g_pIn->StopRec();
 deleteg_pOut; 
 deleteg_pIn; 
 //-------------------------视频--------------------------// 
 GdiplusShutdown(m_gdiPlusToken);//销毁GDI+ 
 //------------------------UDP--------------------------// 
m_CEUdp.Close();
}
 //===================================================================== 
 //语法格式：voidRecAndPlay(WPARAMwParam,LPARAMlParam,HWNDhwnd) 
 //实现功能：接收网络传来的音频，以及播放 
 //参数：wParam,表示数据；lParam，表示数据长度；hwnd，表示显示视频的窗口句柄 
 //返回值：无 
 //===================================================================== 
 staticvoidCALLBACKOnUdpCERecv(CWnd*pWnd,char*buf,intnLen,sockaddr*addr) 
{
 /*测试收到的数据大小 
CStringtmp;
tmp.Format(L"%d",nLen);
MessageBox(0,tmp,0,0);
 return;*/ 
 
 //-------------------------如果是音频数据--------------------------// 
 if(nLen==Compr_AudioData_Size) 
{
 g726_Decode(buf,(unsignedchar*)wave_data); 
g_pOut->Play(wave_data,AudioData_Size);
 return; 
}
 //-------------------------如果是视频数据--------------------------// 
 if(nLen==VideoData_Size)//完整的视频数据块 
{
 for(inti=0;i<nLen;i++) 
{
video_data[index]=buf[i];
index++;
}
 return; 
}
 //视频数据块的最后一块 
 for(inti=0;i<nLen;i++) 
{
video_data[index]=buf[i];
index++;
}
 //如果JPEG图像特别大，则肯定是出错，则抛弃 
 if(index>Video_Width*Video_Height) 
{
 //MessageBox(0,"缓冲区出错","错误信息",0); 
 return; 
}
 try{ 
IPicture*pPic;
IStream*pStm;
 //分配全局存储空间 
 HGLOBALhGlobal=GlobalAlloc(GMEM_MOVEABLE,index); 
 LPVOIDpvData=NULL; 
 //锁定分配内存块 
pvData=GlobalLock(hGlobal);
 //复制数据包video_data到pvData 
memcpy(pvData,video_data,index);
GlobalUnlock(hGlobal);
CreateStreamOnHGlobal(hGlobal,TRUE,&pStm);
ULARGE_INTEGERpSeek;
LARGE_INTEGERdlibMove={0};
pStm->Seek(dlibMove,STREAM_SEEK_SET,&pSeek);
 //Sleep(15); 
 //装入图形文件 
 if(FAILED(OleLoadPicture(pStm,index,TRUE,IID_IPicture,(LPVOID*)&pPic))) 
 {//附:如果video_data这个数组包含的图像有错，则OleLoadPicture容易产生读写内存错误 
 //pPic->Release(); 
 //pStm->Release(); 
 return; 
}
Imageimg(pStm,0);
GraphicsmGraphics(GetDC(pWnd->m_hWnd));
mGraphics.DrawImage(&img,0,0,Video_Width,Video_Height);
 img.~Image();//会出错 
mGraphics.~Graphics();
pPic->Release();
pStm->Release();
}
 catch(CException*e) 
{}
memset(video_data,0,Video_Width*Video_Height);
index=0;
}
 //===================================================================== 
 //语法格式：staticvoidOnRecording(char*data,intlength,DWORDuserdata) 
 //实现功能：释放音频 
 //参数：data表示数据,length表示数据长度,userdata暂时没用 
 //返回值：无 
 //===================================================================== 
 staticvoidOnRecording(char*data,intlength,DWORDuserdata) 
{
memcpy(pin,g_pIn->buffer,AudioData_Size);
 g726_Encode((unsignedchar*)pin,pout); 
m_CEUdp.SendData(pout,Compr_AudioData_Size);
}
};
 