页面加载中，请稍候
来源:电子技术应用发布时间:2011-01-11823浏览
询问 AIwince网络音视频通讯
下位机为 mini2440 ，其操作系统是WINCE 5.0，需要在下位机上插入USB摄像头（中星微301，驱动为15分钟限制版），以及插入麦克风耳机；
上位机为普通的PC，需要插入麦克风耳机；
上位机和下位机的开发环境为Visual Studio 2005。
接下来，说说这个东东的功能，和工作原理：
网络视频传输，首先把mini2440与USB摄像头连接在一起，通过USB摄像头捕捉图像（320 x 240，15fps），然后通过UDP协议发送至PC端，在PC屏幕上以15fps的速度显示。
网络音频传输，首先在mini2440和PC上都插入麦克风耳机，两者都同时录音，并以G.726编码，然后把压缩包通过UDP协议发送至对方，而在录音的同时，也对来自对方的压缩包用G.726解码，然后再在耳机播放音频。
最后，说说这个版本相对于以前的改进：
把以前的RTP改为UDP，实践证明，在这个系统中，用UDP的效率会比RTP好，毕竟不需要用到RTP的流量监测等高级功能，仅仅能通信就行了；
以前版本基于100M网卡，现在支持10M网卡了，在100M网卡的机器上，可以直接把JPEG图片发过去，但是，在10M的网卡是，每次数据包最大为1440比特，因此要兼容10M网卡，就需要把图像分割成多个1440大小的数据包，分别发送了。
网络音视频通信
下面说说关键的源代码：
以下是WINCE部分的代码
#pragma once
#include “winsock2.h”
//RTP支持
#include “。.UDPUDP.h”
//音频支持
#include “WaveIn.h”
#include “WaveOut.h”
//G726支持
#include “g726.h”
//摄像头支持
#include “。video\zc030xlib.h”
#define Video_Width 320 //视频宽度
#define Video_Height 240 //视频长度
#define AudioData_Size 960 //每块音频数据包的大小
#define Compr_AudioData_Size 120 //压缩后音频块的大小
//音频输入输出变量
CWaveIn *g_pIn;
CWaveOut *g_pOut;
char pin［AudioData_Size］，pout［Compr_AudioData_Size］;
char waveout［AudioData_Size］;
//摄像头输入变量
DWORD dwSize;
DWORD dwJpg;
DWORD dwRtnSize［2］;/* 0 - for bmp， 1 - for jpeg */
LPBYTE lpFrameBuffer;
LPBYTE lpJpgBuffer ;
//控制变量
bool isCameraEnabled;
//UDP
CUDP_CE m_CEUdp;
class AVClass
{
public：
//=====================================================================
// 语法格式： void InitAV（CWnd * p）
// 实现功能： 初始化音频和视频，用于录音、播放音频，以及播放视频
// 参数： p为窗口类指针
// 返回值： 无
//=====================================================================
void InitAV（CWnd * p，int local_port，CString remote_ip，int remote_port）
{
//-----------------------初始化UDP-----------------------//
m_CEUdp.m_OnUdpRecv = OnUdpCERecv;
DWORD nResult = m_CEUdp.Open（p，local_port，remote_ip，remote_port）;
if （nResult 《=0）
{
AfxMessageBox（_T（“打开端口失败”））;
return;
}
//------------------------控制变量-----------------------//
isCameraEnabled=false;
//-------------------------视频--------------------------//
int i = capInitCamera（）;
dwSize = 320 * 240 * 3;
dwJpg = 40960;
lpFrameBuffer = （LPBYTE） malloc （dwSize）;
lpJpgBuffer = （LPBYTE） malloc （dwJpg）;
if（i《=0）
{
//：：MessageBox（NULL， L“Init camera error ”， L“Notice”， 0）;
goto video_error;//出错，释放空间
}
[!--empirenews.page--]
if （0 ！= capSetVideoFormat（0， VIDEO_PALETTE_RGB24， VIDEO_SIZE_SIF））
{
//：：MessageBox（NULL， L“SetVideoFormat error ”， L“Notice”， 0）;
goto video_error;//出错，释放空间
}
if （capStartCamera（0） ！= 0）
{
//：：MessageBox（NULL， L“StartCamera error ”， L“Notice”， 0）;
capStopCamera（0）;
goto video_error;//出错，释放空间
}
//没出错，进行视频（控制状态）、音频设置
isCameraEnabled=true;
goto audio;
video_error：
free （lpFrameBuffer）;
lpFrameBuffer = NULL;
free （lpJpgBuffer）;
lpJpgBuffer = NULL;
//-------------------------音频--------------------------//
audio：
g_pOut = new CWaveOut（）;
g_pIn = new CWaveIn（）;
g_pOut-》StartPlay（）;
g_pIn-》StartRec（OnRecCapAndSend，（DWORD）p）;
}
//=====================================================================
// 语法格式： void FreeAV（）
// 实现功能： 释放音频、视频
// 参数： 无
// 返回值： 无
//=====================================================================
void FreeAV（）
{
//-------------------------视频--------------------------//
if（isCameraEnabled）
capStopCamera（0）;
//-------------------------音频--------------------------//
g_pOut-》StopPlay（）;
g_pIn-》StopRec（）;
delete g_pOut;
delete g_pIn;
//------------------------UDP------------------------//
m_CEUdp.Close（）;
}
//=====================================================================
// 语法格式： void RecAndPlay（WPARAM wParam，LPARAM lParam）
// 实现功能： 接收网络传来的音频，以及播放
// 参数： wParam，表示数据；lParam，表示数据长度
// 返回值： 无
//=====================================================================
static void CALLBACK OnUdpCERecv（CWnd * pWnd，char* buf，int nLen，sockaddr * addr）
{
g726_Decode（buf，（unsigned char*）waveout）;
g_pOut-》Play（waveout，AudioData_Size）;
}
//=====================================================================
// 语法格式： static void OnRecCapAndSend（char *data，int length，DWORD userdata）
// 实现功能： 录音，摄像并且发送
// 参数： data表示数据，length表示数据长度，userdata暂时没用
// 返回值： 无
//=====================================f================================
static void OnRecCapAndSend（char *data，int length，DWORD userdata）
{
//-------------------------音频--------------------------//
memcpy（pin，g_pIn-》buffer，AudioData_Size）;
g726_Encode（（unsigned char*）pin，pout）;
m_CEUdp.SendData（pout，Compr_AudioData_Size）;
//-------------------------视频--------------------------//
if（isCameraEnabled==false）//如果程序不能用摄像头
return;
Sleep（15）;
int index=0;
memset（lpFrameBuffer， 0， dwSize）;
memset（lpJpgBuffer， 0， dwJpg）;
dwRtnSize［0］ = dwRtnSize［1］ = 0;
if （capGetPicture（index， lpFrameBuffer， dwSize， lpJpgBuffer， dwJpg， dwRtnSize） == 0）
{
/// m_CEUdp.SendData（（const char *）lpJpgBuffer，dwRtnSize［1］）;
char tmp［1440］;
int tmp_i=0;
for（int i=0;i《dwRtnSize［1］;i++）
{
tmp［tmp_i］=lpJpgBuffer［i］;
tmp_i++;
if（tmp_i==1440）
{
m_CEUdp.SendData（tmp，1440）;
tmp_i=0;
}
else if（i==dwRtnSize［1］-1）
{
m_CEUdp.SendData（tmp，dwRtnSize［1］-（dwRtnSize［1］/1440）*1440）;
tmp_i=0;
}
}
}
}
};
以下是PC部分的关键代码
#pragma once
#include “winsock2.h”
//UDP支持
#include “。.UDPUDP.h”
//音频支持
#include “WaveIn.h”
#include “waveout.h”
//G726支持
#include “g726.h”
//视频支持
#include “Gdiplus.h”
using namespace Gdiplus;
#define VideoData_Size 1440 //每块视频数据包的大小
#define Video_Width 320 //视频宽度
#define Video_Height 240 //视频长度
#define AudioData_Size 960 //每块音频数据包的大小
#define Compr_AudioData_Size 120 //压缩后音频块的大小
//音频输入输出变量
CWaveIn *g_pIn;
CWaveOut *g_pOut;
char pin［AudioData_Size］，pout［Compr_AudioData_Size］;
char wave_data［AudioData_Size］;
//UDP变量
CUDP_CE m_CEUdp;
//视频输入变量
GdiplusStartupInput m_gdiPlusInPut;
ULONG_PTR m_gdiPlusToken;
char video_data［Video_Width*Video_Height］;
int index;//视频数据当前索引
class AVClass
{
private：
public：
//=====================================================================
// 语法格式： void InitAV（CWnd * p）
// 实现功能： 初始化音频和视频，用于录音、播放音频，以及播放视频
// 参数： p为窗口类指针
// 返回值： 无
//=====================================================================
void InitAV（CWnd * p，int local_port，CString remote_ip，int remote_port）[!--empirenews.page--]
{
//-------------------------UDP连接--------------------------//
m_CEUdp.m_OnUdpRecv = OnUdpCERecv;
DWORD nResult = m_CEUdp.Open（p，local_port，remote_ip，remote_port）;
if （nResult 《=0）
{
AfxMessageBox（_T（“打开端口失败”））;
return;
}
//-------------------------音频--------------------------//
g_pOut = new CWaveOut（）;
g_pIn = new CWaveIn（）;
g_pOut-》StartPlay（）;
g_pIn-》StartRec（OnRecording，（DWORD）p）;
//-------------------------视频--------------------------//
GdiplusStartup（ &m_gdiPlusToken， &m_gdiPlusInPut， NULL ）; //初始化GDI+
memset（video_data，0，Video_Width*Video_Height）;
index=0;
}
//=====================================================================
// 语法格式： void FreeAV（）
// 实现功能： 释放音频、视频
// 参数： 无
// 返回值： 无
//=====================================================================
void FreeAV（）
{
//-------------------------音频--------------------------//
g_pOut-》StopPlay（）;
g_pIn-》StopRec（）;
delete g_pOut;
delete g_pIn;
//-------------------------视频--------------------------//
GdiplusShutdown（m_gdiPlusToken）; //销毁GDI+
//------------------------UDP--------------------------//
m_CEUdp.Close（）;
}
//=====================================================================
// 语法格式： void RecAndPlay（WPARAM wParam，LPARAM lParam，HWND hwnd）
// 实现功能： 接收网络传来的音频，以及播放
// 参数： wParam，表示数据；lParam，表示数据长度；hwnd，表示显示视频的窗口句柄
// 返回值： 无
//=====================================================================
static void CALLBACK OnUdpCERecv（CWnd *pWnd，char* buf，int nLen，sockaddr * addr）
{
/*测试收到的数据大小
CString tmp;
tmp.Format（L“%d”，nLen）;
MessageBox（0，tmp，0，0）;
return;*/
//-------------------------如果是音频数据--------------------------//
if（nLen==Compr_AudioData_Size）
{
g726_Decode（buf，（unsigned char*）wave_data）;
g_pOut-》Play（wave_data，AudioData_Size）;
return;
}
//-------------------------如果是视频数据--------------------------//
if（nLen==VideoData_Size）//完整的视频数据块
{
for（int i=0;i《nLen;i++）
{
video_data［index］=buf［i］;
index++;
}
return;
}
//视频数据块的最后一块
for（int i=0;i《nLen;i++）
{
video_data［index］=buf［i］;
index++;
}
//如果JPEG图像特别大，则肯定是出错，则抛弃
if（index》Video_Width*Video_Height）
{
//MessageBox（0，“缓冲区出错”，“错误信息”，0）;
return;
}
try{
IPicture *pPic;
IStream *pStm ;
//分配全局存储空间
HGLOBAL hGlobal=GlobalAlloc（GMEM_MOVEABLE，index）;
LPVOID pvData=NULL ;
//锁定分配内存块
pvData=GlobalLock（hGlobal）;
//复制数据包video_data到pvData
memcpy（pvData，video_data，index）;
GlobalUnlock（hGlobal）;
CreateStreamOnHGlobal（hGlobal，TRUE，&pStm）;
ULARGE_INTEGER pSeek;
LARGE_INTEGER dlibMove ={ 0 } ;
pStm-》Seek（dlibMove，STREAM_SEEK_SET ，&pSeek）;
// Sleep（15）;
//装入图形文件
if（FAILED（OleLoadPicture（pStm，index，TRUE，IID_IPicture，（LPVOID*）&pPic）））
{//附：如果video_data这个数组包含的图像有错，则OleLoadPicture 容易产生读写内存错误
// pPic-》Release（）;
// pStm-》Release（）;
return ;
}
Image img（pStm，0）;
Graphics mGraphics（GetDC（pWnd-》m_hWnd））;
mGraphics.DrawImage（&img， 0， 0， Video_Width， Video_Height）;
img.~Image（）;//会出错
mGraphics.~Graphics（）;
pPic-》Release（）;
pStm-》Release（）;
}
catch（CException * e）
{}
memset（video_data，0，Video_Width*Video_Height）;
index=0;
}
//=====================================================================
// 语法格式： static void OnRecording（char *data，int length，DWORD userdata）
// 实现功能： 释放音频
// 参数： data表示数据，length表示数据长度，userdata暂时没用
// 返回值： 无
//=====================================================================
static void OnRecording（char *data，int length，DWORD userdata）
{
memcpy（pin，g_pIn-》buffer，AudioData_Size）;
g726_Encode（（unsigned char*）pin，pout）;
m_CEUdp.SendData（pout，Compr_AudioData_Size）;
}
};
新闻来源：电子技术应用，文中所述为作者独立观点，不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议，请联系微信客服specltkj。
暂无评论哦，快来评论一下吧！
2026-07-08
2026-07-01
