OpenCV VideoCapture使用方法(视频文件、摄像头、网络视频文件)
一、视频读取
cv::VideoCapture既支持视频文件的读取,也支持从摄像机中视频的读取。cv::VideoCapture对象的创建方式有以下三种:
方式一:
cv::VideoCapture capture(
const string& filename, // 输入视频文件路径名
);
方式二:
cv::VideoCapture capture(
int device // 输入摄像机视频捕捉设备 id
);
从摄像机中读取视频,这种情况下,我们会给出一个标识符,用于表示我们想要访问的摄像机,及其与操作系统的握手方式。对于摄像机而言,这个标志符就是一个标志数字——如果只有1个摄像机,那么就是0(cv::CAP_ANY),如果系统中有多个摄像机,那么只要将其向上增加即可。
enum cv::VideoCaptureAPIs {
cv::CAP_ANY = 0,
cv::CAP_VFW = 200,
cv::CAP_V4L = 200,
cv::CAP_V4L2 = CAP_V4L,
cv::CAP_FIREWIRE = 300,
cv::CAP_FIREWARE = CAP_FIREWIRE,
cv::CAP_IEEE1394 = CAP_FIREWIRE,
cv::CAP_DC1394 = CAP_FIREWIRE,
cv::CAP_CMU1394 = CAP_FIREWIRE,
cv::CAP_QT = 500,
cv::CAP_UNICAP = 600,
cv::CAP_DSHOW = 700,
cv::CAP_PVAPI = 800,
cv::CAP_OPENNI = 900,
cv::CAP_OPENNI_ASUS = 910,
cv::CAP_ANDROID = 1000,
cv::CAP_XIAPI = 1100,
cv::CAP_AVFOUNDATION = 1200,
cv::CAP_GIGANETIX = 1300,
cv::CAP_MSMF = 1400,
cv::CAP_WINRT = 1410,
cv::CAP_INTELPERC = 1500,
cv::CAP_REALSENSE = 1500,
cv::CAP_OPENNI2 = 1600,
cv::CAP_OPENNI2_ASUS = 1610,
cv::CAP_GPHOTO2 = 1700,
cv::CAP_GSTREAMER = 1800,
cv::CAP_FFMPEG = 1900,
cv::CAP_IMAGES = 2000,
cv::CAP_ARAVIS = 2100,
cv::CAP_OPENCV_MJPEG = 2200,
cv::CAP_INTEL_MFX = 2300,
cv::CAP_XINE = 2400
}
比如: cv::VideoCapture capture(cv::CAP_IEEE1394 + 1); 表示将尝试打开第2个(编号从0开始)1394摄像机。
方式三:先创建一个捕获对象,然后通过成员函数open()来设定打开的信息。
cv::VideoCapture capture;
capture.open( "my_video.avi" );
cv::VideoCapture的成员函数isOpened()将会返回true(建议在打开视频或摄像头时都使用该成员函数判断是否打开成功)。
二、视频读取
视频帧读取到cv::Mat矩阵中,有两种方式:
一种是read()操作
cv::Mat frame;
cap.read(frame);
另一种是 “>>”操作。
cv::Mat frame;
cap >> frame;
三、设置和获取摄像头属性参数
比如设置属性参数, bool VideoCapture::set(int propertyId, double value),设置成功返回ture,失败返回false。参数:第一个是属性ID,第二个是该属性要设置的值。
capture.set(CV_CAP_PROP_FRAME_WIDTH, 1080);//宽度
capture.set(CV_CAP_PROP_FRAME_HEIGHT, 960);//高度
capture.set(CV_CAP_PROP_FPS, 30);//帧率 帧/秒
capture.set(CV_CAP_PROP_BRIGHTNESS, 1);//亮度 1
capture.set(CV_CAP_PROP_CONTRAST,40);//对比度 40
capture.set(CV_CAP_PROP_SATURATION, 50);//饱和度 50
capture.set(CV_CAP_PROP_HUE, 50);//色调 50
capture.set(CV_CAP_PROP_EXPOSURE, 50);//曝光 50
capture.set(CV_CAP_PROP_FOURCC, 50);//FOURCC编解码器的4个字符代码。
capture.set(CV_CAP_PROP_POS_AVI_RATIO,0);//视频文件的相对位置:0-胶片开始,1-胶片结束。
capture.set(CV_CAP_PROP_CONVERT_RGB,1);//表示图像是否应转换为RGB的布尔标志
capture.set(CV_CAP_PROP_RECTIFICATION,1);//立体摄像机的整流标志(注意:只有当前支持DC1394 v 2.x后端)
比如获取属性参数, double VideoCapture::get(int propId),参数:第一个是属性的ID。如果查询的视频属性是VideoCapture类不支持的,将会返回0。
int nFrameWidth = capture.get(CV_CAP_PROP_FRAME_WIDTH);
int nFrameHeight = capture.get(CV_CAP_PROP_FRAME_HEIGHT);
double fFrameRate = capture.get(CV_CAP_PROP_FPS);
int nBrightness = capture.get(CV_CAP_PROP_BRIGHTNESS);
int nContrast = capture.get(CV_CAP_PROP_CONTRAST);
int nSaturation = capture.get(CV_CAP_PROP_SATURATION);
int nHue = capture.get(CV_CAP_PROP_HUE);
int nExposure = capture.get(CV_CAP_PROP_EXPOSURE);
double fFrameCount = capture.get(CV_CAP_PROP_FRAME_COUNT);//总帧数
double fFramePos = capture.get(CV_CAP_PROP_POS_FRAMES);//视频帧号,0-based index of the frame to be decoded/captured next.
double fTimestamp = capture.get(CV_CAP_PROP_POS_MSEC);//时间戳(毫秒),position of the video file in milliseconds or video capture timestamp.
int ex = static_cast<int>(capture.get(CV_CAP_PROP_FOURCC));//获取FOURCC4个字符表示的视频编码器格式
// Transform from int to char via Bitwise operators
char EXT[] = {(char)(ex & 0XFF),(char)((ex & 0XFF00) >> 8),(char)((ex & 0XFF0000) >> 16),(char)((ex & 0XFF000000) >> 24),0};
如果是MPEG4编码,ex为0x7634706d,EXT为mp4v
如果是H264编码,ex为0x31637661,EXT为avc1
如果是H265编码,ex为0x31637662,EXT为avc2
CV_FOURCC获取编码格式:
cv.VideoWriter.fourcc(‘P’, ‘I’, ‘M’, ‘1’) 表示 MPEG-1 codec
cv.VideoWriter.fourcc(‘M’, ‘J’, ‘P’, ‘G’) 表示 motion-jpeg codec
cv.VideoWriter.fourcc(‘M’, ‘P’, ‘4’, ‘2’) 表示 MPEG-4.2 codec
cv.VideoWriter.fourcc(‘D’, ‘I’, ‘V’, ‘3’) 表示 MPEG-4.3 codec
cv.VideoWriter.fourcc(‘D’, ‘I’, ‘V’, ‘X’) 表示 MPEG-4 codec
cv.VideoWriter.fourcc(‘U’, ‘2’, ‘6’, ‘3’) 表示 H263 codec
cv.VideoWriter.fourcc(‘I’, ‘2’, ‘6’, ‘3’) 表示 H263I codec
cv.VideoWriter.fourcc(‘F’, ‘L’, ‘V’, ‘1’) 表示 FLV1 codec
四、设置视频帧的读取位置
VideoCapture类的set方法可以允许我们取出视频中某个位置的帧,它有一些参数,可以按时间,也可以按帧号,还可以按视频长短的比例。
double position=100.0;
capture.set(CV_CAP_PROP_POS_FRAMES,position);//帧号
double position=10000;
capture.set(CV_CAP_PROP_POS_MSEC,position);//时间戳位置(毫秒)
double position=0.5;
capture.set(CV_CAP_PROP_POS_AVI_RATIO,position);//视频1/2位置
五、关闭视频文件或者摄像头。
VideoCapture::release()
六、实例
1、读取本地视频文件或网络视频文件。
#include<opencv2/opencv.hpp>
using namespace cv;
void main(){
VideoCapture cap;
cap.open("d:\test.mp4");
//cap.open("http://xxx/test.mp4");//http视频url地址
if(!cap.isOpened())//如果视频不能正常打开则返回
return;
Mat frame;
while(true)
{
cap>>frame;//等价于cap.read(frame);
if(frame.empty())//如果某帧为空则退出循环
break;
imshow("video", frame);
waitKey(25);//每帧延时25毫秒
}
cap.release();//释放资源
}
2、读取摄像头视频
#include<opencv2/opencv.hpp>
using namespace cv;
void main(){
//打开摄像机设备
cv::VideoCapture cap= cv::VideoCapture(0);
//先设置采集格式
cap.set(CV_CAP_PROP_FOURCC, cv::VideoWriter::fourcc('M', 'J', 'P', 'G'));
//再设置高清采集分辨率
cap.set(CV_CAP_PROP_FRAME_WIDTH, 1920);
cap.set(CV_CAP_PROP_FRAME_HEIGHT, 1080);
if(!cap.isOpened())
return;
Mat frame;
while(1)
{
cap>>frame;
if(frame.empty())
break;
imshow("video", frame);
if(waitKey(25)>0)//按下任意键退出摄像头
break;
}
cap.release();
destroyAllWindows();//关闭所有窗口
}
七、注意事项
1、OpenCV3和OpenCV2类似,视频的读、写操作,分别通过cv::VideoCapture和cv::VideoWriter两个类来实现。
2、使用opencv中 “cv::VideoCapture” 函数,无法读取本地文件;报错内容显示:报错:cv::CvCapture_Images::open CAP_IMAGES: Stop scanning. Can 或者“Read video Failed”。解决方法:将opencv视频解码依赖ffmpeg库拷贝到当前目录下即可。比如:opencv_videoio_ffmpeg455_64.dll(455_64表示opencv库的版本)
由于OpenCV对视频进行处理时,只能处理.avi格式的文件。不能打开.mp4格式的文件。需要将opencv安装包的opencv_ffmpeg.dll或opencv_videoio_ffmpeg版本号xxx.dll文件拷贝到相应的工程文件夹内就可以支持.mp4文件了。
3、打开摄像头高分辨率下有时延:在缺省情况下用VideoCapture打开摄像头,小分辨率640x480可以实时显示,但1920x1080时就会有将近1秒多的时延。
解决方法一:
可以设置缓存区大小。使用设置属性接口将buffersize改小,使得高分辨率下也可以实时显示。
capture.set(CV_CAP_PROP_BUFFERSIZE,1);
解决方法二:
很多摄像头,在YUV2输出格式高分辨率的情况下都不到15帧,以MJPG输出格式解码能达到30帧。
//打开摄像机设备
cv::VideoCapture cap= cv::VideoCapture(0);
//先设置采集格式
cap.set(CV_CAP_PROP_FOURCC, cv::VideoWriter::fourcc('M', 'J', 'P', 'G'));
//再设置高清采集分辨率
cap.set(CV_CAP_PROP_FRAME_WIDTH, 1920);
cap.set(CV_CAP_PROP_FRAME_HEIGHT, 1080);
4、VideoCapture打开网络视频文件目前只支持http格式和rtsp格式网络视频文件。