javaCV开发详解之4:转流器实现(也可作为本地收流器、推流器,新增添加图片及文字水印,视频图像帧保存),实现rtsp/rtmp/本地文件转发到rtmp流媒体服务器(基于javaCV-FFMPEG)
前言
上一章中实现了本地推流器和本地摄像头录制功能:http://blog.csdn.net/eguid_1/article/details/52678775 本章基于javaCV实现转流器和收流器功能,测试采用监控rtsp地址转发至rtmp服务器地址。
更好的转流实现参照这章:javaCV开发详解之8:转封装在rtsp转rtmp流中的应用(无须转码,更低的资源消耗,更好的性能,更低延迟)
- 新增openCV保存图片功能。
- 补充:
- 作为转流器可以轻松实现rtsp/rtmp/本地文件/本地摄像头推送到rtmp流媒体服务器;
- 作为收流器可以用来把流媒体服务器视频流录制到本地文件。
- 关于默认接收/推送rtsp流丢帧问题,由于ffmpeg默认采用udp方式,所以可以通过更改为tcp的方式来实现丢帧补偿,解决方式如下:
- FFmpeg命令方式:增加一个配置命令 -rtsp_transport tcp
- javacv方式:FFmpegFrameGrabber.java中533行 AVDictionary options= new AVDictionary(null);后面增加一个配置av_dict_set(options, "rtsp_transport", "tcp", 0); 即可
- ffmpeg原生方式:同上
一、所依赖的包
具体依赖包请查看javacv开发详解之1。本章使用windows环境开发,基于javaCV的基础支撑包以及ffmpeg-3.1.2-1.2.jar、ffmpeg-3.1.2-1.2-windows-x86.jar、ffmpeg-3.1.2-1.2-windows-x86_64.jar;
补充:
- 如果想要给视频添加水印,需要从视频中取出图像帧,给图像帧添加文字、图片水印即可
- 在此之前我们需要取到BufferedImage,通过这个我们就可以用java的方式添加水印
- 如何用java添加水印:http://blog.csdn.net/eguid_1/article/details/52973508
- 如何从grabber中获取BufferedImage:
//获取BufferedImage可以给图像帧添加水印
Java2DFrameConverter javaconverter=new Java2DFrameConverter();
BufferedImage buffImg=javaconverter.convert(grabber.grab());
获取到了BufferedImage我们就可以给视频帧添加文字或者图片水印了
二、代码实现
本功能实现按帧取流和转发服务
/**
* 转流器
* @param inputFile
* @param outputFile
* @throws Exception
* @throws org.bytedeco.javacv.FrameRecorder.Exception
* @throws InterruptedException
*/
public static void recordPush(String inputFile,String outputFile,int v_rs) throws Exception,org.bytedeco.javacv.FrameRecorder.Exception,InterruptedException{
FrameGrabber grabber =new FFmpegFrameGrabber(inputFile);
try {
grabber.start();
} catch (Exception e) {
throw e;
}
//一个opencv视频帧转换器
OpenCVFrameConverter.ToIplImage converter = new OpenCVFrameConverter.ToIplImage();
Frame grabframe =grabber.grab();
IplImage grabbedImage =null;
if(grabframe!=null){
System.out.println("取到第一帧");
grabbedImage = converter.convert(grabframe);
}else{
System.out.println("没有取到第一帧");
}
// 如果想要保存图片,可以用如下函数来保存图片
// opencv_imgcodecs.cvSaveImage("hello.jpg", grabbedImage);
FrameRecorder recorder;
try {
recorder = FrameRecorder.createDefault(outputFile, 1280, 720);
} catch (org.bytedeco.javacv.FrameRecorder.Exception e) {
throw e;
}
recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264); // avcodec.AV_CODEC_ID_H264
recorder.setFormat("flv");
recorder.setFrameRate(v_rs);
recorder.setGopSize(v_rs);
try {
recorder.start();
} catch (org.bytedeco.javacv.FrameRecorder.Exception e) {
System.out.println("录制器启动失败");
throw e;
}
CanvasFrame frame = new CanvasFrame("camera", CanvasFrame.getDefaultGamma() / grabber.getGamma());
frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
frame.setAlwaysOnTop(true);
while (frame.isVisible() && (grabframe=grabber.grab()) != null) {
EnumSet<Type> videoOrAudio=frame.getTypes();
if(videoOrAudio.contains(Type.VIDEO)) {
frame.showImage(grabframe);
}
if(rotatedFrame!=null){
recorder.record(rotatedFrame);
}
}
recorder.close();
grabber.close();
}
三、测试转流服务
public static void main(String[] args) throws FrameRecorder.Exception, FrameGrabber.Exception,InterruptedException{
String inputFile = "rtsp://admin:admin@192.168.2.236:37779/cam/realmonitor?channel=1&subtype=0";
String outputFile="rtmp://192.168.30.21/live/pushFlow";
recordPush(inputFile, outputFile,25);
}
四、优化后的代码
/**
* 转流器
*
* @param inputFile
* @param outputFile
* @param convert 是否转吗
* @throws Exception
* @throws org.bytedeco.javacv.FrameRecorder.Exception
* @throws InterruptedException
*/
public static void recordPush(String inputFile, String outputFile, boolean convert) throws IOException {
FrameGrabber grabber = new FFmpegFrameGrabber(inputFile);
grabber.start();
FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputFile, grabber.getImageWidth(), grabber.getImageHeight(), grabber.getAudioChannels());
recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264); // avcodec.AV_CODEC_ID_H264
recorder.setFormat("flv");
recorder.setFrameRate(grabber.getFrameRate());
recorder.setGopSize((int) grabber.getFrameRate());
recorder.start();
CanvasFrame frame = new CanvasFrame("camera", CanvasFrame.getDefaultGamma() / grabber.getGamma());
frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
frame.setAlwaysOnTop(true);
Frame grabFrame;
Frame firstFrame = null;
while (frame.isVisible() && (grabFrame = grabber.grab()) != null) {
EnumSet<Frame.Type> videoOrAudio = grabFrame.getTypes();
if (videoOrAudio.contains(Frame.Type.VIDEO)) {
if (convert) {
//一个opencv视频帧转换器
OpenCVFrameConverter.ToIplImage converter = new OpenCVFrameConverter.ToIplImage();//转换器
IplImage grabbedImage = converter.convert(grabFrame);//抓取一帧视频并将其转换为图像,至于用这个图像用来做什么?加水印,人脸识别等等自行添加
Frame rotatedFrame = converter.convert(grabbedImage);
grabFrame = rotatedFrame;
if (firstFrame == null) {
firstFrame = grabFrame;
System.out.println("取到第一帧");
// 如果想要保存图片,可以用如下函数来保存图片
// opencv_imgcodecs.cvSaveImage("hello.jpg", grabbedImage);
}
}
frame.showImage(grabFrame);
}
recorder.record(grabFrame);
}
recorder.close();
grabber.close();
}
本文由 创作,采用 知识共享署名4.0 国际许可协议进行许可。本站文章除注明转载/出处外,均为本站原创或翻译,转载前请务必署名。最后编辑时间为: 2020/07/17 13:04