FFmpeg在JAVA中的使用以及Process.waitFor()引发的阻塞问题

此文已由作者叶海啸授权网易云社区发布。

欢迎访问网易云社区，了解更多网易技术产品运营经验。

FFmpeg是一个开源免费跨平台的视频和音频流方案，可以快速对音视频流进行多方面的处理，本文主要介绍FFmpeg常用的命令与参数讲解，如何在JAVA中使用FFmpeg以及遇到的一些问题。

背景

项目需求中涉及到有关于视频、音频的一系列处理，包含视频中音频提取、视频首帧提取、音频重采样、字幕压缩的功能，一直在研究ffmpeg，仅仅几个功能，却深受ffmpeg的折磨。

今天谈谈ffmpeg在java中的简单使用，首先下载ffmpeg包，官方地址：http://ffmpeg.org/download.html， 这里建议下载Linux Static Builds版本的，轻小而且解压后可以直接使用，本人使用的版本是ffmpeg-git-20170922-64bit-static.tar.xz。

解压之后，文件夹中有一个可执行文件ffmpeg，在linux上可以直接运行./ffmpeg -version，可以查看ffmpeg的版本信息，以及configuration配置信息。

基本命令

• 视频中音频提取：ffmpeg -i [videofile] -vn -acodec copy [targetaudiofile]

• 视频首帧提取：ffmpeg -i [videofile] -vframes 1 -q:v 2 -f image2  [imagefile]

• 音频重采样：ffmpeg -i [audiofile] -ar [samplingrate]  [targetaudiofile]

• 字幕压缩：ffmpeg -i [videofile] -vf subtitles=[subtitle.srt] [targetvideofile]

命令说明

• audiofile、videofile是音视频源文件，可以是本地文件，也可以是网络文件URL；

• 提取音频流时，-vn 忽略视频流 -acodec 设定声音编解码器，未设定时则使用与输入流相同的编解码器，如果需要提取视频流，则参数变为-an -vcodec；

• -vframes 表示提取的第几帧，获取第一桢则后面的值为1，如果后面的值大于1，那么最后的[imagefile]不能指定一个文件，不然会报错，如下 

• 指定了输出的文件名为“1.jpeg”，报错：不能从1.jpeg文件中获取第二帧的文件名，因为-vframes只要大于1，则会提取出每一帧的图片，建议使用如%03d.jpeg来作为文件名，那么它解析的结果便是001.jpeg，002.jpeg，...依次编号往后；

• -q:v 2 q代表质量quality, v代表视频流，2是控制质量的参数；-f指定输出的格式是image2；

• 除了使用-vframes来获取视频帧，还有使用-ss参数来获取，-ss后的时间参数是自行设定，并且在视频的有效时间内（格式为00:00:00），使用-ss时，如果没有使用%03d.jpeg来作为文件名，则获取的是-ss参数指定的那个时间的帧；

• -ar表示使用新的采样率，常用的有8,000Hz、16,000Hz、22,050Hz、32,000Hz、44,100Hz；

• subtitle.srt是字幕文件（中文字幕即把英文变为中文，其它格式一致），这边就使用最简单的srt标准格式，srt文件写入的字符编码需要是UTF-8，否则压缩的时候会报无法读取srt文件；

• 若想压缩中文字幕，需要系统中有中文字体，使用fc-list查询系统支持的字体，fc-list :lang=zh查询支持的中文字体

JAVA使用遇到的问题

一般需要调用系统命令时，大部分人第一反应肯定是使用Runtime.getRuntime().exec(command)返回一个process对象，再调用process.waitFor()来等待命令执行结束，获取执行结果。

产品刚上线，运行很稳定，但是没过多久，产品同学说从某个时间点开始添加的视频都不出来了！因为这个视频必须要经过一系列的处理，才会展示出来，所以中途某个环节出错了。

首先查看了日志，没有发现任何的报错，但是幸好开发的时候加了debug日志，每一句命令exec前后都会打一句log，于是看下是否“开始执行”和“执行成功”两句log都打印了，结果发现在截取首帧的时候，只打印了“开始执行”，一直没有结束，那么猜测进程堵塞了。

但是，我把产品同学的视频拿过来，直接执行提取视频第一帧的命令，提示图片未提取成功，后来发现该视频是产品同学通过某个压缩工具压缩过的，点开视频可以看见黑屏，看不到任何东西，肯定是压缩时把视频压缩出错了，但是截取首帧命令既然执行结束了，按道理不应该一直堵塞啊？ 　　 

于是通过dump下了内存镜像文件，命令jmap -dump:live,format=b,file=heap.dmp PID，通过jvisualvm工具查看，发现有很多如下的堆栈： 　　  

因此可以判断，确实是在截取首帧的时候，进程阻塞了，但是为什么会阻塞？？？

解决方案

查看waitFor()源码可以发现，其实调用的是Object类中的，wait()方法，并且未指定等待时间，那么如果一直不返回，则会一直阻塞。

并且查看了JDK的帮助文档，如下 　　 

因此，可以得出结论：如果外部程序不断在向标准输出流（对于jvm来说就是输入流）和标准错误流写数据，而JVM不读取的话，当缓冲区满之后将无法继续写入数据，最终造成阻塞在waitFor()这里。

解决方法：在waitFor()之前，利用单独两个线程，分别处理process的getInputStream()和getErrorSteam()，防止缓冲区被撑满，导致阻塞；

 /**
 * 处理process输出流和错误流，防止进程阻塞
 * 在process.waitFor();前调用
 * @param process
 */
private static void dealStream(Process process) {
    if (process == null) {
        return;
    }
    // 处理InputStream的线程
    new Thread() {
        @Override
        public void run() {
            BufferedReader in = new BufferedReader(new InputStreamReader(process.getInputStream()));
            String line = null;
            try {
                while ((line = in.readLine()) != null) {
                    logger.info("output: " + line);
                }
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                try {
                    in.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }.start();
    // 处理ErrorStream的线程
    new Thread() {
        @Override
        public void run() {
            BufferedReader err = new BufferedReader(new InputStreamReader(process.getErrorStream()));
            String line = null;
            try {
                while ((line = err.readLine()) != null) {
                    logger.info("err: " + line);
                }
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                try {
                    err.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }.start();
}

免费体验云安全(易盾)内容安全、验证码等服务

更多网易技术、产品、运营经验分享请点击。

相关文章：
【推荐】 10本最热门科普书免费送！人工智能数学物理获奖经典佳作！