Android - 使用 MediaMuxer 与 MediaExtractor 以及 PCM 流导致视频帧损坏
创始人
2024-08-12 05:30:44
0

问题描述: 在 Android 中使用 MediaMuxer 和 MediaExtractor 对 PCM 流进行音视频合成时,导致最终生成的视频帧损坏。

解决方法: 问题的根本原因是 PCM 流的采样率和编码格式与视频的要求不匹配。为了解决这个问题,我们需要对 PCM 流进行适当的转换和编码。

以下是一个可能的解决方法,包含了代码示例:

import android.media.MediaCodec;
import android.media.MediaCodecInfo;
import android.media.MediaCodecList;
import android.media.MediaExtractor;
import android.media.MediaFormat;
import android.media.MediaMuxer;
import android.os.Build;
import android.util.Log;

import java.io.IOException;
import java.nio.ByteBuffer;

public class VideoEncoder {
    private static final String TAG = "VideoEncoder";
    private static final String OUTPUT_VIDEO_MIME_TYPE = "video/avc";
    private static final int OUTPUT_VIDEO_BIT_RATE = 4000000;
    private static final int OUTPUT_VIDEO_FRAME_RATE = 30;
    private static final int OUTPUT_VIDEO_IFRAME_INTERVAL = 10;

    public void encodePcmToVideo(String inputPcmPath, String outputVideoPath, int sampleRate, int channels, int bitRate) {
        MediaExtractor pcmExtractor = new MediaExtractor();
        MediaMuxer videoMuxer = null;

        try {
            pcmExtractor.setDataSource(inputPcmPath);

            // 创建视频编码器
            MediaCodec videoEncoder = createVideoEncoder();

            // 创建视频参数
            MediaFormat videoFormat = createVideoFormat(outputVideoPath);

            // 创建视频复用器
            videoMuxer = new MediaMuxer(outputVideoPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);

            // 添加视频轨道
            int videoTrackIndex = videoMuxer.addTrack(videoFormat);

            // 开始复用器
            videoMuxer.start();

            // 配置视频编码器
            videoEncoder.configure(videoFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
            videoEncoder.start();

            // 读取 PCM 数据并进行编码
            MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
            int sampleSize;
            long presentationTimeUs = 0;
            ByteBuffer[] encoderInputBuffers = videoEncoder.getInputBuffers();
            ByteBuffer[] encoderOutputBuffers = videoEncoder.getOutputBuffers();

            pcmExtractor.selectTrack(0);

            while ((sampleSize = pcmExtractor.readSampleData(encoderInputBuffers[0], 0)) >= 0) {
                long pts = pcmExtractor.getSampleTime();
                if (pts == 0) {
                    pts = presentationTimeUs;
                }
                presentationTimeUs = pts;

                // 将 PCM 数据传递给视频编码器
                videoEncoder.queueInputBuffer(0, 0, sampleSize, pts, 0);
                pcmExtractor.advance();

                // 处理编码后的视频帧
                int encoderStatus;
                do {
                    encoderStatus = videoEncoder.dequeueOutputBuffer(bufferInfo, 0);
                    if (encoderStatus >= 0) {
                        ByteBuffer encodedData = encoderOutputBuffers[encoderStatus];

                        // 设置视频帧的时间戳和标志位
                        if (bufferInfo.presentationTimeUs != 0) {
                            bufferInfo.flags |= MediaCodec.BUFFER_FLAG_SYNC_FRAME;
                        }

                        // 将编码后的视频数据写入输出文件
                        videoMuxer.writeSampleData(videoTrackIndex, encodedData, bufferInfo);
                        videoEncoder.releaseOutputBuffer(encoderStatus, false);
                    } else if (encoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
                        // 更新输出格式
                        videoFormat = videoEncoder.getOutputFormat();
                        Log.d(TAG, "Video format changed: " + videoFormat);
                    }
                } while (encoderStatus >= 0);
            }

            // 停止编码器和复用器
            videoEncoder.stop();
            videoEncoder.release();
            videoMuxer.stop();
            videoMuxer.release();

        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            pcmExtractor.release();
        }
    }

    private MediaCodec createVideoEncoder() throws IOException {
        MediaCodec encoder;
        if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {
            encoder = MediaCodec.createEncoderByType(OUTPUT_VIDEO_MIME_TYPE);
        } else {
            MediaCodecInfo codecInfo = selectCodec(OUTPUT_VIDEO_MIME_TYPE);
            encoder = MediaCodec.createByCodecName(codecInfo.getName());
        }
        return encoder

相关内容

热门资讯

安卓换鸿蒙系统会卡吗,体验流畅... 最近手机圈可是热闹非凡呢!不少安卓用户都在议论纷纷,说鸿蒙系统要来啦!那么,安卓手机换上鸿蒙系统后,...
安卓系统拦截短信在哪,安卓系统... 你是不是也遇到了这种情况:手机里突然冒出了很多垃圾短信,烦不胜烦?别急,今天就来教你怎么在安卓系统里...
app安卓系统登录不了,解锁登... 最近是不是你也遇到了这样的烦恼:手机里那个心爱的APP,突然就登录不上了?别急,让我来帮你一步步排查...
安卓系统要维护多久,安卓系统维... 你有没有想过,你的安卓手机里那个陪伴你度过了无数日夜的安卓系统,它究竟要陪伴你多久呢?这个问题,估计...
windows官网系统多少钱 Windows官网系统价格一览:了解正版Windows的购买成本Windows 11官方价格解析微软...
安卓系统如何卸载app,轻松掌... 手机里的App越来越多,是不是感觉内存不够用了?别急,今天就来教你怎么轻松卸载安卓系统里的App,让...
怎么复制照片安卓系统,操作步骤... 亲爱的手机控们,是不是有时候想把自己的手机照片分享给朋友,或者备份到电脑上呢?别急,今天就来教你怎么...
安卓系统应用怎么重装,安卓应用... 手机里的安卓应用突然罢工了,是不是让你头疼不已?别急,今天就来手把手教你如何重装安卓系统应用,让你的...
iwatch怎么连接安卓系统,... 你有没有想过,那款时尚又实用的iWatch,竟然只能和iPhone好上好?别急,今天就来给你揭秘,怎...
iphone系统与安卓系统更新... 最近是不是你也遇到了这样的烦恼?手机更新系统总是失败,急得你团团转。别急,今天就来给你揭秘为什么iP...