Android - 使用 MediaMuxer 与 MediaExtractor 以及 PCM 流导致视频帧损坏
创始人
2024-08-12 05:30:44
0

问题描述: 在 Android 中使用 MediaMuxer 和 MediaExtractor 对 PCM 流进行音视频合成时,导致最终生成的视频帧损坏。

解决方法: 问题的根本原因是 PCM 流的采样率和编码格式与视频的要求不匹配。为了解决这个问题,我们需要对 PCM 流进行适当的转换和编码。

以下是一个可能的解决方法,包含了代码示例:

import android.media.MediaCodec;
import android.media.MediaCodecInfo;
import android.media.MediaCodecList;
import android.media.MediaExtractor;
import android.media.MediaFormat;
import android.media.MediaMuxer;
import android.os.Build;
import android.util.Log;

import java.io.IOException;
import java.nio.ByteBuffer;

public class VideoEncoder {
    private static final String TAG = "VideoEncoder";
    private static final String OUTPUT_VIDEO_MIME_TYPE = "video/avc";
    private static final int OUTPUT_VIDEO_BIT_RATE = 4000000;
    private static final int OUTPUT_VIDEO_FRAME_RATE = 30;
    private static final int OUTPUT_VIDEO_IFRAME_INTERVAL = 10;

    public void encodePcmToVideo(String inputPcmPath, String outputVideoPath, int sampleRate, int channels, int bitRate) {
        MediaExtractor pcmExtractor = new MediaExtractor();
        MediaMuxer videoMuxer = null;

        try {
            pcmExtractor.setDataSource(inputPcmPath);

            // 创建视频编码器
            MediaCodec videoEncoder = createVideoEncoder();

            // 创建视频参数
            MediaFormat videoFormat = createVideoFormat(outputVideoPath);

            // 创建视频复用器
            videoMuxer = new MediaMuxer(outputVideoPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);

            // 添加视频轨道
            int videoTrackIndex = videoMuxer.addTrack(videoFormat);

            // 开始复用器
            videoMuxer.start();

            // 配置视频编码器
            videoEncoder.configure(videoFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
            videoEncoder.start();

            // 读取 PCM 数据并进行编码
            MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
            int sampleSize;
            long presentationTimeUs = 0;
            ByteBuffer[] encoderInputBuffers = videoEncoder.getInputBuffers();
            ByteBuffer[] encoderOutputBuffers = videoEncoder.getOutputBuffers();

            pcmExtractor.selectTrack(0);

            while ((sampleSize = pcmExtractor.readSampleData(encoderInputBuffers[0], 0)) >= 0) {
                long pts = pcmExtractor.getSampleTime();
                if (pts == 0) {
                    pts = presentationTimeUs;
                }
                presentationTimeUs = pts;

                // 将 PCM 数据传递给视频编码器
                videoEncoder.queueInputBuffer(0, 0, sampleSize, pts, 0);
                pcmExtractor.advance();

                // 处理编码后的视频帧
                int encoderStatus;
                do {
                    encoderStatus = videoEncoder.dequeueOutputBuffer(bufferInfo, 0);
                    if (encoderStatus >= 0) {
                        ByteBuffer encodedData = encoderOutputBuffers[encoderStatus];

                        // 设置视频帧的时间戳和标志位
                        if (bufferInfo.presentationTimeUs != 0) {
                            bufferInfo.flags |= MediaCodec.BUFFER_FLAG_SYNC_FRAME;
                        }

                        // 将编码后的视频数据写入输出文件
                        videoMuxer.writeSampleData(videoTrackIndex, encodedData, bufferInfo);
                        videoEncoder.releaseOutputBuffer(encoderStatus, false);
                    } else if (encoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
                        // 更新输出格式
                        videoFormat = videoEncoder.getOutputFormat();
                        Log.d(TAG, "Video format changed: " + videoFormat);
                    }
                } while (encoderStatus >= 0);
            }

            // 停止编码器和复用器
            videoEncoder.stop();
            videoEncoder.release();
            videoMuxer.stop();
            videoMuxer.release();

        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            pcmExtractor.release();
        }
    }

    private MediaCodec createVideoEncoder() throws IOException {
        MediaCodec encoder;
        if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {
            encoder = MediaCodec.createEncoderByType(OUTPUT_VIDEO_MIME_TYPE);
        } else {
            MediaCodecInfo codecInfo = selectCodec(OUTPUT_VIDEO_MIME_TYPE);
            encoder = MediaCodec.createByCodecName(codecInfo.getName());
        }
        return encoder

相关内容

热门资讯

避免在粘贴双引号时向VS 20... 在粘贴双引号时向VS 2022添加反斜杠的问题通常是由于编辑器的自动转义功能引起的。为了避免这个问题...
安装apache-beam==... 出现此错误可能是因为用户的Python版本太低,而apache-beam==2.34.0需要更高的P...
Android Recycle... 要在Android RecyclerView中实现滑动卡片效果,可以按照以下步骤进行操作:首先,在项...
安装了Anaconda之后找不... 在安装Anaconda后,如果找不到Jupyter Notebook,可以尝试以下解决方法:检查环境...
omi系统和安卓系统哪个好,揭... OMI系统和安卓系统哪个好?这个问题就像是在问“苹果和橘子哪个更甜”,每个人都有自己的答案。今天,我...
原生ios和安卓系统,原生对比... 亲爱的读者们,你是否曾好奇过,为什么你的iPhone和安卓手机在操作体验上有着天壤之别?今天,就让我...
Android - 无法确定任... 这个错误通常发生在Android项目中,表示编译Debug版本的Java代码时出现了依赖关系问题。下...
Android - NDK 预... 在Android NDK的构建过程中,LOCAL_SRC_FILES只能包含一个项目。如果需要在ND...
Akka生成Actor问题 在Akka框架中,可以使用ActorSystem对象生成Actor。但是,当我们在Actor类中尝试...
Agora-RTC-React... 出现这个错误原因是因为在 React 组件中使用,import AgoraRTC from “ago...