Android音频之车载输入设备

 

Android音频之车载输入设备

Android Automotive OS (AAOS) 提供了对车载音频输入设备的支持,允许开发者在复杂的车载音频场景中轻松管理麦克风和其他音频输入源。

官方网站 https://source.android.com/docs/automotive/audio/microphone-input

官方网站 https://source.android.com/docs/automotive/audio/optional-player?hl=zh-cn


麦克风输入

在捕获音频时,音频 HAL 会收到 openInputStream 调用,其中包含指示应如何处理麦克风输入的 AudioSource 参数。

VOICE_RECOGNITION 源需要一个符合以下条件的立体声麦克风流:具有回声消除效果(如果有),但不应用任何其他处理。

多声道麦克风输入

若要从具有两个以上声道(立体声)的设备捕获音频,请使用声道索引掩码,而不是定位索引掩码(例如 CHANNEL_IN_LEFT)。例如:

final AudioFormat audioFormat = new AudioFormat.Builder()
    .setEncoding(AudioFormat.ENCODING_PCM_16BIT)
    .setSampleRate(44100)
    .setChannelIndexMask(0xf /* 4 channels, 0..3 */)
    .build();
final AudioRecord audioRecord = new AudioRecord.Builder()
    .setAudioFormat(audioFormat)
    .build();
audioRecord.setPreferredDevice(someAudioDeviceInfo);

如果 setChannelMask 和 setChannelIndexMask 均已设置,则 AudioRecord 仅使用由 setChannelMask 设置的值(最多两个声道)。

示例

private AudioRecord mAudioRecord;
private final int mSampleRate = 48000;
private final int mFormat = AudioFormat.ENCODING_PCM_16BIT;
private int mChannelsMask ;
private int mChannels = 0;
private int mSource = MediaRecorder.AudioSource.MIC;
if (mChannels == 1) {
    mChannelsMask = AudioFormat.CHANNEL_IN_MONO;
    int bufSize = AudioRecord.getMinBufferSize(mSampleRate, mChannelsMask, mFormat);
    mAudioRecord = new AudioRecord(mSource, mSampleRate, mChannelsMask, mFormat, bufSize);
} else if (mChannels == 2) {
    mChannelsMask = AudioFormat.CHANNEL_IN_STEREO;
    int bufSize = AudioRecord.getMinBufferSize(mSampleRate, mChannelsMask, mFormat);
    mAudioRecord = new AudioRecord(mSource, mSampleRate, mChannelsMask, mFormat, bufSize);
} else if (mChannels == 4) {
    mAudioRecord = new AudioRecord.Builder()
            .setAudioSource(mSource)
            .setAudioFormat(new AudioFormat.Builder()
                    .setEncoding(mFormat)
                    .setSampleRate(mSampleRate)
                    .setChannelIndexMask(0xf /* 0xf: 4channels, 0...4 */)
                    .build())
            .build();
} else if (mChannels == 8) {
    mAudioRecord = new AudioRecord.Builder()
            .setAudioSource(mSource)
            .setAudioFormat(new AudioFormat.Builder()
                    .setEncoding(mFormat)
                    .setSampleRate(mSampleRate)
                    .setChannelIndexMask(0xff)
                    .build())
            .build();
}

并发捕获

从 Android 10 开始,Android 框架支持并发捕获输入,但具有保护用户隐私的限制。作为这些限制的一部分,AUDIO_SOURCE_FM_TUNER 等虚拟来源会被忽略,因此可以与常规输入(例如麦克风)同时捕获。HwAudioSource 不属于并发捕获限制的一部分。

如果应用设计用于与 AUDIO_DEVICE_IN_BUS 设备或辅助 AUDIO_DEVICE_IN_FM_TUNER 设备一起使用,则必须能够明确识别这些设备,并使用 AudioRecord.setPreferredDevice() 绕过 Android 默认声源选择逻辑。


连接输入设备

您可以使用以下机制在 Android 中播放音频:

  • 媒体播放器
  • Exo player
  • 音轨
  • AAudio

每种机制都允许在 Android 中执行音频播放。对于播放电台内容还是来自输入设备的内容,这些选项可能不够用,但每种选项都可以与音频捕获或 MediaRecorder 类结合使用,以便先捕获音频,然后通过 Android 播放。特别是对于系统应用,以下信息可用于将输入设备连接到 AAOS 中的输出混音器。

HwAudioSource播放器

HwAudioSource 将音频来源设备直接连接到 Android 混音器。实际上就是AudioServer层面的一个把输入设备播放到输出设备的Loopback回环

动机

在 Android 中使用设备到设备或硬件音频补丁程序时,可能会存在一些限制。每个选项都会无法接收 PLAYPAUSESTOP 等媒体键事件,因为它们会绕过 Android 音频堆栈,每一个都需要由硬件将通路混合到 Android 的其他音频中。

使用 HwAudioSource

HwAudioSource 是一款设计成软件通路的新型播放器。这让使用此播放器的应用可以接收媒体键事件,并通过 Android 对输出流进行混合和路由。

AudioDeviceInfo inDevs[] = mAudioManager.getDevices(AudioManager.GET_DEVICES_INPUTS);
int fmInfoIndex = -1;
for (int i = 0; i < inDevs.length; i++) {
    if (inDevs[i].getType() == AudioDeviceInfo.TYPE_FM_TUNER) {
        fmInfoIndex = i;
        break;
    }
}
if (fmInfoIndex == -1) {
    return;
}
mHwAudioSource = new HwAudioSource.Builder()
                .setAudioDeviceInfo(inDevs[fmInfoIndex])
                .setAudioAttributes(new AudioAttributes.Builder()
                        .setUsage(AudioAttributes.USAGE_MEDIA)
                        .build())
                .build();
mHwAudioSource.play();
mHwAudioSource.stop();

音频 HAL 的更改

使用这个新型播放器时,请考虑对音频 HAL 的这些预期。例如,device/generic/car/emulator/audio/driver/audio_hw.c

  • adev_create_audio_patch 接收请求来建立从设备到混音器的音频通路。

  • adev_open_input_stream 预期 audio_sourceAUDIO_SOURCE_FM_TUNER

  • in_read 使用广播电台音频数据填充音频缓冲区。

建议您在 audio_policy_configuration.xml 中配置一个类型为 AUDIO_DEVICE_IN_FM_TUNER 的调谐器设备:

<devicePort
    tagName="Tuner_source"
    type="AUDIO_DEVICE_IN_FM_TUNER"
    role="source"
    address="tuner0">
    <profile
        name=""
        format="AUDIO_FORMAT_PCM_16_BIT"
        samplingRates="48000"
        channelMasks="AUDIO_CHANNEL_IN_STEREO"/>
</devicePort>

借助这项设备配置,您可结合使用 AudioManager.getDevices(AudioManager.GET_DEVICES_INPUTS)AudioDeviceInfo.TYPE_FM_TUNER 以便更快捷地查找 FM 电台输入设备。

创建音频通路

您可以在两个音频端口(混音端口或设备端口)之间创建音频通路。通常,从混音端口到设备端口的音频通路用于播放音频,而从设备端口到混音端口的音频通路则用于捕获音频。

例如,将音频样本直接从 FM_TUNER 来源路由到媒体接收器的音频通路会绕过软件混音器。因此,您必须使用硬件混音器为接收器将来自 Android 和 FM_TUNER 的音频样本进行混音。创建直接从 FM_TUNER 来源到媒体接收器的音频通路时:

对音量的控制会作用于媒体接收器,并且应该会同时影响 Android 音频和 FM_TUNER 音频。

用户可以通过简单的应用切换在 Android 音频和 FM_TUNER 音频之间进行切换(不必明确选择媒体来源)。

Automotive 实现可能还需要在两个设备端口之间创建音频通路。为此,您必须先在 audio_policy_configuration.xml 中声明设备端口和可能的路由,并将混音端口与这些设备端口相关联。

示例配置 请参阅这个示例配置:device/generic/car/emulator/audio/audio_policy_configuration.xml

<audioPolicyConfiguration>
    <modules>
        <module name="primary" halVersion="3.0">
            <attachedDevices>
                <item>bus0_media_out</item>
                <item>bus1_audio_patch_test_in</item>
            </attachedDevices>
            <mixPorts>
                <mixPort name="mixport_bus0_media_out" role="source"
                        flags="AUDIO_OUTPUT_FLAG_PRIMARY">
                    <profile name="" format="AUDIO_FORMAT_PCM_16_BIT"
                            samplingRates="48000"
                            channelMasks="AUDIO_CHANNEL_OUT_STEREO"/>
                </mixPort>
                <mixPort name="mixport_audio_patch_in" role="sink">
                    <profile name="" format="AUDIO_FORMAT_PCM_16_BIT"
                           samplingRates="48000"
                           channelMasks="AUDIO_CHANNEL_IN_STEREO"/>
                </mixPort>
            </mixPorts>
            <devicePorts>
                <devicePort tagName="bus0_media_out" role="sink" type="AUDIO_DEVICE_OUT_BUS"
                        address="bus0_media_out">
                    <profile balance="" format="AUDIO_FORMAT_PCM_16_BIT"
                            samplingRates="48000" channelMasks="AUDIO_CHANNEL_OUT_STEREO"/>
                    <gains>
                        <gain name="" mode="AUDIO_GAIN_MODE_JOINT"
                                minValueMB="-8400" maxValueMB="4000" defaultValueMB="0" stepValueMB="100"/>
                    </gains>
                </devicePort>
                <devicePort tagName="bus1_audio_patch_test_in" type="AUDIO_DEVICE_IN_BUS" role="source"
                        address="bus1_audio_patch_test_in">
                    <profile name="" format="AUDIO_FORMAT_PCM_16_BIT"
                            samplingRates="48000" channelMasks="AUDIO_CHANNEL_IN_STEREO"/>
                    <gains>
                        <gain name="" mode="AUDIO_GAIN_MODE_JOINT"
                                minValueMB="-8400" maxValueMB="4000" defaultValueMB="0" stepValueMB="100"/>
                    </gains>
                </devicePort>
            </devicePorts>
            <routes>
                <route type="mix" sink="bus0_media_out" sources="mixport_bus0_media_out,bus1_audio_patch_test_in"/>
                <route type="mix" sink="mixport_audio_patch_in" sources="bus1_audio_patch_test_in"/>
            </routes>
        </module>
    </modules>
</audioPolicyConfiguration>