请求为fun_asr_nano添加pcm、numpy直接推理

[kenneth55555]

1 必须保存成磁盘文件无法在纯内存中操作音频，是硬伤
2 加载时内存占用太疯了，显存占用明明只有2.2G，加载时却要12G以上内存，内存涨价，救救孩子吧
3 有没办法关掉时间戳，只输出推理文本，这应该能加快一丢丢推理速度

[LauraGPT]

我重新按 FunASR 1.3.14 和当前 main 做了真实模型测试，需要先纠正之前的回复：Fun-ASR-Nano 目前不能把 np.ndarray 直接传给 generate()。Nano 的这条输入分支只处理文件路径或 torch.Tensor，直接传 NumPy 会报 TypeError: 'NoneType' object is not iterable。

1. PCM / NumPy 可以纯内存推理，但请先转成 16 kHz 单声道 Tensor

下面这条路径不写磁盘：

import numpy as np
import torch
import torchaudio
from funasr import AutoModel

model = AutoModel(
    model="FunAudioLLM/Fun-ASR-Nano-2512",
    hub="hf",
    trust_remote_code=True,
    device="cuda:0",
    ctc_decoder=None,  # 只需要文本时关闭 CTC 时间戳分支
)

def numpy_to_16k_mono_tensor(audio_np, sample_rate):
    """audio_np 必须是一维、单声道、归一化到 [-1, 1] 的音频。"""
    audio_np = np.asarray(audio_np)
    if audio_np.ndim != 1:
        raise ValueError("请先按实际声道布局转换成一维单声道音频")
    audio = torch.from_numpy(np.ascontiguousarray(audio_np, dtype=np.float32))
    if sample_rate != 16000:
        audio = torchaudio.functional.resample(audio, sample_rate, 16000)
    return audio

audio = numpy_to_16k_mono_tensor(audio_np, sample_rate)
result = model.generate(input=audio, bf16=True)  # Ampere/Hopper；不支持 BF16 时去掉 bf16=True
print(result[0]["text"])

16-bit little-endian PCM bytes 可以这样处理；多声道 PCM 先按交错布局 reshape 后平均：

def pcm_s16le_to_16k_mono_tensor(pcm_bytes, sample_rate=16000, channels=1):
    audio_np = np.frombuffer(pcm_bytes, dtype="<i2").astype(np.float32) / 32768.0
    if channels > 1:
        audio_np = audio_np.reshape(-1, channels).mean(axis=1)
    return numpy_to_16k_mono_tensor(audio_np, sample_rate)

audio = pcm_s16le_to_16k_mono_tensor(pcm_bytes, sample_rate=48000, channels=1)
result = model.generate(input=audio, bf16=True)

我验证了文件解码后的 Tensor、S16LE PCM 转 Tensor、48 kHz 内存重采样到 16 kHz 三条路径，三者输出文本完全一致。当前版本也不要给 Nano 传 fs=：1.3.14 和当前 main 都会在这条路径触发重复 fs 参数并最终报 UnboundLocalError，请像上面一样在调用前重采样。

2. 加载时 CPU 内存明显高于最终显存，是现有加载流程造成的

这个 checkpoint 的 model.pt 约 1.97 GB。当前加载器会先构造模型，再通过 torch.load() 把完整 state dict 放到 CPU，并对 state dict 做一次 deepcopy，因此加载瞬间会同时存在多份权重，CPU 峰值远高于最终 GPU 常驻显存。

在 H100、PyTorch 2.6.0+cu124 上，我测到：

• FunASR 1.3.14 默认：CPU MaxRSS 约 6701 MiB，GPU 加载后约 2192 MiB；
• FunASR 1.3.14 加 ctc_decoder=None：CPU MaxRSS 约 6528 MiB，GPU 加载后约 2043 MiB；
• 当前 main 结果也在约 6527-6700 MiB CPU / 2043 MiB GPU。

具体峰值会随 PyTorch、Python、allocator 和宿主环境变化，所以你看到 12 GB 以上是可能的；但目前 AutoModel 没有类似 Transformers low_cpu_mem_usage 的流式加载开关。ctc_decoder=None 只能少占约 173 MiB CPU 峰值，不能根治多份 state dict 的峰值。如果机器内存非常紧，可以考虑仓库提供的 GGUF / llama.cpp Fun-ASR-Nano runtime，但它使用的是另一套 API。

3. 只输出文本：在构造模型时传 ctc_decoder=None

model = AutoModel(
    model="FunAudioLLM/Fun-ASR-Nano-2512",
    hub="hf",
    trust_remote_code=True,
    device="cuda:0",
    ctc_decoder=None,
)

output_timestamp=False 不能关闭 Nano 的这个 CTC 分支。官方 2512 checkpoint 实际缺少全部 86 个 CTC 权重；FunASR 1.3.14 默认仍会构造未加载权重的 CTC decoder，我的测试中它输出了 14 段 timestamps，这些时间戳不应当使用。传 ctc_decoder=None 后结果只保留文本字段，文本内容一致。当前 main 已增加保护，发现 CTC 权重全部缺失时会自动关闭该分支。

关闭后资源略有下降，但热启动推理耗时有测量波动，暂时不能承诺稳定加速。

复现版本：FunASR 1.3.14 与 main@1d8080a，模型 272c57b，PyTorch/TorchAudio 2.6.0+cu124，NVIDIA H100。

相关实现：Nano 输入分支、权重加载流程、当前 CTC 缺失权重保护。