网上经常能看到这样的资源帖：【中英文稿】BBC NEWS 20260823-1200……，一段完整的新闻节目附带中英文逐字稿和双语字幕。很多人以为是人工听译的，其实这类内容完全可以走本地自动化：音频进来，先转写，再翻译，最后对齐生成双语字幕，全程可以跑在自己电脑上。这篇文章不讨论新闻事件本身，只拆一套可以本地部署的"音视频转中英文稿工具链"，覆盖语音识别、文本翻译、字幕对齐、批量任务、接口服务几个环节。

先给结论：这套工具链不需要很高的硬件门槛，支持 CPU 和 GPU 两种推理方式；如果只是偶尔处理几段音频，4G 显存或者 16G 内存的机器就可以跑小模型；如果需要更高识别精度，建议按实际模型尺寸准备足够的显存和磁盘空间。整个流程可以完全本地执行，也可以把转写能力封装成 API 接口，方便接到自己的字幕工具、内容生产流程或批量处理任务里。

本文会带读者完成：环境准备、依赖安装、音频转写、中英翻译、双语字幕生成、批处理脚本、API 服务封装，以及资源占用观察和常见问题排查。

1. 核心能力速览

能力项 说明
项目类型 本地化 ASR + 翻译 + 字幕生成工具链
核心功能 音频/视频转文字、英文转中文、双语字幕生成
推理引擎 faster-whisper 等 Whisper 系本地模型
硬件要求 支持 CPU 推理；有 NVIDIA GPU 可开启 CUDA 加速
显存占用 取决于模型版本、量化类型和输入长度，需按实际测试确认
启动方式 Python 脚本 / 命令行 / FastAPI 服务
接口 API 可封装为 HTTP 接口，支持文件上传和参数传递
批量任务 支持目录扫描、循环处理、日志记录和失败重试
输出格式 TXT、SRT、JSON 等，可按需组合
适合场景 播客转写、课程回放、新闻素材整理、字幕组工作流

从材料看，这套方案的关键优势是"本地化"和"可批量"。外部在线工具虽然方便，但涉及隐私素材时不好控制，而且批量处理往往需要付费。本地部署把数据留在自己机器上，批量任务也可以直接用脚本处理。

2. 适用场景与使用边界

2.1 适用场景

  • 播客和音频节目转文字稿，方便搜索和二次编辑。
  • 视频课程、讲座回放生成中英文字幕。
  • 新闻素材整理，尤其是需要快速查看内容大意的场景。
  • 字幕组或个人创作者将 YouTube、播客等个人合法素材转为双语字幕。
  • 企业内部会议纪要、访谈录音的本地化处理。

2.2 使用边界与合规提醒

首先要强调：处理任何音频素材前，必须确认素材来源合法且有使用授权。新闻节目、商业播客、影视剧、他人语音都可能涉及版权和肖像权、声音权问题。个人学习、技术测试可以理解，但公开再分发、商用、二次创作前必须获得权利方许可。

其次，自动转写和翻译不等于"完美"。专有名词、人名、地名、口音、低质量录音都可能导致错误，发布前要做人工复核。

第三，涉及人脸、声音、隐私信息的素材，要格外谨慎。不建议把敏感录音上传到无法控制数据流向的在线服务，这也是本地部署方案的实际价值之一。

3. 环境准备与前置条件

3.1 操作系统

支持 Windows、Linux、macOS。本文以 Windows 和 Linux 双平台为例，命令大同小异。

3.2 语言环境

需要 Python 3.9 以上版本。建议使用虚拟环境隔离依赖，避免污染系统 Python。 

python -m venv venv
# Windows
venv\Scripts\activate
# Linux / macOS
source venv/bin/activate

3.3 必需依赖

核心依赖包括：

  • faster-whisper：语音转写引擎。
  • ffmpeg：音频解码和视频抽音，处理 mp4、mkv、mp3、wav 等格式必需。
  • FastAPI + uvicorn：封装本地 API 服务。
  • requests：测试接口时使用。

ffmpeg 需要单独安装。Windows 可以用包管理器或直接下载二进制；Linux 用系统包管理器。 

# Linux (Ubuntu/Debian)
sudo apt update
sudo apt install -y ffmpeg

# macOS
brew install ffmpeg

# Windows 示例：使用 winget
winget install ffmpeg

安装后检查版本。 

ffmpeg -version

3.4 硬件检查清单

  • 有 NVIDIA GPU：安装对应版本的 CUDA 和 cuDNN，PyTorch 不一定需要，但 faster-whisper 依赖 CTranslate2 的 CUDA 支持。
  • 没有 GPU：CPU 也能跑，速度会慢，建议使用 int8 量化模型。
  • 磁盘空间：模型文件从几百 MB 到几 GB 不等，建议预留至少 10GB 空间。
  • 内存：8GB 起步，16GB 更稳妥。

如果遇到 GPU 不可用，先检查驱动和 CUDA 版本是否匹配，再检查模型是否以 GPU 模式加载。

4. 安装部署与启动方式

4.1 安装 Python 依赖

激活虚拟环境后安装： 

pip install faster-whisper
pip install "fastapi[standard]"
pip install python-multipart

如果后续要处理视频文件，还需要安装 ffmpeg-python 或直接用命令行调用 ffmpeg。

4.2 准备测试素材

准备一段短音频测试，建议先使用 1 到 3 分钟的英文新闻片段。文件名可以按日期和栏目命名，例如： 

input/bbc_news_20260823_1200.mp3

这里只用于演示文件命名规范，实际素材请使用自己合法获得的音频。

4.3 首次转写脚本

创建一个 transcribe.py ： 

from faster_whisper import WhisperModel

# device 可选 "cuda" 或 "cpu"
# compute_type 建议：GPU 用 "float16"，CPU 用 "int8"
model = WhisperModel("small", device="cuda", compute_type="float16")

segments, info = model.transcribe(
    "input/bbc_news_20260823_1200.mp3",
    vad_filter=True,
    language="en",
)

print(f"检测语言: {info.language}")
print(f"音频时长: {info.duration:.2f} 秒")

for segment in segments:
    print(f"[{segment.start:.2f} -> {segment.end:.2f}] {segment.text.strip()}")

运行： 

python transcribe.py

第一次运行会下载模型文件，需要保持网络可用。之后模型会缓存在本地，后续启动速度会明显变快。

注意：模型在线下载涉及网络环境，建议提前确认网络稳定。如果无法访问默认下载源，可以手动下载模型文件并放到本地缓存目录，再用 local_files_only=True 加载。

4.4 使用 CPU 模式

如果电脑没有独立显卡，或者显存不足，将加载参数改为： 

model = WhisperModel("small", device="cpu", compute_type="int8")

CPU 模式速度较慢，但胜在兼容性好，大多数机器都能跑。建议先用 tiny 或 base 模型跑通整个流程，再按需切换到更大的模型。

5. 功能测试与效果验证

5.1 转写效果测试

测试目标：确认音频能被正确转写成文字。

输入：一段英文新闻音频。

预期结果：控制台输出带时间戳的英文文本。

判断标准：

  • 能完整输出长句，而不是只识别单个单词。
  • 时间戳连续，无明显跳跃。
  • 常见单词识别准确，专有名词有一定错误是正常的。

常见失败原因：

  • 音频格式不支持，需要先转成 wav 或 mp3。
  • 音频采样率过低，建议 16kHz 以上。
  • 背景噪音过大，开启 vad_filter=True 可以先过滤静音和噪音段。

5.2 英文转中文测试

转写完成后，需要把英文字幕翻译成中文。翻译环节有两种方案：

方案一：调用通用大模型接口，效果较好，但需要网络和 API 密钥。 方案二：部署本地翻译模型，完全离线运行，但需要额外配置依赖。

下面以方案一为例，写一个批翻译脚本。这里用通用的 requests 调用，接口地址和密钥需要替换成自己实际可用的服务。 

import requests
import json

def translate_text(text: str, source: str = "en", target: str = "zh") -> str:
    url = "http://your-api-endpoint/translate"
    payload = {
        "text": text,
        "source_lang": source,
        "target_lang": target
    }
    response = requests.post(url, json=payload, timeout=30)
    if response.status_code == 200:
        return response.json().get("translated_text", text)
    return text

# 示例：翻译一段先前转写出来的文本
en_text = "A shopping center was hit and an investigation has been launched."
zh_text = translate_text(en_text)
print(zh_text)

注意：这个脚本只是通用骨架，实际接口地址、请求格式、超时时间都要根据你选择的服务调整。

5.3 双语字幕生成测试

字幕文件使用 SRT 格式，每一条字幕包含序号、时间码和文本。以下脚本基于转写结果生成双语 SRT： 

from datetime import timedelta

def format_ts(seconds: float) -> str:
    td = timedelta(seconds=seconds)
    total_ms = int(td.total_seconds() * 1000)
    hours = total_ms // 3600000
    minutes = (total_ms % 3600000) // 60000
    secs = (total_ms % 60000) // 1000
    millis = total_ms % 1000
    return f"{hours:02d}:{minutes:02d}:{secs:02d},{millis:03d}"

def build_bilingual_srt(segments, translate_func, output_path="output.srt"):
    with open(output_path, "w", encoding="utf-8") as f:
        for idx, seg in enumerate(segments, 1):
            start = format_ts(seg.start)
            end = format_ts(seg.end)
            en_text = seg.text.strip()
            zh_text = translate_func(en_text)
            f.write(f"{idx}\n")
            f.write(f"{start} --> {end}\n")
            f.write(f"{en_text}\n")
            f.write(f"{zh_text}\n\n")

# 调用示例
# segments 来自 faster-whisper 的识别结果
# build_bilingual_srt(segments, translate_text, "output/bbc_news_bilingual.srt")

判断输出质量的标准：

  • 时间轴连续，无重叠和明显断层。
  • 每条字幕的英文和中文行成对出现。
  • 中文翻译通顺，没有出现整段漏翻。

5.4 中文新闻素材的转写测试

如果标题里有人形机器人竞技秀、科技新闻之类的中文报道片段，也可以作为中文转写测试语料。 

segments, info = model.transcribe(
    "input/chinese_tech_news.mp3",
    vad_filter=True,
    language="zh",
)

中文转写时需要关注：

  • 专有名词是否识别正确，例如公司名、产品名、人名。
  • 地方口音和语速对识别率的影响。
  • 长文本是否被正确断句。

实际测试时，可以优先选择包含人形机器人、人工智能等高频科技词汇的素材，这类素材的专有名词很容易检验模型词表覆盖情况。

6. 接口 API 与批量任务

6.1 为什么需要接口

命令行脚本适合个人使用，但如果你想把这套转写能力接到自己的工具、网页或内容生产流水线里，最方便的方式是封装成 HTTP API。调用方只需要上传音频文件，服务端返回转写文本和字幕内容，调用方不用关心模型内部细节。

6.2 FastAPI 接口示例

创建 app.py ： 

from fastapi import FastAPI, UploadFile, File, Form
import tempfile
import os
from faster_whisper import WhisperModel

app = FastAPI()

# 服务启动时加载模型，避免每次请求重复加载
model = WhisperModel("small", device="cuda", compute_type="float16")

@app.post("/transcribe")
async def transcribe(
    file: UploadFile = File(...),
    language: str = Form("en"),
):
    suffix = os.path.splitext(file.filename)[1]
    with tempfile.NamedTemporaryFile(delete=False, suffix=suffix) as tmp:
        content = await file.read()
        tmp.write(content)
        tmp_path = tmp.name

    try:
        segments, info = model.transcribe(
            tmp_path,
            language=language,
            vad_filter=True,
        )
        result = []
        for segment in segments:
            result.append({
                "start": round(segment.start, 2),
                "end": round(segment.end, 2),
                "text": segment.text.strip(),
            })
        return {"language": info.language, "segments": result}
    finally:
        os.unlink(tmp_path)

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="127.0.0.1", port=8000)

启动服务： 

python -m uvicorn app:app --host 127.0.0.1 --port 8000

启动后访问 http://127.0.0.1:8000/docs 可以查看 Swagger 文档页面，直接在网页里上传文件测试接口。

6.3 使用 curl 测试接口 

curl -X POST "http://127.0.0.1:8000/transcribe" \
  -H "Content-Type: multipart/form-data" \
  -F "file=@input/bbc_news_20260823_1200.mp3" \
  -F "language=en"

正常情况下会返回 JSON 格式的转写结果，包含每一条的时间戳和文字。

6.4 用 Python 调用 API 

import requests

url = "http://127.0.0.1:8000/transcribe"

with open("input/bbc_news_20260823_1200.mp3", "rb") as f:
    response = requests.post(
        url,
        files={"file": f},
        data={"language": "en"},
        timeout=300,
    )

print(response.status_code)
print(response.json())

6.5 批量任务设计

批处理的核心思路是：扫描目录下所有音频文件，逐个转写，把结果写到同名 txt 或 srt 文件里，并记录日志。 

from pathlib import Path

input_dir = Path("input")
output_dir = Path("output")
output_dir.mkdir(exist_ok=True)

for audio_path in sorted(input_dir.glob("*.mp3")):
    print(f"处理: {audio_path.name}")
    try:
        segments, _ = model.transcribe(str(audio_path), vad_filter=True)
        output_txt = output_dir / f"{audio_path.stem}.txt"
        with open(output_txt, "w", encoding="utf-8") as f:
            for segment in segments:
                f.write(segment.text.strip() + "\n")
        print(f"完成: {output_txt}")
    except Exception as exc:
        print(f"失败: {audio_path.name}, 错误: {exc}")

批量处理建议注意两点：

  • 每次只处理一个文件，避免多个大文件同时加载导致显存不足。
  • 单个文件失败不能中断整个批次，用 try/except 捕获异常并记录日志。

7. 资源占用与性能观察

7.1 如何观察显存

GPU 模式下，可以在另一个终端运行： 

nvidia-smi -l 1

Windows 也可以打开任务管理器，在"性能"选项卡里看 GPU 显存使用情况。启动转写脚本后，显存占用会明显上升，转写完成后回落。

7.2 影响性能的因素

  • 模型大小：tiny、base、small 响应快，large 系列精度高但更慢。
  • 量化类型：float16 显存占用和速度平衡较好；int8 占用更低，但精度可能略降。
  • 输入长度：音频越长，耗时越长，显存占用也可能增加。
  • 是否开启 VAD：开启后跳过静音段，可以减少无效计算。
  • 设备类型：GPU 明显快于 CPU，CPU 模式下建议使用 int8。

7.3 降低资源占用的方法

  • 先用 tiny 或 base 模型验证流程，再切换到 small 或更大模型。
  • CPU 推理默认 int8 ，GPU 显存不足时也可以尝试 int8_float16 。
  • 长音频分批处理，而不是一次喂给模型。
  • 确认 vad_filter=True ，过滤静音片段。
  • API 服务中限制并发数，避免多个任务同时抢占显存。

7.4 端口冲突和进程残留

FastAPI 默认端口是 8000，如果被占用，启动时换一个端口： 

python -m uvicorn app:app --host 127.0.0.1 --port 8001

如果之前启动的进程没有退出，再次启动会报端口占用错误。Linux 下可以用： 

lsof -i :8000

Windows 下可以用： 

netstat -ano | findstr :8000

找到占用端口的进程后按需结束，或者直接换端口。

8. 常见问题与排查方法

问题现象 可能原因 排查方式 解决方案
安装依赖失败 Python 版本过低或缺少编译环境 python --version 检查版本 升级到 Python 3.9+，使用虚拟环境重装
ffmpeg 命令找不到 ffmpeg 未安装或未加入 PATH ffmpeg -version 按系统安装 ffmpeg，并确认 PATH
模型下载失败 网络不稳定或下载源不可达 查看日志中的 URL 和网络状态 手动下载模型到本地缓存目录，使用离线加载
CUDA 不可用 驱动版本或 CUDA 版本不匹配 nvidia-smi 查看驱动版本 安装匹配的 CUDA 库，检查 CTranslate2 是否支持当前显卡
显存不足 模型过大或并发请求过多 观察 nvidia-smi 显存占用 改用更小模型、int8 量化，或切换 CPU 推理
转写结果只有英文无中文 翻译步骤未执行 检查翻译脚本是否被调用 确认翻译接口或翻译模型已配置
字幕时间轴错位 输入音频经过裁剪或拼接 对比原音频和转写片段时长 使用原始未处理音频，或重新提取音频流
API 返回超时 音频过长，模型推理慢 查看服务日志耗时 调用方增加超时时间，或拆分成多个请求
批量任务中途卡住 单文件处理异常，占用资源不释放 查看日志定位卡住文件 增加异常捕获，单个任务设置超时阈值

9. 最佳实践与使用建议

9.1 从短音频开始

第一次测试不要直接跑几十集的播客。先拿 1 分钟音频跑完全流程，确认模型加载、转写、翻译、字幕生成都没问题，再逐步扩大输入量。

9.2 保留一套最小可运行配置

把虚拟环境、依赖清单、模型版本、启动命令记录在一个 README 里。新机器部署时直接按 README 操作，省去大量排查时间。

9.3 目录结构建议 

project/
├── input/          # 待处理音频
├── output/         # 转写文本和字幕
├── logs/           # 运行日志
├── models/         # 本地模型缓存
├── scripts/        # 各类处理脚本
└── venv/           # Python 虚拟环境

把输入、输出、日志、模型分开管理，方便备份和清理。

9.4 批量任务要加日志和失败重试

批量处理时，为每个文件记录：开始时间、结束时间、是否成功、耗时、错误信息。失败任务可以单独重跑，不要全部重新处理。

9.5 接口服务要限制访问范围

API 服务默认绑定 127.0.0.1 ，只允许本机访问。如果确实需要局域网访问，也要控制访问范围，并加上简单的鉴权，避免被滥用。

9.6 涉及版权和人声素材时必须确认授权

转写工具的便利性不代表可以随便处理所有音频。新闻节目、他人播客、语音通话录音、影视素材都要先确认是否有权使用。个人学习和技术测试是合理的，公开发布前要重新评估素材合规性。

9.7 发布前做效果复核

自动转写的准确率通常在较好音频条件下较高，但专有名词识别错误、标点缺失、翻译不自然这些问题仍然存在。双语字幕发布前必须人工过一遍重点片段，尤其是节目名称、人名、地名、数字、单位和机构名。

10. 总结与下一步

这篇内容把"音频转中英文稿"拆成了四个关键环节：转写、翻译、字幕生成、接口与批量。最值得先验证的是转写环节，因为它是整条链路的底座；转写不准，后面的翻译和字幕都会跟着出错。

最容易踩的坑有两个：一是环境问题，ffmpeg 缺失和 CUDA 版本不匹配占大多数故障；二是大模型直接压上导致显存溢出。建议先用 small 模型和 int8 量化跑通流程，再根据实际效果调整模型尺寸。

后续可以继续扩展的方向包括：接入 TTS 把中文稿回读成语音，把最终字幕用 ffmpeg 压制到视频里，或者在前端加一个上传页面做成一个完整的本地字幕工作站。把这套工具链存下来，先拿 1 分钟音频跑一遍，再上批量任务，会比直接追求一次性跑通几十个文件稳妥得多。

# 语音识别 # 语音转写
Logo
码道开发者社区

码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践

更多推荐

cover

AI 已经能直接改设计稿了:Windows部署Penpot，接入Codex MCP实测

avatar 码道开发者社区
cover

【AI大模型】-DeepSeek Harness 深度解析

avatar 码道开发者社区
cover

实测推荐 3 个 Skill，轻松上手 Codex 网页设计与交付流程

avatar 码道开发者社区