方言语音识别实战：从江门四邑话音系到Whisper基线评测

如果你做过粤语语音识别，大概能体会一种挫败感：用广州话训练的模型，在广州市区跑得不错，可一旦换上江门客户的录音，识别结果就像换了一个人说话。Whisper 面对广府粤语还算从容，遇到四邑话往往要么输出一串不相关的普通话汉字，要么干脆让声调迷路。问题不在录音质量，而在语音系统本身。

近期能看到的 FoLiSC-6 相关评测材料里，出现了《江門本地話語音槪況》这样以方言语音为对象的资源，由陈泂龑整理，面向的是“方言语音识别与声学分析”这条技术线。和标准普通话评测不同，方言评测的难度并不只在数据规模，而在于：音系是什么、标注怎么写、基线怎么搭、结果怎么归因。这四个问题任何一个没想清楚，模型跑得再欢也无从解释。

这篇文章不从算法公式讲起，而是用一份“江门本地话语音概况”带来的实际工作流，讨论方言语音评测的完整链路。前半部分会把四邑话的声母、韵母、声调特征讲清楚，因为这是所有后续工程的基础；后半部分会用 Python + Whisper + jiwer 搭一个轻量基线，覆盖数据处理、转写、评估和排错。读完你至少能回答三个问题：为什么普通话 ASR 在四邑话上失效；方言语料应该怎么标；拿到一批方言音频后第一步该做什么。

1. 这篇文章真正要解决的问题

先给一个判断：方言语音识别的工程难点，往往是数据问题大于模型问题。通用语音识别产品能覆盖普通话和少数几种大方言，但四邑话这类区域方言基本没有成熟方案。如果你在一个面向广东地区的项目里做客服质检、录音转写、媒体资料检索，或者参与方言保护类数据建设，迟早会碰到“广州话能听，江门话听不清”的尴尬。

这和评测赛道的趋势是一致的。FoLiSC 系列中文语音评测过去更多聚焦普通话、英语和部分跨语种任务，近年来逐渐把目光转向真实世界的多样化语音资源。从标题看，FoLiSC-6 中出现的“江门本地话语音概况”并不是一个标准的“多少小时训练集 + 固定测试集”式任务，它更像是在推动一项基础工作：把一种活态方言的语音系统描述清楚，再让后续的识别、合成、说话人识别任务有据可依。换句话说，它测试的是你把语音学知识、数据工程流程和模型基线串起来的能力。

这篇文章适合三类读者。第一类是语音算法工程师，想了解方言评测任务如何落地；第二类是数据科学家和标注团队负责人，需要为方言语料制定采集、转写和质检规范；第三类是语音学背景的研究者，想理解学术界音系描写如何与工业界评测管线衔接。如果你是这三类人之一，下面内容可以当一套可复用的工作流来看。

2. 江门本地话是什么：方言定位与评测价值

江门本地话，通俗地说就是“江门本地人日常说的白话”，语言学上通常归入粤语四邑片，也叫五邑话。五邑传统上指台山、开平、恩平、新会和鹤山，目前这些地区大多在江门市行政范围内。四邑话和广府片粤语同属粤语大系，但两者差异非常大。用广州话母语者的话说，台山话、开平话“听起来很硬、很冲”，互相之间不完全能沟通。

这种差异是历史音韵演变的结果。四邑片所在的潭江流域，在珠三角开发史上长期处于相对独立的方言岛地位，保留了大量中古汉语特征，也发展出一些广州话完全没有的音变规律。比如古端母字在广州话里读 t-，在四邑话多地却读成喉塞音或零声母；古清母、精母等齿音字在广州话读塞擦音，在四邑话却“塞化”为塞音。这些变化让熟悉广州话的听感产生强烈错位。

从评测价值看，江门本地话是一个很好的方言标的。第一，它有明确的行政和人口依托，珠江三角洲西翼的使用人口规模可观，方言处于活态使用中；第二，语音特征鲜明且成体系，和普通话、广州话的差异可以精确定义，适合做成可评测的音系测试项；第三，现有公开 ASR 方案对四邑话覆盖几乎为零，一旦有团队能提供一套基准分数，会非常有对比意义。

还需要说明的是，标题中的“语音概况”不是某家公司发布的产品，而是方言语音资源的整理成果。在实际参与 FoLiSC-6 相关任务时，应该以官方任务说明和评价协议为准。本文重点演示的是方言语音评测通用的技术路径，而不是复刻某一次比赛的具体规则。

3. 江门本地话语音系统：声母、韵母、声调

要处理一种方言的数据，第一步不是找模型，而是建音系清单。所谓音系，就是这种方言用来区分意义的声母、韵母、声调系统。我结合公开方言调查资料，把四邑话最有代表性的特征梳理一下。具体到每个镇、每个村会有差异，但大方向是稳定的。

3.1 声母：最反直觉的“舌音塞化”与“喉塞化”

江门本地话最出名的声母特征，是古端母、透母、定母等舌尖塞音出现喉塞化或零声母化。广州话的“刀”“多”“台”等字读 t- 或 tʰ-，在四邑话中常见读法是把声母变成喉塞音 ʔ-，甚至完全不发声母，直接以韵母开头。听感上像句子被“一口一口咬掉”，这就是所谓“四邑话没有舌头”体验的来源。

另一个典型特征是齿音塞化。古精母字（比如“早”“酒”）和古清母字（比如“粗”“清”），在广州话里读 ts-、tsʰ-，在四邑话里很多地点读成 t-、tʰ-。换句话说，平舌音和翘舌音系列被合并进舌尖塞音系列。这个现象造成的影响很大：用广州话拼音方案去注四邑话，会发现大量字根本对不上声母表。

除此之外，古疑母字在四邑话中大多保留 ng- 声母，例如“我”“牛”“牙”等字仍然有明显舌根鼻音。这一点和广州话不完全一样，广州话部分疑母字已经脱落成零声母或读 j-。从 ASR 角度看，ng- 是一个容易和韵母混淆的声学单元，标注和建模都要单独考虑。

3.2 韵母：保留更多中古对立

韵母方面，四邑话比广州话保留了更多中古韵类区分。广州话里已经合并的一些韵，在四邑话部分点仍然保持对立。例如中古咸摄、山摄的韵尾区别，在广州话表现为鼻音韵尾 -n/-m 和塞音韵尾 -t/-p 的沿用，四邑话也有类似保留，但具体元音高低、开合口分布并不一致。

如果要给工程师一个可操作的印象，可以这样理解：四邑话的韵母格局比广州话复杂，元音对立更多，而且介音处理、韵尾发音都和普通话教材里的拼音不是一回事。训练端到端模型时，如果中文词表只覆盖普通话拼音，很多字的韵母会在拼音表里找不到对应。

3.3 声调：调类多、分合规律不同

四邑话普遍有 7 到 9 个调类，具体数量因地点而异。入声韵尾 -p、-t、-k 保留，因此入声作为一个独立的调类体系仍然存在。四邑话与广州话的调类并不一一对应，平声、上声、去声的分化规律有差异，也就是说，同一个字在广州话读第几调，和它在台山话里读第几调没有简单的换算关系。

这里要区分两个概念：调类是历史音类的分合结果，调值是实际发音的升降高低。评测任务里建议用调类标签，因为调值受语流和发音人影响很大，而调类更稳定、更适合作为评测参考。后面标注规范部分会再展开。

3.4 对语音工程的影响小结

把上面三点放在一起看，可以得到一个清晰结论：四邑话不是“带口音的广州话”，而是一套独立的声韵调系统。它不仅声母表和广州话差异大，韵母和声调也不能直接复用广府粤语的标注体系。任何试图用“标准粤语词典 + 方言录音”凑数的方案，都会在特征对齐上失败。

4. 从语音差异看方言 ASR 到底难在哪里

理解了音系特征，再回头看通用 ASR 为什么会在四邑话上崩溃，就非常清楚了。这不是一句“数据不够”能解释的，而是从词典到声学建模，再到语言模型，每一步都存在错配。

4.1 词典错配：拼音到汉字的映射失效

主流中文 ASR 都先把文本转成拼音序列，再用声学模型把语音和拼音对齐。普通话拼音只有 400 多个无声调音节，广州话拼音也有专门的声母韵母表。但四邑话的声母已经把“端母”和“精母”混成塞音，韵母也存在广州话没有的对立。用普通话或广州话的词表去解析四邑话音节，相当于用简体字表给繁体古文分词，对不上。

4.2 音素集缺失：模型根本没有见过这些发音

端母喉塞化、齿音塞化，这些音素在普通话和广州话的训练数据里很稀疏。尤其喉塞音声母，在标准普通话里只作入声残留或语气词，根本不会出现在字音开头。端到端模型要处理一个训练分布里几乎不存在的声学类别，结果自然是随机映射到某个相近音，转写出来就变成莫名其妙的汉字。

4.3 声调系统错位：调类识别变成噪声

普通话只有 4 个调类，广州话有 6 到 9 个，四邑话也有 7 到 9 个。但调类对应关系不同，模型在声学上捕捉到的音高曲线，和训练时的标签体系无法对齐。更麻烦的是，四邑话部分调类的调值区分度可能低于普通话，自动转写时声调信息基本被当作噪声丢弃。

4.4 语言模型偏置：输出被拉回普通话

即使声学模型勉强辨识出音节，语言模型也会把候选字序列推到常见的普通话或广府粤语表达上。比如录音里说的是台山话“佢今日去咗台山”，模型可能听成“他去今天台山”这类颠三倒四的句子。整体效果就是：识别结果看起来是中文，却完全不通顺。

4.5 一个务实的工作顺序

所以，方言 ASR 的打开方式不是直接扔进 Whisper 等模型跑一版结果，而是先完成三件事：第一，确认目标方言的音系表；第二，建立方言音系到标注字段的映射；第三，用少量数据跑基线，把错误按音类归类，而不是只看平均值。只有这样，后续微调才有方向。

5. 方言语音评测数据准备与标注规范

方言语料建设比普通话多一个关键步骤：必须先定义“标准答案”。普通话可以用规范汉字和拼音作为转写目标，方言没有统一标准，因此需要双层标注结构：一层是汉字宽式转写，一层是音系信息。下面给出一套经过实践验证的流程。

5.1 采集与元数据

录音环境建议选择安静室内，距离麦克风 10 到 20 厘米，采样率至少 16 kHz，单声道即可。每个人说话前先报编号，方便后续处理。发音人需要覆盖不同年龄段和性别，最好在元数据里记录出生地、长期居住地、年龄段、性别、录音环境。因为四邑话内部差异大，出生地和居住地甚至要细到镇一级。

5.2 双层标注结构

第一层是汉字宽式转写。方言字能写出本字的写本字，没有本字的用同音字或口字旁替代，也可以预留专门符号。这一层的目的是让人类读者和语言模型看到语义内容。

第二层是音系标注。建议包含音节序列、调类标签、声韵母拆分。调类标签用数字（如 1 到 9），不要直接写五度调值，因为调值受语流影响，不利于评测复现。所有标注文件建议用 JSON 或 CSV 保存，并且和音频文件一一对应。

5.3 标注文件示例

下面是一个最小标注 JSON 的示例。注意，这里的调类数值和音节信息仅用于展示数据结构，不代表任何实际调查结论。真正标注时应以音系调查结果为准。

json复制{
  "id": "jm_001",
  "dialect": "taishan",
  "recorder_id": "P01",
  "duration_sec": 4.52,
  "hanzi": "佢今日去咗台山",
  "syllable_count": 7,
  "tone_labels": ["33", "55", "22", "33", "11", "33", "55"],
  "segments": [
    {"hanzi": "佢", "tone": "33", "phonetic_notes": ""},
    {"hanzi": "今", "tone": "55", "phonetic_notes": ""}
  ],
  "audio_check": {
    "sample_rate": 16000,
    "channels": 1,
    "snr": 12.5
  },
  "comments": ""
}

实际工程中，我会要求标注工具直接输出这种 JSON，并且由一个独立的音系审核人抽查，避免前后标注不一致。字段里 snr 是信噪比估计值，可以用来筛掉环境噪声过大的音频。

5.4 音频质量检查命令

音频质量建议先做批量检查。用 ffprobe 看采样率、声道数和时长，不达标的尽早剔除，避免污染模型。

bash复制ffprobe -v error \
  -show_entries format=duration \
  -show_entries stream=channels,sample_rate \
  -of json /data/audio/jm_001.wav

code复制{
    "streams": [
        {
            "channels": 1,
            "sample_rate": "16000"
        }
    ],
    "format": {
        "duration": "4.520000"
    }
}

这一步看似简单，却能避免大量“模型怎么这么差”的排查工作。很多方言录音来自不同渠道，采样率从 8 kHz 到 48 kHz 都有，声道数也不统一，直接喂给 Whisper 会产生大量边界效应。

6. 用 Python 构建轻量级方言 ASR 基线

做好准备后，就可以搭基线了。这里我用 OpenAI Whisper 作为示例模型，主要原因是安装简单、CPU 也能跑小模型，适合快速建立对比分数。需要注意，Whisper 对四邑话的覆盖并不好，所以这个基线只能作为“上界参考”或“错误分析工具”，而不是想直接拿高分的解决方案。它的核心作用是把整个评估流程跑通。

6.1 环境准备建议

建议用 Python 3.10 以上的虚拟环境。安装依赖时，版本以当前稳定版为准，不要刻意锁死旧版本。下面命令是通用的：

bash复制python -m venv venv
source venv/bin/activate
pip install openai-whisper jiwer

openai-whisper 提供模型加载和转写接口，jiwer 提供 CER/WER 计算。如果你的机器没有 GPU，把模型参数量降到 base 或 tiny，否则转写速度会非常慢。

6.2 数据清单

准备好一个 CSV 清单 data/manifest.csv，每一行对应一段音频、参考文本和方言点。参考文本建议使用汉字宽式转写，不要使用拼音。文件名规范用“方言语料 ID + 发音人 ID”。

csv复制id,dialect,recorder_id,audio_path,transcript
jm_001,taishan,P01,/path/to/audio/jm_001.wav,佢今日去咗台山
jm_002,xinhui,P02,/path/to/audio/jm_002.wav,我哋明天开会
jm_003,kaiping,P03,/path/to/audio/jm_003.wav,记得买多啲餸

6.3 转写与评估脚本

下面脚本完成三件事：读取清单、用 Whisper 转写、用 jiwer 计算 CER，最后输出 summary.json。你可以在自己的机器上直接运行，只需要把路径改成实际路径。

python复制# 文件路径：run_baseline.py
import csv
import json
import sys
from pathlib import Path

import whisper
import jiwer


def load_manifest(manifest_path: str):
    rows = []
    with open(manifest_path, "r", encoding="utf-8") as f:
        reader = csv.DictReader(f)
        for row in reader:
            rows.append(row)
    return rows


def main(manifest_path: str = "data/manifest.csv"):
    rows = load_manifest(manifest_path)
    if not rows:
        print("manifest empty, please check path")
        return

    model = whisper.load_model("small")
    results = []

    for item in rows:
        audio_path = item["audio_path"]
        reference = item["transcript"].strip()

        if not Path(audio_path).exists():
            print(f"missing audio: {audio_path}")
            continue

        result = model.transcribe(audio_path, language="zh", fp16=False)
        prediction = result["text"].strip()
        cer = jiwer.cer(reference, prediction)

        results.append({
            "id": item["id"],
            "dialect": item["dialect"],
            "reference": reference,
            "prediction": prediction,
            "cer": cer,
        })
        print(f"{item['id']} | CER={cer:.3f} | ref={reference} | hyp={prediction}")

    summary = {
        "count": len(results),
        "cer_mean": sum(r["cer"] for r in results) / len(results),
        "results": results,
    }
    with open("summary.json", "w", encoding="utf-8") as f:
        json.dump(summary, f, ensure_ascii=False, indent=2)
    print(f"平均 CER: {summary['cer_mean']:.3f} | JSON 已写入 summary.json")


if __name__ == "__main__":
    manifest = sys.argv[1] if len(sys.argv) > 1 else "data/manifest.csv"
    main(manifest)

这段代码有两点值得解释。第一，language="zh" 会让 Whisper 优先按中文普通话音系去解，这在方言评测里不一定最优。你可以改成不传语言参数，让模型自动检测，但这会带来更大不确定性。更稳妥的做法是把两种配置都跑一遍，作为对照。

第二，fp16=False 是为了避免部分 CPU 和 GPU 环境出现半精度问题。如果你的显存充足并且确认支持，可以改成 fp16=True 加快速度。

6.4 运行命令

bash复制python run_baseline.py data/manifest.csv

运行结束后，summary.json 会包含每条样本的 CER、参考文本、预测文本和平均 CER。你可以用 IDE 的 JSON 查看器打开，也可以继续写脚本做分类统计。

6.5 这个脚本能告诉我们什么

如果平均 CER 高达 0.8 以上，不必震惊，这是方言基线常见现象。关键是打开每条样本，看错误的类型：是声母错、韵母错、声调错，还是整个词都被换成普通话。下一节会讲怎么系统分析。

7. 运行结果与效果验证标准

方言评测不能只看平均 CER。一个平均 CER 0.7 的结果，既可能是因为模型对音系完全崩溃，也可能是因为参考文本里用了大量方言本字而预测文本写成了普通话同音字。你需要按下面维度拆分数值。

7.1 按发音人分组

把 CER 按 recorder_id 分组，能看出是某个发音人口音太重，还是整个数据集标注不一致。如果 P01 的 CER 明显高于其他人，优先检查 P01 的录音环境，而不是质疑模型。

7.2 按音节错误类型分组

CER 会把参考文本变成字符级别的删除、插入、替换，但不会告诉你声母、韵母、声调哪个环节出问题。你可以用自己定义的音系表，把预测文本拆成音节，再和参考文本做对齐。这一步不需要端到端模型参与，用基于规则的音系映射就能做。

7.3 判断成功的三个标准

第一，错误分布是否稳定。如果每条样本错误率都类似，说明问题出在模型整体能力上；如果集中在个别样本，优先查数据。第二，预测文本是否“看起来像中文但语义不对”。如果是，说明 Whisper 的声学模型捕捉到了部分语音，但语言模型把结果拉回了普通话，后面微调可以聚焦语言模型。第三，方言特有字是否被识别成普通话近音字。这能反映词表和音系错配的程度。

7.4 失败后的第一步排查

如果 CER 高得离谱，先不要急着换模型。第一步确认参考文本和音频内容是否确实一致；第二步确认音频采样率；第三步跑一条标准普通话样本，如果普通话 CER 也很高，说明环境配置或模型加载有问题，不是方言问题。按这个顺序排查，能省很多时间。

8. 方言语音评测常见问题与排查方法

下面用表格整理我在方言评测场景里最常见的几类问题，方便你直接对照。

9. 工程最佳实践与生产建议

到这里，已经可以从语音学特征一路走到模型基线和错误分析。最后补充几条工程原则，避免你在正式项目里翻车。

9.1 先建音系清单，再处理数据

方言评测最怕一上来就灌数据。应该先编写一份目标方言的声母表、韵母表、调类表，放到项目根目录，让所有标注员和算法工程师共用同一个参照。四邑话内部地点差异大，音系清单还要标注适用地点范围。

9.2 双层标注贯穿全流程

汉字层和音系层不能拆开管理。转写阶段生成汉字层，音系层可以由语言学背景人员补充或审核。模型训练阶段，汉字层用于端到端文本生成，音系层用于声学单元分析、发音词典构建和错误归因。缺了后一层，后续想分析声母错误率会无从下手。

9.3 评测指标要分层设计

除了整体 CER，至少要增加三组指标：按方言点分组的 CER；按声母、韵母、调类分别计算的错误率；按发音人年龄/性别分组的稳定性指标。这样既能看到模型水平，也能看到数据本身的质量和覆盖面。

9.4 数据合规与录音授权必须前置

语音数据涉及个人信息和肖像权、声音权。采集、标注、公开评测前，需要获得发音人明确的书面授权，明确用途、保存期限、是否允许开源。评测任务如果对外公布，涉及人名、地址等敏感信息的文本要脱敏。这些事在数据一开始就要设计好，后期补授权几乎不可能。

9.5 不要过度依赖单一模型的 CER

Whisper 对四邑话表现不佳，不意味着所有方法都不行。近年自监督语音模型（如 wav2vec2 2.0、HuBERT 及其升级版本）在低资源方言上更值得尝试，因为它们先用无语料音素目标做预训练，再在下游任务微调。你完全可以把 Whisper 当作快速 baseline，把自监督模型当作主攻方向。

9.6 关注语言模型层面的方言化

四邑话文本表达和广州话、普通话差异很大。如果未来做微调，不仅声学模型需要方言数据，语言模型也需要加入方言常用字词和句法表达。比如“佢”“啲”“咗”“餸”这些粤语特色字，在普通话语料里的出现频率很低，语言模型几乎不会给它们合理先验。方言词表建设要早于模型微调开始，而不是等模型训完再补救。

最后补充一点实际操作经验

做方言评测，最容易让人兴奋的是跑通一个高 CER 的基线，之后却不知道下一步该干什么。我的建议是，把第 3 节的音系清单贴在项目看板上，每次拿到一批错误样本，就先归类到某个声母、韵母或调类问题上，而不是笼统地说“模型不行”。当你发现“清母字塞化”相关错误占总错误 60% 以上时，下一步行动方案就很清晰了：要么补对应发音的音频，要么在词表里加入“端母、清母塞化”的映射规则，要么针对性地做数据增广。

这篇文章给了一条从音系理解到数据标注、再到基线和错误分析的完整链路。方言语音评测在中文 ASR 里会越来越常见，因为真实世界的语音从来不是标准普通话；它就是由无数像江门本地话这样丰富、复杂又系统的变体构成的。先把音系摸清楚，再把手里的工具用对，你就能在别人还在困惑“为什么 CER 这么高”的时候，已经知道问题具体出在哪里。