05 音频设计
声音分三个阶段做出来:
- v1:程序合成的“动物语”beep,没有任何音频文件;
- Batch E:6 位居民各配一个 TTS 声音,整句配音;
- Batch F:按早晨、午后、傍晚、夜晚四个时段的背景音乐。
5.1 总线与电平
Batch E 建立了总线布局(default_bus_layout.tres),之后所有声音都按这个结构走:
Master
├─ Music 背景音乐(默认 70% 音量 ≈ -10.1 dB)
├─ Voice 居民配音 + 动物语 beep
└─ SFX 预留电平是先算好再定的,目标是对话时配音比音乐高约 14 dB:
| 声音 | 素材响度 | 播放增益 | 实际播放响度 |
|---|---|---|---|
| 离线配音 | -16 LUFS | 播放器 -6 dB | 约 -22 LUFS |
| 在线配音(API 原始 MP3) | -20 ~ -22 LUFS | -6 + 4.5 = -1.5 dB | 和离线接近 |
| BGM | -20 LUFS | Music 总线 -7 + 70% 滑块(-3.1 dB) | 约 -30 LUFS |
| 对话中的 BGM | — | 再压低 6 dB | 约 -36 LUFS |
| 动物语 beep | — | -22 dB | — |
配音峰值最大 -0.2 dBTP,播放时约 -6.2 dBTP,留有超过 6 dB 的余量。
5.2 第一阶段:动物语 beep
规格要求“每打出一个非标点字符播放一个短促的哔声”,并且不用外部音频文件。
- 合成方式:正弦加轻微方波,40 ms,带包络,22050 Hz、16-bit 单声道 PCM;
- 音高 = 610 Hz × 角色的
voice_pitch,每个字再随机 ±8%; - 时长随音高缩放,保持“用变速播放来变调”的听感。
Batch C 把合成集中到 scripts/voice.gd,并加了 --dump-voice=<目录>,把 7 种声音导出成 WAV,方便验收方独立分析。我用 Python 读了导出的 WAV,确认实际频率从老熊的 415 Hz(0.68 倍)到棉花的 915 Hz(1.5 倍),时长 27–59 ms,和设计一致。测试还逐字节比对导出 WAV 和游戏内播放器里的 PCM,保证导出的就是游戏里实际播放的那份数据。
5.3 第二阶段:居民 TTS 配音
需求和接口
制作人的要求是给六位居民各配一种声音。Batch E 使用当时选定的语音服务:文本和声音参数一起提交,得到 24 kHz MP3。接入时发现,漏传参数可能得到空响应,单看状态码不够;生成工具和游戏内播放器的网络行为也不相同。于是每次都带齐语速、音高和风格,再检查返回的数据能否解码。
返回的 MP3 开头约 0.2 秒、结尾约 0.6–0.9 秒是静音。
选声音
每位居民的声音按性格挑选,参数存在 data/voices.json:
| 居民 | 性格 | 声音 | 语速 | 音高 | 风格 | 设计意图 |
|---|---|---|---|---|---|---|
| 橘子 | 元气 | XiaoyiNeural | 1.15 | +10 | cheerful | 快、亮、有活力 |
| 棉花 | 温柔 | XiaoxiaoNeural | 0.95 | +5 | gentle | 轻柔、略慢 |
| 阿福 | 慵懒 | YunxiNeural | 0.85 | -5 | general | 全员最慢,慢吞吞 |
| 老熊 | 暴躁 | YunyeNeural | 0.95 | -15 | serious | 全员最低,严肃 |
| 嘎嘎 | 自恋文艺 | YunfengNeural | 1.0 | +12 | general | 偏高、带点做作 |
| 狸叔 | 商人 | YunyangNeural | 1.05 | -5 | customerservice | 客服腔,圆滑 |
离线预生成:tools/gen_voice.py
默认名字对应的固定台词提前生成,随工程保存。玩家离线也能听到这些句子的整段配音;清单之外的句子则不一定。
- 展开台词:递归遍历所有台词池和多句段落,按游戏里相同的规则替换占位符、去掉情绪前缀,得到显示文本。清单(manifest)以显示文本为键,游戏里拿到要显示的句子就能直接查到音频。
- 跳过动态句:含
{time}或{day}的 12 句无法预生成,留给游戏运行时在线获取。 - TTS 规范化:只做两件事:
♪删掉,~换成逗号(否则会被念出来或产生怪停顿)。GDScript 里有一份完全相同的函数。 - 缓存键:voice、speed(六位小数)、pitch、style、规范化文本,换行拼接后取 SHA-1。改了某个角色的参数,只会重新请求这个角色。原始 MP3 缓存在
_raw/voice_cache/(不进版本控制)。 - 请求:串行,间隔至少 0.3 秒;失败重试 3 次,退避 0.8 / 1.6 / 3.2 秒;连续 3 句最终失败就停下报告,不制造替代音频。
- 后处理(ffmpeg):
- 解码为 24 kHz 单声道;
- 按 10 ms RMS 窗、-45 dB 阈值只裁两端静音,各保留约 60 ms,句中停顿不动;
- 轻度压缩(阈值 0.06,比率 4,起音 2 ms,释放 80 ms),防止个别峰值把整句响度压低;
- 两遍 loudnorm 到 -16 LUFS / -1.5 dBTP;
- 编码 Vorbis q4。
- 自检:每个 OGG 解码后检查非静音,时长要满足
0.10 × 字数 ≤ 时长 ≤ 0.55 × 字数 + 0.8。报告写到test-results/voice_report.json。
结果:282 条、共 1081.67 秒、7.9 MB,0 失败。
| 居民 | 句数 | 总秒数 | 平均每字秒数 | 平均响度 |
|---|---|---|---|---|
| 橘子 | 47 | 168.26 | 0.210 | -15.89 LUFS |
| 阿福 | 47 | 188.13 | 0.242 | -15.92 LUFS |
| 棉花 | 47 | 192.72 | 0.231 | -15.93 LUFS |
| 老熊 | 47 | 186.79 | 0.238 | -16.38 LUFS |
| 嘎嘎 | 47 | 176.37 | 0.212 | -16.09 LUFS |
| 狸叔 | 47 | 169.40 | 0.196 | -16.35 LUFS |
每字时长说明声音设计生效了:阿福最慢(0.242 秒/字),狸叔最快(0.196 秒/字)。
游戏内播放策略
voice.gd + interface.gd:
- 命中离线或磁盘缓存:整句播放,关掉这句的逐字 beep;打字速度按音频时长调整为
字数 / 时长,限制在 10–40 字/秒之间,让文字和声音大致同步。 - 未命中且允许联网:先照常 beep 打字,同时请求 TTS。1.2 秒内拿到结果,并且对话框还停在同一句,才切换成整句配音;过期结果只存进缓存,不打断新句子。
- 在线结果缓存到
user://voice_cache/<sha1>.mp3,用AudioStreamMP3.load_from_buffer加载,玩家不需要装 ffmpeg。在线 MP3 没有做响度归一化,所以加 +4.5 dB 补偿;打字时长估算扣掉 0.9 秒的首尾静音。 - 系统提示和以“(”开头的旁白始终用 beep,不请求 TTS。
- 点击补全当前句不会截断语音;切下一句或结束对话时,旧语音 80 ms 淡出。
- 测试和截图模式强制禁止真实网络请求,并断言请求次数为 0。
生成工具能连通,不代表游戏能连通(E-fix)
同一句话,离线脚本可以取到声音,游戏里的请求却失败了。修的是游戏端如何使用可配置的网络出口,不是换居民音色。该批独立联网冒烟记录了一次成功响应(200、25632 字节,约 1.4 秒),也检查了不可达时按预期超时。这个记录只说明当时的接入结果;它不在常规离线测试之内。
5.4 第三阶段:背景音乐
方案选择:MIDI 还是 AI 生成
用户说:
可以生成 midi 的背景音乐,不一定非要用大模型生成的哈,不过你都可以试试。
于是两条路并行:
- MIDI 路线(交给 Codex):Python 手写和弦与旋律 → MIDI → FluidSynth + 音色库渲染。
- AI 路线(由我准备试听):ACE-Step 1.5 文生音乐,每个时段出 3 首,共 12 首候选。
我把同一时段的 MIDI 版和 AI 候选放在一起,请制作人自己听。四个时段最后全选了 MIDI。 这些未入选的音频没有编入工程,本文也不提供临时试听页。电平能测出差多少分贝,测不出午后该听哪一段马林巴。
为了保留以后切换的可能,播放代码和曲目来源无关:换成 AI 曲只需要改 data/music.json 里的文件路径,并把 loop_mode 设成 crossfade。
作曲:tools/compose_bgm.py
脚本自己写 SMF MIDI 文件,不依赖 mido。每首 4/4 拍、32 小节,曲式 A / A’ / B / A’’,各 8 小节:
| 时段 | 调性 / 速度 | 主奏与配器 | 情绪设计 |
|---|---|---|---|
| 早晨 | F 大调 / 100 BPM | 长笛主奏,尼龙吉他、原声贝斯、轻 hi-hat 和沙锤 | 短促上行的问句,下降的回答,清爽 |
| 午后 | C 大调 / 92 BPM | 马林巴主奏,单簧管只在段首段尾叠奏,拨弦弦乐、贝斯、刷奏军鼓 | 动机放在弱拍,慵懒轻快 |
| 傍晚 | G 大调 / 84 BPM | 电钢琴主奏,尼龙吉他、低音量弦乐、贝斯 | 长音,下降轮廓,B 段从 IV 级起 |
| 夜晚 | D 大调 / 68 BPM | 音乐盒主奏,轻钢琴、弦乐、稀疏贝斯,无鼓 | 留更长的休止,余音自然接回开头 |
作曲规则:
- 每首 32 个和弦逐小节写死,例如早晨 A 段是
I vi IV V I iii ii V; - 旋律不随机抽音:强拍落和弦音,弱拍级进;反复时改变后两小节,B 段换到高音区;
- 伴奏是分解和弦,低音弹根音和五度;
- 随机只用在力度(±8)和起音时间(±10 ms),并且固定种子,结果可复现;
- 用 CC7 / CC10 / CC91 控制各声部的音量、声像和混响。
渲染和无缝循环
- 当批用 FluidSynth 2.6.1 与 GeneralUser GS 2.0.3 音色库渲染 44.1 kHz 立体声;工具与音色库未随作品归档,重新使用须核对相应版本及用途的许可。
- 无缝循环的关键:MIDI 连奏两遍,只截取第二遍
[L, 2L)这一段(L是一遍的采样数)。这样第二遍开头已经带着第一遍结尾的混响尾巴,循环接回开头时不会突然“干”掉。 - 音符整体延后 150 ms(夜曲 250 ms),把接缝放进自然的余响里;两端各 2 ms 做一个小的端点连续性修正。
- ffmpeg 两遍 linear loudnorm 到 -20 LUFS(线性模式只调整体增益,不做动态压缩),编码 Vorbis q5。
| 曲目 | 时长 | 响度 | 峰值 |
|---|---|---|---|
| 早晨 | 76.80 s | -19.95 LUFS | -7.09 dBTP |
| 午后 | 83.48 s | -19.96 LUFS | -4.55 dBTP |
| 傍晚 | 91.43 s | -19.97 LUFS | -6.20 dBTP |
| 夜晚 | 112.94 s | -19.98 LUFS | -2.62 dBTP |
四首合计约 5.6 MB。
夜曲的静音问题(F-fix)
验收时我检查了每首曲子在循环接缝处的连续性,发现夜曲在循环点有约 1 秒的完全静音:夜曲本身休止多,最后一小节后半段又刻意不起新音,结果接缝处什么声音都没有。
修复:
- 夜曲的弦乐 pad 每小节保持 4.45 拍,跨过下一小节的起音,包括最后一小节接回第一小节;
- 生成脚本加入自检:逐采样查找双声道都低于 -60 dBFS 的连续区间(合并尾部和头部的循环区间),超过 250 ms 就报错退出。这个检查能拒绝修复前的版本(实测循环静音 1089 ms)。
修复后夜曲全曲最长静音 0.29 ms,循环接缝静音 0 ms。其余三首没有改动。
游戏内播放:scripts/music.gd
- 时段沿用
IslandState.time_band():6–12 早晨、12–18 午后、18–22 傍晚、22–6 夜晚。 - 始终只有两个播放器:开场 2 秒淡入;时段切换 4 秒等功率交叉淡化(sin/cos 曲线,两路功率之和恒定,切换时不会出现音量凹陷)。
- 循环方式:
seamless(默认):开启 OGG 原生循环,适合 MIDI 渲染的无缝素材;crossfade:在曲尾前loop_crossfade秒用另一个播放器从头播放,等功率淡化,适合首尾接不上的 AI 素材。
- 如果时段切换撞上曲子自己的循环交叉淡化,先用 120 ms 收掉较轻的那一路,再切入新时段。不会出现第三个声音,也不会突然掐断还听得到的声音。
- 对话时压低:和居民对话时 0.4 秒内把音乐压低 6 dB,结束后 0.8 秒恢复;系统提示不触发。
- 曲目文件缺失时只警告,保持静音,不崩溃。
声音设置
HUD 右侧的 ♪ 按钮打开设置面板:音乐音量、语音音量、全部静音。设置存在 user://settings.cfg 的 [audio] 段(默认音乐 0.7、语音 1.0),和存档完全分开,不改变 save.json 的格式。
5.5 音频经验小结
- 先摸清接口的真实行为再写代码。 “缺参数返回 200 空 body”这种坑,靠读文档发现不了。
- 离线优先,在线兜底。 默认名字下录好的282条固定句可离线整句播。含时间或日期的动态句未录;未命中缓存、没有网络或结果来得太晚时,这句只有逐字提示音,不让玩家等。
- 电平先算后听。 每类声音的素材响度和播放增益都有数,对话时配音比音乐高约 14 dB;主观试听最后由用户决定。
- 循环素材要专门测接缝。 只听开头几秒发现不了循环点的静音,需要脚本逐采样检查。
- 让素材来源可替换。 播放器只认
music.json,MIDI 和 AI 曲可以随时切换,选择权留给用户。
本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。