跳至内容

05 音频设计

所属专题:小岛物语 · Godot 游戏开发

声音分三个阶段做出来:

  1. v1:程序合成的“动物语”beep,没有任何音频文件;
  2. Batch E:6 位居民各配一个 TTS 声音,整句配音;
  3. Batch F:按早晨、午后、傍晚、夜晚四个时段的背景音乐。

5.1 总线与电平

Batch E 建立了总线布局(default_bus_layout.tres),之后所有声音都按这个结构走:

Master
 ├─ Music   背景音乐(默认 70% 音量 ≈ -10.1 dB)
 ├─ Voice   居民配音 + 动物语 beep
 └─ SFX     预留

电平是先算好再定的,目标是对话时配音比音乐高约 14 dB:

声音素材响度播放增益实际播放响度
离线配音-16 LUFS播放器 -6 dB约 -22 LUFS
在线配音(API 原始 MP3)-20 ~ -22 LUFS-6 + 4.5 = -1.5 dB和离线接近
BGM-20 LUFSMusic 总线 -7 + 70% 滑块(-3.1 dB)约 -30 LUFS
对话中的 BGM—再压低 6 dB约 -36 LUFS
动物语 beep—-22 dB—

配音峰值最大 -0.2 dBTP,播放时约 -6.2 dBTP,留有超过 6 dB 的余量。

5.2 第一阶段:动物语 beep

规格要求“每打出一个非标点字符播放一个短促的哔声”,并且不用外部音频文件。

  • 合成方式:正弦加轻微方波,40 ms,带包络,22050 Hz、16-bit 单声道 PCM;
  • 音高 = 610 Hz × 角色的 voice_pitch,每个字再随机 ±8%;
  • 时长随音高缩放,保持“用变速播放来变调”的听感。

Batch C 把合成集中到 scripts/voice.gd,并加了 --dump-voice=<目录>,把 7 种声音导出成 WAV,方便验收方独立分析。我用 Python 读了导出的 WAV,确认实际频率从老熊的 415 Hz(0.68 倍)到棉花的 915 Hz(1.5 倍),时长 27–59 ms,和设计一致。测试还逐字节比对导出 WAV 和游戏内播放器里的 PCM,保证导出的就是游戏里实际播放的那份数据。

5.3 第二阶段:居民 TTS 配音

需求和接口

制作人的要求是给六位居民各配一种声音。Batch E 使用当时选定的语音服务:文本和声音参数一起提交,得到 24 kHz MP3。接入时发现,漏传参数可能得到空响应,单看状态码不够;生成工具和游戏内播放器的网络行为也不相同。于是每次都带齐语速、音高和风格,再检查返回的数据能否解码。

返回的 MP3 开头约 0.2 秒、结尾约 0.6–0.9 秒是静音。

选声音

每位居民的声音按性格挑选,参数存在 data/voices.json:

居民性格声音语速音高风格设计意图
橘子元气XiaoyiNeural1.15+10cheerful快、亮、有活力
棉花温柔XiaoxiaoNeural0.95+5gentle轻柔、略慢
阿福慵懒YunxiNeural0.85-5general全员最慢,慢吞吞
老熊暴躁YunyeNeural0.95-15serious全员最低,严肃
嘎嘎自恋文艺YunfengNeural1.0+12general偏高、带点做作
狸叔商人YunyangNeural1.05-5customerservice客服腔,圆滑

离线预生成:tools/gen_voice.py

默认名字对应的固定台词提前生成,随工程保存。玩家离线也能听到这些句子的整段配音;清单之外的句子则不一定。

  1. 展开台词:递归遍历所有台词池和多句段落,按游戏里相同的规则替换占位符、去掉情绪前缀,得到显示文本。清单(manifest)以显示文本为键,游戏里拿到要显示的句子就能直接查到音频。
  2. 跳过动态句:含 {time} 或 {day} 的 12 句无法预生成,留给游戏运行时在线获取。
  3. TTS 规范化:只做两件事:♪ 删掉,~ 换成逗号(否则会被念出来或产生怪停顿)。GDScript 里有一份完全相同的函数。
  4. 缓存键:voice、speed(六位小数)、pitch、style、规范化文本,换行拼接后取 SHA-1。改了某个角色的参数,只会重新请求这个角色。原始 MP3 缓存在 _raw/voice_cache/(不进版本控制)。
  5. 请求:串行,间隔至少 0.3 秒;失败重试 3 次,退避 0.8 / 1.6 / 3.2 秒;连续 3 句最终失败就停下报告,不制造替代音频。
  6. 后处理(ffmpeg):
    • 解码为 24 kHz 单声道;
    • 按 10 ms RMS 窗、-45 dB 阈值只裁两端静音,各保留约 60 ms,句中停顿不动;
    • 轻度压缩(阈值 0.06,比率 4,起音 2 ms,释放 80 ms),防止个别峰值把整句响度压低;
    • 两遍 loudnorm 到 -16 LUFS / -1.5 dBTP;
    • 编码 Vorbis q4。
  7. 自检:每个 OGG 解码后检查非静音,时长要满足 0.10 × 字数 ≤ 时长 ≤ 0.55 × 字数 + 0.8。报告写到 test-results/voice_report.json。

结果:282 条、共 1081.67 秒、7.9 MB,0 失败。

居民句数总秒数平均每字秒数平均响度
橘子47168.260.210-15.89 LUFS
阿福47188.130.242-15.92 LUFS
棉花47192.720.231-15.93 LUFS
老熊47186.790.238-16.38 LUFS
嘎嘎47176.370.212-16.09 LUFS
狸叔47169.400.196-16.35 LUFS

每字时长说明声音设计生效了:阿福最慢(0.242 秒/字),狸叔最快(0.196 秒/字)。

游戏内播放策略

voice.gd + interface.gd:

  • 命中离线或磁盘缓存:整句播放,关掉这句的逐字 beep;打字速度按音频时长调整为 字数 / 时长,限制在 10–40 字/秒之间,让文字和声音大致同步。
  • 未命中且允许联网:先照常 beep 打字,同时请求 TTS。1.2 秒内拿到结果,并且对话框还停在同一句,才切换成整句配音;过期结果只存进缓存,不打断新句子。
  • 在线结果缓存到 user://voice_cache/<sha1>.mp3,用 AudioStreamMP3.load_from_buffer 加载,玩家不需要装 ffmpeg。在线 MP3 没有做响度归一化,所以加 +4.5 dB 补偿;打字时长估算扣掉 0.9 秒的首尾静音。
  • 系统提示和以“(”开头的旁白始终用 beep,不请求 TTS。
  • 点击补全当前句不会截断语音;切下一句或结束对话时,旧语音 80 ms 淡出。
  • 测试和截图模式强制禁止真实网络请求,并断言请求次数为 0。

生成工具能连通,不代表游戏能连通(E-fix)

同一句话,离线脚本可以取到声音,游戏里的请求却失败了。修的是游戏端如何使用可配置的网络出口,不是换居民音色。该批独立联网冒烟记录了一次成功响应(200、25632 字节,约 1.4 秒),也检查了不可达时按预期超时。这个记录只说明当时的接入结果;它不在常规离线测试之内。

5.4 第三阶段:背景音乐

方案选择:MIDI 还是 AI 生成

用户说:

可以生成 midi 的背景音乐,不一定非要用大模型生成的哈,不过你都可以试试。

于是两条路并行:

  • MIDI 路线(交给 Codex):Python 手写和弦与旋律 → MIDI → FluidSynth + 音色库渲染。
  • AI 路线(由我准备试听):ACE-Step 1.5 文生音乐,每个时段出 3 首,共 12 首候选。

我把同一时段的 MIDI 版和 AI 候选放在一起,请制作人自己听。四个时段最后全选了 MIDI。 这些未入选的音频没有编入工程,本文也不提供临时试听页。电平能测出差多少分贝,测不出午后该听哪一段马林巴。

为了保留以后切换的可能,播放代码和曲目来源无关:换成 AI 曲只需要改 data/music.json 里的文件路径,并把 loop_mode 设成 crossfade。

作曲:tools/compose_bgm.py

脚本自己写 SMF MIDI 文件,不依赖 mido。每首 4/4 拍、32 小节,曲式 A / A’ / B / A’’,各 8 小节:

时段调性 / 速度主奏与配器情绪设计
早晨F 大调 / 100 BPM长笛主奏,尼龙吉他、原声贝斯、轻 hi-hat 和沙锤短促上行的问句,下降的回答,清爽
午后C 大调 / 92 BPM马林巴主奏,单簧管只在段首段尾叠奏,拨弦弦乐、贝斯、刷奏军鼓动机放在弱拍,慵懒轻快
傍晚G 大调 / 84 BPM电钢琴主奏,尼龙吉他、低音量弦乐、贝斯长音,下降轮廓,B 段从 IV 级起
夜晚D 大调 / 68 BPM音乐盒主奏,轻钢琴、弦乐、稀疏贝斯,无鼓留更长的休止,余音自然接回开头

作曲规则:

  • 每首 32 个和弦逐小节写死,例如早晨 A 段是 I vi IV V I iii ii V;
  • 旋律不随机抽音:强拍落和弦音,弱拍级进;反复时改变后两小节,B 段换到高音区;
  • 伴奏是分解和弦,低音弹根音和五度;
  • 随机只用在力度(±8)和起音时间(±10 ms),并且固定种子,结果可复现;
  • 用 CC7 / CC10 / CC91 控制各声部的音量、声像和混响。

渲染和无缝循环

  • 当批用 FluidSynth 2.6.1 与 GeneralUser GS 2.0.3 音色库渲染 44.1 kHz 立体声;工具与音色库未随作品归档,重新使用须核对相应版本及用途的许可。
  • 无缝循环的关键:MIDI 连奏两遍,只截取第二遍 [L, 2L) 这一段(L 是一遍的采样数)。这样第二遍开头已经带着第一遍结尾的混响尾巴,循环接回开头时不会突然“干”掉。
  • 音符整体延后 150 ms(夜曲 250 ms),把接缝放进自然的余响里;两端各 2 ms 做一个小的端点连续性修正。
  • ffmpeg 两遍 linear loudnorm 到 -20 LUFS(线性模式只调整体增益,不做动态压缩),编码 Vorbis q5。
曲目时长响度峰值
早晨76.80 s-19.95 LUFS-7.09 dBTP
午后83.48 s-19.96 LUFS-4.55 dBTP
傍晚91.43 s-19.97 LUFS-6.20 dBTP
夜晚112.94 s-19.98 LUFS-2.62 dBTP

四首合计约 5.6 MB。

夜曲的静音问题(F-fix)

验收时我检查了每首曲子在循环接缝处的连续性,发现夜曲在循环点有约 1 秒的完全静音:夜曲本身休止多,最后一小节后半段又刻意不起新音,结果接缝处什么声音都没有。

修复:

  • 夜曲的弦乐 pad 每小节保持 4.45 拍,跨过下一小节的起音,包括最后一小节接回第一小节;
  • 生成脚本加入自检:逐采样查找双声道都低于 -60 dBFS 的连续区间(合并尾部和头部的循环区间),超过 250 ms 就报错退出。这个检查能拒绝修复前的版本(实测循环静音 1089 ms)。

修复后夜曲全曲最长静音 0.29 ms,循环接缝静音 0 ms。其余三首没有改动。

游戏内播放:scripts/music.gd

  • 时段沿用 IslandState.time_band():6–12 早晨、12–18 午后、18–22 傍晚、22–6 夜晚。
  • 始终只有两个播放器:开场 2 秒淡入;时段切换 4 秒等功率交叉淡化(sin/cos 曲线,两路功率之和恒定,切换时不会出现音量凹陷)。
  • 循环方式:
    • seamless(默认):开启 OGG 原生循环,适合 MIDI 渲染的无缝素材;
    • crossfade:在曲尾前 loop_crossfade 秒用另一个播放器从头播放,等功率淡化,适合首尾接不上的 AI 素材。
  • 如果时段切换撞上曲子自己的循环交叉淡化,先用 120 ms 收掉较轻的那一路,再切入新时段。不会出现第三个声音,也不会突然掐断还听得到的声音。
  • 对话时压低:和居民对话时 0.4 秒内把音乐压低 6 dB,结束后 0.8 秒恢复;系统提示不触发。
  • 曲目文件缺失时只警告,保持静音,不崩溃。

声音设置

HUD 右侧的 ♪ 按钮打开设置面板:音乐音量、语音音量、全部静音。设置存在 user://settings.cfg 的 [audio] 段(默认音乐 0.7、语音 1.0),和存档完全分开,不改变 save.json 的格式。

5.5 音频经验小结

  1. 先摸清接口的真实行为再写代码。 “缺参数返回 200 空 body”这种坑,靠读文档发现不了。
  2. 离线优先,在线兜底。 默认名字下录好的282条固定句可离线整句播。含时间或日期的动态句未录;未命中缓存、没有网络或结果来得太晚时,这句只有逐字提示音,不让玩家等。
  3. 电平先算后听。 每类声音的素材响度和播放增益都有数,对话时配音比音乐高约 14 dB;主观试听最后由用户决定。
  4. 循环素材要专门测接缝。 只听开头几秒发现不了循环点的静音,需要脚本逐采样检查。
  5. 让素材来源可替换。 播放器只认 music.json,MIDI 和 AI 曲可以随时切换,选择权留给用户。

本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。

最后更新于