字节跳动语音评测与数据工具
实习期间参与核心语音评测集的迭代,并独立设计、开发一套语音数据生产工具。
- 时间
- 2026.05 – 2026.08
- 负责
本案例以通用方式描述工作流程,不展示内部界面、真实业务数据或具体实现。
语音评测集迭代
这一版重构了能力分类和题目设计,新增复杂场景与高频 Bad Case,题量扩展到上一版的 3 倍。
负责题目筛选与语音化改造、音频合成和交付验收,并搭建「自动预标 → 人工标注 → 自动质检 → 人工抽检」质量流程;与产品、算法同事共同完善「基础能力 + 应用能力」分类框架,与工程同事协作完成评测执行。
在数百条分层样本上验证自动预标,与人工标签总体一致率约 88.6%;高难 Bad Case 约 82%,常规集最高约 97%。建设周期缩短 20%。
- 筛选并语音化改造候选题目
- 合成并校验音频
- 自动预标
- 人工标注
- 自动质检 + 人工抽检
- 与工程协同完成评测执行
- 评测集设计
- 题目筛选与语音化改造
- 适配规则
- 协同完善能力分类
- 数据生产与交付
- 音频合成
- 供应商规范与管理
- 交付验收
- 标注与质量控制
- 自动预标
- 人工标注流程
- 自动质检
- 人工抽检
语音数据生产工具
内部语音数据生产过去依赖脚本或内网页面逐条操作,难以融入以飞书表格为中心的工作流。外部标注团队缺少便捷、统一的合成入口,难以试听与实际生产环境一致的结果,也不易判断模型能力边界。
独立完成需求定义、产品设计和 AI 辅助开发,把分散的生产流程整合成一个内部工具。工具包含两个入口:内部同事通过面向飞书表格的批量工作台生成音频,外部标注团队通过评论机器人使用与生产一致的合成能力。系统结合语音识别、VAD、时间戳和原文对照,对合成结果进行自动质检。
首批覆盖约 30 名内外部协作者。
之前
之后
内部
- 脚本或内网页面逐条操作
- 工作与飞书表格脱节
- 在表格工作区内展开浮动语音工作台
- 批量配置、预检、执行并查看进度
外部
- 纯文字审阅难以判断音频质量
- 试听能力与生产环境不一致
- 在评论区调用评论机器人并查看参数
- 使用与生产一致的合成能力完成试听