Seedance
字节跳动豆包大模型团队推出的前沿视频生成基础模型。该技术通过整合多模态生成能力(文本,图片,音频,视频)与底层的MMDiT架构,实现了“原生音画同步”与“多镜头长叙事”的突破。
F5-TTS 是一个开源的文本转语音模型,由上海交通大学、剑桥大学与吉利汽车研究院联合研发,技术路线建立在流匹配(Flow Matching)和扩散变换器(DiT)之上。官网入口是 swivid.github.io/F5-TTS,代码与文档则托管在 GitHub 的 SWivid/F5-TTS 仓库。这篇文章不堆参数,主要说清楚它适合谁、用起来是什么感觉、哪些地方要留个心眼。
打开官网更多是看项目概览和演示,真正动手要回到 GitHub 读安装文档。想省事的话,Hugging Face、ModelScope 和 Gradio 上通常能找到在线体验入口,传一段参考音频就能试效果;想深入控制则要本地部署,走 Python 环境,有 NVIDIA 显卡可以开 CUDA 加速。整体看,它的门槛明显偏技术向,不是那种点开就能用的消费品。
它的优点在于架构干净。非自回归设计省掉了持续时间模型、文本编码器、音素对齐这些环节,代码结构相对好读,二次开发时不用先啃一堆中间组件。官方提到的实时因子(RTF)0.15 属于特定测试条件下的数字,自己机器上通常会有出入,别当成硬指标。
适合的人群大致这几类:
几点使用上的提醒:
F5-TTS 的价值在于开源、可控和技术路线清晰,适合愿意动手折腾的人;局限也同样明显——它不是开箱即用的产品。比较稳妥的做法是把它当作语音方案里的补充性渠道,先在在线环境验证效果,再决定是否本地部署,正式业务仍建议结合有明确授权的合规渠道使用。