本文共 1451 字,大约阅读时间需要 4 分钟。
2025年3月20日,OpenAI在其API中推出了三款全新的语音模型:gpt-4o-transcribe、gpt-4o-mini-transcribe 和 gpt-4o-mini-tts。这三款模型分别提供语音转文本(STT)和文本转语音(TTS)的功能,凭借领先的准确性和可靠性,为用户提供了更强大的语音交互能力。
这些模型的发布不仅体现了OpenAI在语音AI领域的技术突破,也为复杂场景下的客服、会议记录等应用提供了更高效的解决方案。特别是在多语言支持和处理复杂语音场景方面表现优异。
以下是三款模型的详细信息:
模型名称 | 类型 | 主要特点 | 定价(每百万令牌) |
---|---|---|---|
gpt-4o-transcribe | 语音转文本(STT) | 取代Whisper,词错误率更低,擅长处理口音、嘈杂环境和多变语音速度,印度语系语言WER ~30% | 6.00美元(约0.006美元/分钟) |
gpt-4o-mini-transcribe | 语音转文本(STT) | 取代Whisper,类似改进,成本更低 | 3.00美元(约0.003美元/分钟) |
gpt-4o-mini-tts | 文本转语音(TTS) | 可通过自然语言指令自定义语音风格(如情感、口音),目前限预设人工声音 | 文本0.60美元,音频12.00美元(约0.015美元/分钟) |
这些模型基于GPT-4o和GPT-4o-mini架构,预训练于专门的音频数据集,并通过高级蒸馏技术和强化学习优化,转录准确性达到行业领先水平。支持100多种语言,包括小语种如马拉雅alam,特别在处理上下文和细微差别方面表现优异。
此外,模型在英语中的词错误率低至2.46%,配备了噪声消除和语义语音活动检测器,进一步提升了转录准确性。
早期采用者反馈显示,这些模型在转录准确性上改进了30%,在租户互动和客户服务中表现出色。OpenAI建议通过Realtime API实现低延迟应用,支持流式语音转文本的实时场景。
此外,OpenAI还在X上(@openAI)举办了OpenAI.fm的创意使用竞赛,获胜者将获得Teenage Engineering定制收音机,鼓励开发者探索这些模型的应用潜力。
这些模型的发布标志着OpenAI在语音AI领域的又一突破,推动了语音交互应用的创新,例如智能客服、语言学习工具和多语言内容创作。
与之前的Whisper模型不同,这些新模型未开源,OpenAI认为它们过于庞大,不适合本地运行。这引发了关于AI模型开放性与商业化平衡的讨论,尤其是在学术界和开源社区中。
对小语言的支持(如马拉雅alam)可能为全球范围内的AI应用带来更大的包容性和可访问性,特别是在发展中国家和语言多样性地区。
这些模型通过OpenAI的API和自定义演示网站提供,开发者可以根据需求选择适合的模型。定价策略(如gpt-4o-mini-transcribe的低成本选项)可能吸引中小企业和初创公司,但高成本模型(如gpt-4o-transcribe)可能限制个人用户的广泛采用。
总的来说,OpenAI的新语音模型在2025年3月20日的发布是语音AI领域的一次重要进展,特别是在多语言支持和复杂语音场景的处理上。Jijo Sunny的X帖子证实了这些模型的优越性,尤其是在STT模型在小语言中的表现。这些模型的推出不仅为开发者提供了强大的工具,也可能推动语音交互应用的全球化和创新。
转载地址:http://xdkwk.baihongyu.com/