WhisperKit开源!可在iPhone和Mac流畅体验实时语音转录

站长之家 2024-01-31 16:20:49新闻资讯
40

由于对Whisper推理在生产中的迅速增长需求,Argmax公司决定将其作为首个项目,并于宣布将WhisperKit项目以MIT许可证的形式开源,进入beta测试阶段。

WhisperKit是一个用于实现在设备上进行语音推理的开源工具,旨在通过最小的摩擦和最大的性能提高,使开发者能够轻松改进和部署快速、免费且几乎无错误的翻译和转录服务。

简单的说,WhisperKit可以在 iPhone 上运行的Whisper实时推理软件,可以实时将声音转成对应的文字,想做类似实时翻译工具的可以关注一下。

WhisperKit.png

该项目提供了Swift包,只需两行代码即可在应用中实现Whisper推理,同时还附带了iOS和macOS的示例应用,方便开发者测试。为了优化和评估Whisper在Mac上的性能,还提供了Python工具。

WhisperKit的设计原则包括灵活性、可扩展性、可预测性和自动部署。该项目的设计使得开发者能够自由组合或隔离GPU和神经引擎的利用,以实现最佳的能效和最低的延迟。同时,WhisperKit被模块化为Swift协议,通过实现自定义行为的协议扩展,降低了扩展的难度。

WhisperKit2.png

在实现性能方面,WhisperKit的重点是在苹果芯片上实现最低延迟和最高吞吐量。特别是针对最具挑战性的openai/whisper-large-v3变体进行了优化。通过优化音频编码器和文本解码器,WhisperKit在iPhone12到15上取得了1.85x至2.85x的速度提升。

为了实现实时性能,WhisperKit克服了Whisper不设计用于低延迟音频处理的困难。通过在语音转录过程中定期积累足够的音频,对音频进行预处理和使用优化的编码器和解码器,WhisperKit实现了实时语音转文本的目标。

除此之外,WhisperKit还通过在编译时预先计算特殊标记的KV缓存值,进一步提高了性能。这项优化使得在流式模式下每秒可处理9-15个文本标记,足以满足日常语音需求。

在稳定版发布之前,WhisperKit计划引入性能报告创建、异步批处理预测、watchOS示例应用以及Metal-based推理引擎等功能。

项目入口:https://huggingface.co/argmaxinc/whisperkit-coreml

开源
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

经典音乐播放器 Winamp 源代码开源引发争议,新许可协议限制严格
近日,经典的 Windows 平台第三方音乐播放器 Winamp 正式在 GitHub 上公开了其 Windows 端的源代码。这一举措本应受到开发者和用户的热烈欢迎,但由于其严格的 Winamp Collab...
2024-09-26 新闻资讯
121

知名Web服务器软件 Nginx 迁移至 GitHub,推动开源发展迈向新台阶
近日,知名Web服务器软件 NGINX 宣布其官方开源开发存储库已从 Mercurial 迁移至 GitHub,今后,NGINX 将在 GitHub 上以接受拉取请求(Pull Requests)的形式开始接受贡献。同时...
2024-09-11 新闻资讯
132

FastAdmin:一款开源免费的极速后台开发框架
FastAdmin 是基于 PHP 语言,结合 ThinkPHP 和 Bootstrap 两大主流技术构建而成的后台开发框架。ThinkPHP 是一款优秀的 PHP 开发框架,具有简洁、高效、易扩展等特点,为 Fas...
2024-09-06 编程技术
139

Tailor:一款开源免费的AI智能视频剪辑工具
Tailor(中文简称:泰勒)是一款开源免费的AI智能视频剪辑工具,具有 Apache - 2.0 许可证。它主要包括视频剪辑、视频生成和视频优化三大类视频处理方向,共 10 种方法。Tailor...
2024-09-01 电脑知识
224

阿里巴巴开源Qwen2-VL:革新多模态AI,超越GPT-4o的性能
阿里巴巴集团近日宣布开源其最新研发的视觉多模态模型——Qwen2-VL,Qwen2-VL模型在多项性能测试中超越了包括OpenAI的GPT-4o和Anthropic的Claude3.5-Sonnet在内的多个著名闭源...
2024-08-30 新闻资讯
118

Awesome-Digital-Human:基于Dify的开源AI数字人技术框架
Awesome-Digital-Human 是一个基于现代技术和AI服务的开源数字人技术框架,旨在帮助开发者快速搭建具备高度定制化和扩展性的数字人平台。该项目不仅适合初学者,也适合经验丰...
2024-08-27 编程技术
145