WhisperKit开源！可在iPhone和Mac流畅体验实时语音转录

由于对Whisper推理在生产中的迅速增长需求，Argmax公司决定将其作为首个项目，并于宣布将WhisperKit项目以MIT许可证的形式开源，进入beta测试阶段。

WhisperKit是一个用于实现在设备上进行语音推理的开源工具，旨在通过最小的摩擦和最大的性能提高，使开发者能够轻松改进和部署快速、免费且几乎无错误的翻译和转录服务。

简单的说，WhisperKit可以在 iPhone 上运行的Whisper实时推理软件，可以实时将声音转成对应的文字，想做类似实时翻译工具的可以关注一下。

该项目提供了Swift包，只需两行代码即可在应用中实现Whisper推理，同时还附带了iOS和macOS的示例应用，方便开发者测试。为了优化和评估Whisper在Mac上的性能，还提供了Python工具。

WhisperKit的设计原则包括灵活性、可扩展性、可预测性和自动部署。该项目的设计使得开发者能够自由组合或隔离GPU和神经引擎的利用，以实现最佳的能效和最低的延迟。同时，WhisperKit被模块化为Swift协议，通过实现自定义行为的协议扩展，降低了扩展的难度。

在实现性能方面，WhisperKit的重点是在苹果芯片上实现最低延迟和最高吞吐量。特别是针对最具挑战性的openai/whisper-large-v3变体进行了优化。通过优化音频编码器和文本解码器，WhisperKit在iPhone12到15上取得了1.85x至2.85x的速度提升。

为了实现实时性能，WhisperKit克服了Whisper不设计用于低延迟音频处理的困难。通过在语音转录过程中定期积累足够的音频，对音频进行预处理和使用优化的编码器和解码器，WhisperKit实现了实时语音转文本的目标。

除此之外，WhisperKit还通过在编译时预先计算特殊标记的KV缓存值，进一步提高了性能。这项优化使得在流式模式下每秒可处理9-15个文本标记，足以满足日常语音需求。

在稳定版发布之前，WhisperKit计划引入性能报告创建、异步批处理预测、watchOS示例应用以及Metal-based推理引擎等功能。

项目入口:https://huggingface.co/argmaxinc/whisperkit-coreml