Kuzco

Kuzco 是一个 Swift 包，用于将大语言模型（LLMs）直接集成到 iOS、macOS 和 Mac Catalyst 应用中。它基于 `llama.cpp` 构建，提供可定制的提示、灵活的调整以及对异步/等待友好的 API，为设备上的 AI 应用提供支持。

Kuzco是一个开源的Swift包，它让开发者能够在iOS、macOS和Mac Catalyst应用上本地集成和运行大型语言模型（LLMs）。基于强大的`llama.cpp`框架构建，它通过无需网络依赖的设备端AI推理处理，确保了隐私安全。

主要特性包括对LLaMA、Mistral和Gemma等多种模型架构的支持，针对Apple Silicon和Intel Mac进行了优化。它提供了支持async/await的现代Swift并发性、模型性能的灵活调优选项，以及针对移动设备限制的高效资源管理。

对于在AI驱动的应用中优先考虑隐私、速度和可靠性的开发者来说，Kuzco通过简洁的API和全面的错误处理，简化了本地LLM的集成。它已准备好投入生产，内存效率高，且兼容iOS 15.0+和macOS 12.0+。