Cohere Toolkit

轻松打造基于LLM的产品,一站式RAG应用全搞定

2024-05-06

Cohere Toolkit 概述

Cohere Toolkit 是一款开箱即用的 检索增强生成(RAG) 应用解决方案,旨在帮助开发者快速构建和定制 基于大语言模型(LLM)的产品。它提供模块化可扩展的框架,支持集成多种模型供应商、数据源和工具,是开发AI驱动应用的理想选择。

核心功能

  • 预制网页界面:包含基于Next.js的网页应用(内置SQL对话历史数据库)和Slack机器人实现
  • 可定制后端:支持Cohere Platform、Sagemaker、Azure、Bedrock、HuggingFace及本地模型等多种供应商
  • 工具集成:轻松添加Google Drive、Gmail、Slack、GitHub、SharePoint和Google文本转语音等工具
  • 灵活部署:提供AWS/GCP/Azure云服务平台部署指南,支持本地和云端开发环境
  • 开发者友好:包含简化工作流的Makefile、Docker Compose支持以及VSCode/PyCharm调试工具

快速入门

只需简单配置即可在本地云端运行。项目依赖Docker、Docker Compose(≥2.22)和Poetry依赖管理工具,前端服务运行于http://localhost:4000

快捷启动命令

git clone https://github.com/cohere-ai/cohere-toolkit.git
cd cohere-toolkit
make first-run

直接使用Docker时:

docker compose up
docker compose run --build backend alembic -c src/backend/alembic.ini upgrade head

扩展工具包

本工具包鼓励社区贡献,提供关于添加身份验证、自定义工具和部署流程的详细指南。无论您是优化UI界面、集成新供应商还是提升性能,我们都非常期待您的贡献。

立即查看项目文档开启旅程!

Artificial Intelligence Large Language Models Retrieval-Augmented Generation Natural Language Processing Developer Tools