安装

您可以使用 pip 安装 Outlines

pip install outlines

Outlines 支持 OpenAI、Transformers、Mamba、llama.cpp 和 ExLlamaV2，但是您需要手动安装它们

pip install openai
pip install transformers datasets accelerate torch
pip install llama-cpp-python
pip install exllamav2 transformers torch
pip install mamba_ssm transformers torch
pip install vllm

如果您在使用 Outlines 与这些库时遇到任何问题，请查看它们的安装说明。openai 和 transformers 的安装应该很简单，但其他库有特定的硬件要求。

可选依赖项

Outlines 提供了多个可选的依赖项集，以支持不同的后端和使用场景。您可以根据需要使用以下命令安装它们：

• pip install "outlines[vllm]" 用于 vLLM，针对高吞吐量推理进行了优化。
• pip install "outlines[transformers]" 用于 Hugging Face Transformers。
• pip install "outlines[mlx]" 用于 MLX-LM，针对 Apple 芯片进行了优化。
• pip install "outlines[openai]" 用于使用 OpenAI 的 API。
• pip install "outlines[llamacpp]" 用于 llama.cpp，一个轻量级的 LLM 推理引擎。
• pip install "outlines[exllamav2]" 用于 ExLlamaV2，针对 NVIDIA GPU 进行了优化。

最新版本

您可以从仓库的 main 分支安装 Outlines 的最新版本

pip install git+https://github.com/dottxt-ai/outlines.git@main

例如，当一个修复程序已合并但尚未发布时，这会很有用。

开发环境安装

有关如何在开发环境中安装 Outlines 的说明，包括使用 dot-install 方法安装某个后端的示例，请参阅贡献文档。