ExllamaV2

outlines.models.exllamav2 模型需要一个 Logits Processor 组件，以便与 Outlines 的结构化生成兼容。虽然 ExLlamaV2 原生不支持此功能，但一个第三方 fork 提供了必要的功能。您可以使用以下命令安装它

pip install git+https://github.com/lapp0/exllamav2@sampler-logits-processor

安装其他要求

pip install transformers torch

即将推出