参考

结构化生成

虽然大型语言模型（LLM）的能力越来越令人印象深刻，但我们可以通过引导生成使其输出更可靠。因此，Outlines 提供了一些机制来指定对生成语言模型文本补全的高级约束。

停止序列 默认情况下，语言模型在生成token 后停止生成 token，或者在达到设定的最大 token 数量后停止。它们的输出可能会很冗长，出于实际目的，通常需要在找到给定序列后停止生成。在用提示调用模型时，你可以使用 stop_at 关键字参数

import outlines.models as models

complete = models.openai("gpt-4o-mini")
expert = complete("Name an expert in quantum gravity.", stop_at=["\n", "."])