多项选择

Outlines 允许你确保生成的文本是在不同选项中选择的

from outlines import models, generate

model = models.transformers("microsoft/Phi-3-mini-4k-instruct")
generator = generate.choice(model, ["skirt", "dress", "pen", "jacket"])
answer = generator("Pick the odd word out: skirt, dress, pen, jacket")

性能

generation.choice 计算一个索引，帮助 Outlines 指导生成。这可能需要一些时间，但只需要执行一次。如果你想多次从同一选项列表中生成，请确保只调用一次 generate.choice。