关于本文
本文是通过利用生成式AI的自动化流程创建的。我们将其整理成了可以通过安全的虚拟数据进行测试的形式,以便观察当仅更改一处对大模型的指令、让回答明确标出“依据”与“不明”时,验证的难易度会发生怎样的变化。
验证状态:🧪 已创建提示词设计示例・特定模型上的可复现性尚未确认
如果在工作中应用大模型的回答,与其让它生成“看起来正确的文章”,不如以人工能够验证的形式进行输出更为重要。
首先使用相同的输入进行测试
准备一份虚拟的内部备忘录。
新システムは10月導入予定。担当は総務部。 費用は未確定。研修日は9月25日を候補として調整中。
最初我们这样请求。
このメモを要約してください。
接下来,保持输入不变,仅添加一处指令。
このメモを要約してください。 各項目に「入力中の根拠」を付け、入力から判断できないことは「不明」と書いてください。
查看此处
我们比较的不是文章写得有多好。
是否擅自补全了费用
是否将9月25日视为确定日期
是否能回到原文核实各个结论
为什么有效
要求大模型提供依据栏,并不能保证其真实性。不过,这能让审阅的人更容易核对“该结论究竟源自哪项输入”。不明 允许这一点,也有助于发现勉强填空的情况。
尝试更改一处
不明 将其更改为 要確認 ,并尝试将其用作负责人事后可以填写的检查栏。将输出从完整的文章转变为核对表,会让人更难直接照搬AI的回答。
如果在工作中应用
在会议纪要、规章摘要、故障报告和产品比较中,采用“回答・依据・不明点”三栏格式会更容易进行审查。请先确认您所在组织的利用规则,再决定是否可以投入机密信息或个人信息。
总结
好的提示词不是冗长的咒语。在实际业务中,指定人类能够验证的输出结构才是最有效的。请在输入相同的情况下仅更改一处指令,并观察验证时间发生了怎样的变化。
