Abstract
Large language models (LLMs) exhibit pronounced conservative bias in relation extraction tasks, frequently defaulting to No_Relation label when an appropriate option is unavailable. While this behavior helps prevent incorrect relation assignments, our analysis reveals that it also leads to significant information loss when reasoning is not explicitly included in the output. We systematically evaluate this trade-off across multiple prompts, datasets, and relation types, introducing the concept of Hobson's choice to capture scenarios where models opt for safe but uninformative labels over hallucinated ones. Our findings suggest that conservative bias occurs twice as often as hallucination. To quantify this effect, we use SBERT and LLM prompts to capture the semantic similarity between conservative bias behaviors in constrained prompts and labels generated from semi-constrained and open-ended prompts.
Abstract (translated)
大型语言模型（LLMs）在关系抽取任务中表现出明显的保守偏见，当没有适当选项时，往往会默认选择“No_Relation”标签。虽然这种行为有助于防止错误的关系分配，但我们的分析发现，在推理未明确包含在输出中的情况下，它也会导致大量信息丢失。我们系统地评估了这一权衡，并针对多种提示、数据集和关系类型进行了测试，引入霍本斯选择（Hobson's choice）的概念来捕捉模型在安全但不具信息性的标签与虚构标签之间进行选择的场景。我们的研究发现保守偏见发生的频率是幻觉的两倍。为了量化这种效应，我们使用SBERT和LLM提示语来捕获在限制性提示中的保守偏见行为与半限制性和开放式提示生成的标签之间的语义相似度。 简化后的中文翻译如下： 大型语言模型（LLMs）在关系抽取任务中倾向于表现出保守倾向，在没有合适选项时，默认选择“No_Relation”标签。虽然这有助于避免错误，但同时也导致了信息丢失的问题，特别是在推理未明确输出的情况下。我们系统地评估了这一权衡，并引入了一个概念——霍本斯选择（Hobson's choice）来描述模型在安全但无用的标签和虚构标签之间做出的选择情况。我们的研究发现保守倾向发生的频率是幻觉两倍。为了量化这种影响，我们使用SBERT和LLM提示语分析了限制性提示中的保守行为与半限制性和开放式提示生成的标签之间的相似度。
URL
https://arxiv.org/abs/2506.08120
