Abstract
Large language models (LLMs) are often ensembled together to improve overall reliability and robustness, but in practice models are strongly correlated. This raises a fundamental question: which models should be selected when forming an LLM ensemble? We formulate budgeted ensemble selection as maximizing the mutual information between the true label and predictions of the selected models. Furthermore, to explain why performance can saturate even with many models, we model the correlated errors of the models using Gaussian-copula and show an information-theoretic error floor for the performance of the ensemble. Motivated by these, we propose a simple greedy mutual-information selection algorithm that estimates the required information terms directly from data and iteratively builds an ensemble under a query budget. We test our approach in two question answering datasets and one binary sentiment classification dataset: MEDMCQA, MMLU, and IMDB movie reviews. Across all datasets, we observe that our method consistently outperforms strong baselines under the same query budget.
Abstract (translated)
大型语言模型（LLM）常常被集成在一起以提高整体可靠性和鲁棒性，但在实践中这些模型之间往往存在强相关性。这引发了一个根本问题：在形成一个LLM集成时应该选择哪些模型？我们把预算受限的集成选择问题定义为最大化所选模型的真实标签和预测之间的互信息。此外，为了解释为什么即使使用许多模型性能也可能达到饱和，我们采用高斯-库利（Gaussian-copula）方法来建模模型的相关错误，并展示了集成本身的信息论误差下限。 受到这些理论的启发，我们提出了一种简单的贪婪互信息选择算法，该算法直接从数据中估计所需的互信息项，并在查询预算内迭代构建集成。我们在两个问答数据集和一个二元情感分类数据集上测试了我们的方法：MEDMCQA、MMLU 和 IMDB 电影评论。在所有数据集中，我们观察到，在相同的查询预算下，我们的方法始终优于强基线模型。 这段文字描述了一种关于如何从多个相关大型语言模型中选择最有效的子集合的方法，并提出了一种基于互信息的算法来实现这一目标。这种方法不仅能够解释为什么使用大量模型后性能可能饱和的现象，还提供了一个在查询预算限制下的高效解决方案，在实践中显示出优于其他方法的表现。
URL
https://arxiv.org/abs/2602.08003
