北京大学计算机学院、前沿计算研究中心助理教授孔雨晴撰写的论文“Dominantly Truthful Peer Prediction Mechanisms with a Finite Number of Tasks.”被Journal of the ACM在线接收 [1] 。Journal of the ACM, 简称J. ACM,为美国计算机学会ACM的综合性顶刊,涵盖了计算机科学领域最重要 (the most significant)、有长期价值 (lasting value) 的工作。要被接受,一篇论文必须被认为在其领域内真正杰出 (To be accepted, a paper must be judged to be truly outstanding in its field.) [2]。
本论文的研究内容如下:在人工智能和区块链领域,获得高质量的主观信息极为重要。对于人工智能,这种信息有助于提高训练模型的准确性。在区块链中,高质量信息确保智能合约的有效执行和交易的公正性。然而,获得高质量的主观信息并不是一件容易的事情,由于我们无法验证主观信息,获得信息的质量和真实性可能很难判断。考虑下面的例子:“你喜欢我写的这篇科幻小说吗?” “喜欢。” 但事实上,你可能并不喜欢。为了激励你说真话,我们将设计激励机制。如果你说你喜欢,机制将给你x元,如果你说你不喜欢,机制将给你y元。然而,稍微分析一下,我们将知道不管怎么设计x和y,这个激励机制都是失效的。如果x>y,你将一直说喜欢,即使你不喜欢,如果x<y,你将一直说不喜欢,即使你喜欢。然而如果增加一个人答题,且考虑多个类似的问题 (例如“你喜欢1号小说吗?”,“你喜欢2号小说吗?”,“你喜欢3号小说吗?”等等),过去的工作设计出了诚实占优的激励机制——对于任意个体,不管其他人如何,诚实永远是她的最优策略。然而这些机制又面临着可行性问题——它们需要询问机制参与者无穷多道问题。因此,一个重要的开放性问题产生:是否存在诚实占优机制只需要询问机制参与者有限道问题?
本篇工作回答了以上的开放问题,并设计了一系列只需要有限道问题的诚实占优机制。其核心技术是本文设计的一系列新的信息度量——它们既满足信息单调性也是多项式形式,因此可以通过有限样本进行无偏估计。其中最简单的信息度量——行列式互信息——引出的行列式互信息机制在二项问题上只需要2人4题就可以达到诚实占优的性质。
本篇工作设计的机制也已被若干美国区块链公司[3]应用于链上信息的收集与激励,除了目前的应用外,以上机制也可以用于激励高质量数据标注。准确的训练数据标注对于训练模型至关重要。通过利用以上机制,公司和研究人员可以建立有效的激励结构,鼓励个人提供准确可靠的数据标签,从而提高包含大语言模型在内的数据驱动模型的质量和可靠性。希望以上机制可以在未来助力更多数据驱动的、去中心化的应用场景和平台。
[1] Yuqing Kong. 2023. Dominantly Truthful Peer Prediction Mechanisms with a Finite Number of Tasks. J. ACM Just Accepted (December 2023).https://doi.org/10.1145/3638239
[2] https://dl.acm.org/journal/jacm
[3] https://medium.com/upshothq/introducing-upshot-one-a-q-a-protocol-58dd4ba0d612