跳到正文
原文
Hugging Face Blog·· 3 小时前精选AI 评分64

Ai2 发布 FairStress 深入评测 LLM 决策公平性

FairStress: A deeper evaluation of fairness in LLM decision-making

AI 导读

Ai2 发布 FairStress 基准,用于衡量 LLM 在影响就业、信贷、医疗、教育和住房等场景中的决策公平性。FairStress 包含 300 个双候选人决策场景和 13 million 个测试用例,并提供基于 item response theory 筛选的 50K 条 FairStress-Core 子集。

推荐理由

该报告将公平性评估从最终答案扩展到抗说服稳定性、解释差异与内部激活,为诊断模型决策偏差提供了可复用框架。

来源:Hugging Face Blog · huggingface.co