Hugging Face Blog·· 3 小时前精选AI 评分64
Ai2 发布 FairStress 深入评测 LLM 决策公平性
FairStress: A deeper evaluation of fairness in LLM decision-making
AI 导读
Ai2 发布 FairStress 基准,用于衡量 LLM 在影响就业、信贷、医疗、教育和住房等场景中的决策公平性。FairStress 包含 300 个双候选人决策场景和 13 million 个测试用例,并提供基于 item response theory 筛选的 50K 条 FairStress-Core 子集。
推荐理由
该报告将公平性评估从最终答案扩展到抗说服稳定性、解释差异与内部激活,为诊断模型决策偏差提供了可复用框架。
来源:Hugging Face Blog · huggingface.co