三星正突破现有基准测试的局限，以更准确评估人工智能模型在企业环境中的实际生产力。由三星研究院开发的全新系统TRUEBench，旨在解决理论人工智能性能与实际工作场景应用价值日益扩大的差距。
随着全球企业加速采用大型语言模型（LLMs）以提升运营效率，一个挑战随之浮现：如何精准衡量其效能。现有多数基准测试侧重学术或通用知识考核，且常局限于英语及简单问答形式。这导致企业缺乏可靠方法评估AI模型在复杂、多语言、语境丰富的商业任务中的表现。
三星TRUEBench（可信真实世界使用评估基准）正是为填补此空白而生。该基准提供一套全面的评估指标体系，基于与真实企业环境直接相关的场景和任务对大型语言模型进行测评。其评估标准源于三星自身在企业内部对AI模型的广泛应用，确保评估依据真实工作需求而制定。
该框架评估企业常见功能，包括内容创作、数据分析、长篇文档摘要及材料翻译。这些功能被细分为10个独立类别及46个子类别，可精确呈现AI的生产力表现。
三星电子数字体验事业部首席技术官兼三星研究院院长Paul (Kyungwhoon) Cheun表示：“三星研究院凭借真实世界AI实践积累了深厚专业知识与竞争优势。我们期待TRUEBench能确立生产力评估的新标准。”
为突破传统基准测试的局限，TRUEBench构建于涵盖12种语言的2485个多元化测试集之上，支持跨语言场景。这种多语言设计对信息跨区域流动的跨国企业至关重要。测试材料本身涵盖各类职场需求，从仅8个字符的简短指令到超过20000字符的复杂文档分析。
三星洞察到真实商业场景中，用户初始指令未必能完整表达其真实意图。因此该基准测试旨在评估AI模型理解并满足隐性企业需求的能力，超越简单准确率，转向更精细的实用性与相关性衡量。
为实现这一目标，三星研究院开创性地建立人类专家与AI协同协作机制，共同制定生产力评分标准：人类标注员首先确立任务评估准则，AI系统随即审查这些标准，筛查潜在错误、内部矛盾或不符合实际用户预期的冗余限制。基于AI反馈，人类标注员对标准进行优化调整。这种迭代循环确保最终评估标准精准严谨，充分体现高质量成果。
