大模型自动化评测工具

该平台面向大模型在真实业务场景中的效果评估、稳定性验证与持续迭代需求，提供覆盖垂域模型、RAG 系统与智能体（Agent）的统一自动化评测能力。平台已成功实现与问智、问数、问策以及小北垂域大模型的对接，可对模型能力、检索增强效果、推理与决策链路进行系统性评估。 平台在项目实践中沉淀了多套高质量评测数据集，包括医疗垂域模型评测数据集、政务 RAG 场景评测数据集等，并将其统一纳入平台管理，支持一键触发自动化测试，实现模型新版本、配置变更或策略调整后的快速回归验证与横向对比。 平台结合成熟的可观测与评测能力框架，具备全链路追踪、评测指标标准化、结果可复现、版本可对比等优势，可有效支撑模型研发、系统联调与上线前质量把控，作为大模型工程化落地过程中的核心评测与监控基础设施。