多模态大模型创造力评估：超越传统多选题的新方法

1. 为什么传统多选题测不出多模态大模型的创造力？

当我们在评估多模态大模型（Multimodal LLM）时，多选题测试就像用温度计测量湿度——工具和指标完全不匹配。传统多选题测试存在三个致命缺陷：

首先，多选题的封闭性框架严重限制了创造性表达。这类题目通常提供4-5个预设选项，模型只需比较选项间的相对优劣。但真正的创造性思维往往需要突破既定框架，产生选项之外的解决方案。就像让毕加索做选择题来证明他的艺术创造力一样荒谬。

其次，评分机制与创造力本质背道而驰。多选题追求的是标准答案，而创造力恰恰体现在非标准路径上。在LoTbench（Leap-of-Thought Benchmark）研究中发现，当模型产生超出标准答案但更具洞察力的回答时，传统评分体系反而会判定为错误。

最致命的是，多选题完全无法捕捉思维过程的跃迁（Leap-of-Thought）。创造力往往体现在思维链条的突然跳跃——从A到C的直觉跨越，而不是A→B→C的线性推理。Chain-of-Thought（思维链）可以解释逻辑推理，但解释不了灵光乍现的创造性突破。

2. 评估创造力的三个核心维度

2.1 思维跳跃性（Leap-of-Thought）

这是区分普通模型和创造性模型的关键指标。我们设计了一套量化评估方法：

1. 设定基线路径：由人类专家标注解决某个问题的"常规思维路径"，比如需要5个推理步骤
2. 测量模型路径：记录模型实际采用的推理步骤数
3. 计算跳跃指数：(基线步骤数 - 模型步骤数)/基线步骤数

在LoTbench测试中，表现优异的模型能在解决复杂视觉推理问题时，实现30%-50%的步骤跳跃。例如面对"如何用冰箱里的食材做一顿创意晚餐"的问题，创造性模型会直接关联到"用酸奶和水果制作彩色冰棒"这样的非显性方案。

2.2 跨模态联想能力

真正的创造性往往体现在不同模态信息的非常规组合。我们开发了跨模态联想矩阵来评估：

测试中发现，顶尖的多模态模型能在看似无关的领域间建立新颖连接。比如将量子物理概念转化为舞蹈动作编排，这种跨域联想能力是传统测试完全无法捕捉的。

2.3 解决方案的非常规性

我们采用"反共识评分"来衡量这一点：

1. 收集100个针对同一问题的常规解决方案
2. 计算模型方案与常规集的余弦相似度
3. 相似度越低得分越高

实际操作中需要注意：

• 要区分"标新立异"和"真正创新"——前者只为不同而不同，后者则具有内在合理性
• 需要领域专家评估解决方案的可行性
• 最佳创新往往处于"意料之外，情理之中"的区间

3. 实操：构建创造力评估系统的五个关键步骤

3.1 设计开放性问题集

避免任何带有引导性的问题框架。优质问题应该：

• 具有多个合理解决方案空间
• 允许不同抽象层次的回答
• 包含适度的模糊性

例如：
差问题："这张图片中有几只猫？"(封闭式)
好问题："如果这张图片会说话，它会讲述什么故事？"(开放式)

3.2 建立多维评分矩阵

我们推荐使用以下评分维度：

3.3 实现动态交互评估

静态问答无法充分测试创造力，我们采用：

1. 种子问题：提出初始挑战
2. 模型响应：获取首个解决方案
3. 人为干预：提出针对性质疑或约束
4. 迭代优化：观察模型如何调整方案

例如：
种子问题："设计一个未来派城市公园"
→ 模型提出"悬浮植物园"概念
→ 干预："预算缩减50%"
→ 观察模型是否创造性调整方案

3.4 引入对抗性测试

通过故意设置障碍来激发创造性应对：

• 资源限制："用最少的材料实现..."
• 时间压力："在10秒内给出..."
• 规则反转："假设重力方向改变..."
• 概念混合："把图书馆和健身房结合..."

记录模型突破约束的方式和效率，这比简单回答更能反映创造潜力。

3.5 构建参照系对比

同时测试以下三类对象：

1. 人类专家组：领域专家和创新者
2. 基准模型：主流多模态模型
3. 目标模型：待评估模型

使用相同的评估框架和问题集，通过三角对比定位模型的真实创造力水平。

4. 避坑指南：评估中的常见误区

4.1 混淆创造力和随机性

没有理论依据的天马行空不是创造力。我们使用"可解释性过滤器"：

1. 要求模型逐步解释创新方案的来源
2. 检查推理链条中是否存在合理的跳跃
3. 剔除纯粹随机或无关联想的回答

4.2 忽视领域适配性

创造力具有领域特异性。我们采用分层评估：

• 通用创造力：跨领域的基本创新潜能
• 专业创造力：特定领域的深度创新力

避免用同一标准评估诗歌创作和工程设计的不同创造力表现。

4.3 过度依赖自动化评分

即使最完善的自动化指标也需要人工校验。我们建议：

• 自动化评分占70%权重
• 专家评分占30%权重
• 对争议案例进行小组审议

特别是在评估艺术类创作时，人类的主观感受不可或缺。

5. 前沿进展：新一代创造力评估工具

5.1 思维轨迹可视化技术

通过将模型的推理过程转化为动态图谱，我们可以：

• 直观展示思维跳跃的关键节点
• 比较不同模型的认知路径差异
• 识别创新模式的共性特征

最新工具如CogTracker已能实时渲染百万级的概念关联网络。

5.2 创造力潜力预测模型

基于大量评估数据，我们现在可以：

• 通过早期表现预测长期创新潜力
• 识别创造力发展的关键窗口期
• 针对性地设计训练干预方案

这类似于人类创新人才的早期识别系统。

5.3 跨物种创造力对比

将AI系统与动物认知研究结合，建立了统一的创造力评估框架：

这种对比揭示了AI创造力的独特优势和局限。