长任务中的推理可靠性
复杂任务往往需要多步推理,前面的错误可能影响后续判断。通过研究 QART 在长任务中保持可靠推理的条件,为模型的持续研发提供理论依据。

QUANTUMMIND
QART 是一种量子-大模型混合架构。其中,语言模型通过理解、推理与生成给出任务相关信息;量子优化组件通过编码、求解和解码处理任务相关信息,并将结果反馈给模型。
理解任务、开展推理并生成内容,向优化组件提供任务相关信息。
将模型表示或生成内容中的任务信息,转换为优化所需的表示。
以 QUBO / Ising 表述优化问题,通过 CIM 在给定预算内搜索候选解。
将候选解转换为骨干语言模型可用的辅助信息。
复杂任务往往需要多步推理,前面的错误可能影响后续判断。通过研究 QART 在长任务中保持可靠推理的条件,为模型的持续研发提供理论依据。
通过探索优化求解能力与推理任务长度之间的关系,研究如何让模型可靠地处理更长的任务。
左右滑动查看完整表格
| 基准 | Backbone | QART | 绝对变化 = QART 得分 − Backbone 得分。百分比指标按得分差显示 %;LHTB 保留奖励分数单位。 | 相对变化 =(QART 得分 − Backbone 得分)÷ Backbone 得分 × 100%。 |
|---|---|---|---|---|
| τ²-Bench | 85.52% | 88.90% | +3.38% | +4.0% |
| τ³-Bench | 21.65% | 31.96% | +10.31% | +47.6% |
| SciCode | 17.36% | 31.94% | +14.58% | +84.0% |
| LHTB | 0.2642 | 0.3591 | +0.0949 | +35.9% |
| DeepSWE | 45.13% | 41.59% | −3.54% | −7.8% |
| Terminal-Bench 4.0 | 14.29% | 20.63% | +6.35% | +44.4% |
左右滑动查看完整表格
| 基准 | Backbone | QART | 绝对变化 = QART 得分 − Backbone 得分。百分比指标按得分差显示 %;LHTB 保留奖励分数单位。 | 相对变化 =(QART 得分 − Backbone 得分)÷ Backbone 得分 × 100%。 |
|---|---|---|---|---|
| τ²-Bench | 84.11% | 89.11% | +5.00% | +5.9% |
| τ³-Bench | 43.30% | 45.36% | +2.06% | +4.8% |
| SciCode | 30.90% | 34.38% | +3.48% | +11.3% |
| LHTB | 0.3231 | 0.3419 | +0.0188 | +5.8% |
| DeepSWE | 54.90% | 65.40% | +10.50% | +19.1% |
| Terminal-Bench 4.0 | 14.29% | 20.63% | +6.35% | +44.4% |
阐述 QART 的理论与架构设计,并呈现基于不同骨干语言模型的评测结果。