2.1 用于优化问题建模与求解的LLM#

后训练方法。 这些方法试图通过LLM的后训练直接将优化建模编码到数学模型中。代表性研究基于多种范式，如监督微调（ORLM (Huang et al., 2025a), OptMATH (Lu et al., 2025), AutoOR (Motwani et al., 2026)）、偏好优化（LLMOPT (Jiang et al., 2025a)）和强化学习（SIRL (Chen et al., 2026)）OR-R1 (Ding et al., 2026)）。

图2：OPTSKILLS概览。OPTSKILLS包含三个阶段。阶段I：（1）问题原型表示，（2）求解器组合展开，（3）轨迹分析，（4）基于聚类的技能蒸馏，构建初始技能库($\mathcal{M}_0$)。阶段II：对于新问题，技能选择器将其路由到（5）技能细化或（6）技能扩展，得到学习后的技能库($\mathcal{M}^*$)。阶段III：选定的技能指导测试时推理。

基于智能体的方法。 这些方法不更新模型参数，而是编排多阶段LLM工作流，将建模、编码、求解和验证分解为模块化阶段。Chain-of-Experts (Xiao et al., 2024) 和 OptiMUS (Ahmadi-Teshnizi et al., 2024) 将复杂问题分配到专门的专家智能体，并将其组织成结构化智能体拓扑。ORMind (Wang et al., 2025) 和 ORThought (Yang et al., 2025b) 融入了认知推理和专家级建模启发式方法，系统地将业务需求映射到数学抽象和求解器实现。

经验增强方法。 最近的努力开始整合外部经验，将基于LLM的优化任务从单次生成转向经验增强的建模。DRoC (Jiang et al., 2025b) 和 ConstraintLLM (Shi et al., 2025) 将约束分解为可检索单元以辅助形式推理。MIRROR (Shi et al., 2026) 利用对示例库的分层搜索来提供特定于任务的建模和代码参考。LEAN-LLM-OPT (Liang et al., 2026) 从精选的参考数据集中检索参考示例，并构建结构化的建模工作流来指导下游公式化和代码生成；AlphaOPT (Kong et al., 2026) 构建经验库，从失败的尝试中提炼结构化见解。

2.2 LLM智能体中的技能学习#

与特定任务的经验增强相比，配备技能的LLM智能体为跨任务知识积累和复用提供了更通用的框架。技能保留了可操作的任务知识，同时保持足够的抽象性以支持跨不同问题的迁移。XSkill (Jiang et al., 2026a) 将操作经验与结构技能分离。EvoSkill (Alzubi et al., 2026), Memento-Skills (Zhou et al., 2026), 和 AutoSkill (Yang et al., 2026) 强调自动技能发现、路由和演进。Trace2Skill (Ni et al., 2026) 归纳地将轨迹局部教训整合到统一的、无冲突的、可迁移的技能目录中。MemSkill (Zhang et al., 2026) 将记忆操作本身重塑为可学习技能，通过控制器、执行器、分析器和优化器的闭环来优化技能库。

3.1 预备知识#

优化问题原型。 一个优化问题原型 $a\in \mathcal{A}$ 指从具体应用场景中抽象出的规范优化结构。给定一个原型 $a$，我们将其自然语言实例记为 $x = g_{u}(a)$，其中 $u$ 指定具体场景，$g_{u}$ 表示将底层优化结构表达为自然语言问题陈述的语言化过程。理想情况下，$x$ 及其原型 $a$ 应诱导出相同的优化模型，即 $f_{\mathrm{model}}(a) = f_{\mathrm{model}}(g_u(a))$。这表明优化建模应对表面场景和叙述变化保持不变性，共享相同原型的问题可能在场景设置、叙述上下文和自然语言表面形式上差异很大，但通常在建模层面共享相似的决策变量、目标函数、约束模式和参数配置。

技能。 一个技能 $s\in S$ 是一个可重用的程序性知识文档，针对一类优化问题原型。形式上，$s = (m,w,p)$，其中 $m$ 表示技能元数据，包括其名称和简要描述；$w$ 表示建模和求解工作流，涵盖决策变量、目标构建、约束建模、求解器配置、状态检查和结果解析；$p$ 表示常见陷阱，总结了建模和求解中的常见错误模式。附录D中提供了一个技能示例。

3.2 OPTSKILLS概述#

我们提出OPTSKILLS，一个用于自然语言优化任务的智能体系统。如图2所示，OPTSKILLS分三个阶段进行。阶段I：通过基于聚类的蒸馏进行技能发现，从数据集构建初始技能库 $\mathcal{M}_0$。它首先通过要素提取和问题编辑推导问题的原型，然后在这个表示空间中对问题进行聚类，并从每个聚类内的建模和求解轨迹中蒸馏基于聚类的技能。阶段II：技能学习在新遇到的问题上细化和扩展库。阶段III：测试评估从 $\mathcal{M}$ 中检索与目标问题相关的技能，并将其作为程序性指导注入智能体进行推理。

3.3 阶段I：通过基于聚类的蒸馏进行技能发现#

问题原型表示。 给定一个训练问题 $x_{i}$，系统首先构建与其原型 $a_{i}$ 相关联的原型嵌入 $e_{i}$。该嵌入捕捉问题的建模结构，同时减少特定场景叙述的影响。一个由LLM驱动的提取器输出优化要素 $\kappa_{i}$ 和一个编辑后的问题描述 $\tilde{x}_{i}$。

要素 $\kappa_{i}$ 包括抽象层面的变量、约束和目标函数。它们不是从原始文本中复制，而是设计为尽可能忽略具体场景、实体名称和叙述背景。编辑后的文本 $\tilde{x}_{i}$ 将特定场景的叙述和实体名称替换为通用占位符，同时保留原始参数、约束和数值信息。

原型嵌入 $e_{i} = \mathrm{Norm}(\alpha \cdot w_{i} + (1 - \alpha)\cdot v_{i})$ 计算为 $w_{i}$ 和 $v_{i}$ 的归一化加权和，其中 $w_{i}$ 和 $v_{i}$ 分别是 $\kappa_{i}$ 和 $\tilde{x}_{i}$ 的嵌入。我们采用 Qwen3-Embedding-v3 作为嵌入模型，权重 $\alpha \in [0,1]$ 控制 $\kappa_{i}$ 和 $\tilde{x}_{i}$ 的相对贡献。共享相似原型 $a$ 的问题预期在其原型嵌入 $e_{i}$ 之间具有高相似性，这为聚类提供了基础。

求解器组合展开。 对于每个问题，该模块探索多种不同的建模方法和求解器配置，并收集求解轨迹。其基本原理是，对于相同的优化问题，不同的建模范式和求解器配置在适用性和稳定性上可能有所不同。给定 $\tilde{x}_{i}$ 和 $\kappa_{i}$，一个基于LLM的求解器选择器从候选池 $B$ 中选择一个由最可能的 top-$k$ 个求解器组成的子集 $B_{i}$。对于每个求解器 $b\in B_{i}$，LLM首先生成一个优化模型 $z_{i}^{b}$。然后它迭代地生成可执行的求解器代码 $c_{i,t}^{b}$ 并接收执行观察结果 $o_{i,t}^{b}$。

假设在 $T_{i}^{b}$ 次代码生成和求解迭代后，获得了一个可行解 $\hat{y}_{i}^{b}$。我们将特定建模范式和求解器配置组合 $b$ 下的建模和求解轨迹定义为

$\tau_{i}^{b} = (z_{i}^{b},c_{i,1}^{b},o_{i,1}^{b},c_{i,2}^{b},o_{i,2}^{b},\ldots ,c_{i,T_{i}^{b}}^{b},\hat{y}_{i}^{b}). \quad (1)$

轨迹集合为 $\mathcal{T}_i = \{\tau_i^b\mid b\in B_i\}$。在轨迹集合中，如果 $\hat{y}_{i}^{b}$ 与真实答案 $y_{i}^{*}$ 匹配，则轨迹被标记为正；否则标记为负。这将 $\mathcal{T}_{i}$ 划分为正轨迹集 $\mathcal{T}_{i}^{+}$ 和负轨迹集 $\mathcal{T}_{i}^{- }$。

轨迹分析。给定 $\mathcal{T}_{i}^{+}$ 和 $\mathcal{T}_{i}^{- }$，使用一个基于LLM的技能分析器将展开轨迹提炼为可读的分析。从正轨迹中，它提取有效的求解器配置和可复用的建模与求解过程，总结为标准操作程序（SOP）。从负轨迹中，它识别失败原因并将其总结为常见陷阱：

$q_{i} = A_{\eta}(\mathcal{T}_{i}^{+},\mathcal{T}_{i}^{-}) = (r_{i},p_{i}). \quad (2)$

技能分析器 $A_{\eta}$ 返回两个组成部分：可复用的SOP $r_i$ 和相应的常见陷阱 $p_i$。每个分析 $q_i$ 作为技能蒸馏的输入，贡献一个蒸馏知识的原子单元。

基于聚类的技能蒸馏。 在获得每个训练问题的 $e_i$、$\mathcal{T}_i$ 和分析 $q_i$ 后，根据其原型嵌入对问题进行聚类，并在聚类级别蒸馏可复用技能。具体来说，它对嵌入应用DBSCAN（Ester et al., 1996），产生 $\mathcal{C} = \mathrm{DBSCAN}(\{e_i\}_{i = 1}^{N}; \epsilon, m)$，其中 $\epsilon$ 是邻域半径，$m$ 是形成核心点所需的最小样本数。由于 $e_i$ 是归一化的，因此使用余弦距离进行聚类。每个聚类 $C\in \mathcal{C}$ 对应一组具有相似原型的问题。

对于每个聚类，一个基于LLM的技能构建器聚合其成员问题的轨迹分析，并蒸馏一个技能 $s_C = B_\eta (\{q_i\mid i\in C\})$。结果集合 $\mathcal{M}_0 = \{s_C\mid C\in C\}$ 形成初始技能库。基于聚类的蒸馏聚合了同一问题原型下的多种正负分析，产生较少依赖实例特定伪影且更适合复用的程序性知识。

3.4 阶段II：技能学习#

在构建初始技能库 $\mathcal{M}_0$ 之后，OPTSKILLS 在新遇到的问题上逐步改进它。给定一个新问题 $x$，系统首先应用与阶段I相同的要素提取和问题编辑步骤。基于这些，一个基于LLM的技能选择器通过将问题与当前库中所有技能的名称和描述进行比较来识别候选技能。然后，选定的候选技能被传递给一个基于LLM的评判器，该评判器决定该技能是否应被接受用于解决问题。如果匹配的技能被接受，系统使用新求解轨迹中的证据来细化它。否则，该问题被视为潜在的新原型，并在有足够证据时可用于扩展库。

技能细化。 当选择一个现有技能 $s^{*} = (m^{*},w^{*},p^{*})$ 时，它被用作程序性指导来解决新问题 $x$。然后智能体生成一个求解轨迹 $\tau$，并根据答案的正确性进行评估。正轨迹为强化 $w^{*}$ 中的可复用SOP提供证据。负轨迹为 $p^{*}$ 中的常见陷阱贡献失败证据。轨迹由技能分析器 $A_{\eta}$ 蒸馏成分析 $q$，然后由一个基于LLM的技能细化器用来将选定的技能 $s^{*}$ 更新为新技能 $s_{\mathrm{refined}}$。

细化器使用正SOP证据更新工作流组件 $w^{*}$，并使用负证据扩充陷阱组件 $p^{*}$，同时保留技能元数据和适用边界。细化后的技能 $s_{\mathrm{refined}}$ 替换库中的 $s^{*}$。

技能扩展。 当找不到合适的技能时，新问题被视为新原型的候选。OPTSKILLS 执行求解器组合展开以获得一组候选轨迹 $\mathcal{T}_x = \{\tau_x^b\mid b\in \mathcal{B}_x\}$。与阶段I一样，技能分析器将它们总结为轨迹分析 $q$。

为了避免添加无支撑的程序性知识，OPTSKILLS 仅当至少有一个正轨迹可用时才扩展库。在这种情况下，技能构建器从轨迹分析中构建一个新技能作为 $s_{\mathrm{new}} = B_{\eta}(\{q\})$，库更新为 $\mathcal{M}_{t + 1} = \mathcal{M}_t\cup \{s_{\mathrm{new}}\}$。

3.5 阶段III：测试评估#

在测试期间，OPTSKILLS 使用学习到的技能库 $\mathcal{M}^{*}$ 作为固定资源，不进行任何进一步更新。对于每个测试问题 $x$，系统首先应用与先前阶段相同的提取器来获得优化要素 $\kappa$ 和编辑后的问题 $\tilde{x}$。一个基于LLM的技能选择器然后根据 $\kappa$ 和 $\tilde{x}$ 从 $\mathcal{M}^{*}$ 中识别最相关的技能，依靠技能名称和描述作为检索线索。选定的技能用于在推理过程中指导LLM智能体，最后预测结果根据真实答案 $y^{*}$ 进行评估。

4.1 主要结果#

我们使用 Pass@1 求解准确率（SA）评估所有方法，并将结果总结在表1中。

OPTSKILLS 与基线方法的比较（对应 Q1）。如表1总结所示，OPT-SKILLS（使用 DeepSeek-V3.2 作为LLM骨干）在几乎所有基准上持续达到最先进的性能，取得了68.27%的微平均 pass@1 准确率，并显示出相比于所有基线的显著提升。为了将我们系统的贡献与底层LLM骨干（DeepSeek-V3.2）的内在能力分离，我们进行了一项消融研究，在推理过程中使用 Qwen3-235B-A22b-instruct-2507 作为基础模型。该配置达到了61.46%的微平均准确率，与 Trace2Skill 相当，并优于大多数基线。这些结果表明，性能提升源于 OPTSKILLS 本身，而非骨干模型的选择。

值得注意的是，OPTSKILLS 在诸如 OptMATH 和 Mamo.C 等具有挑战性的基准上表现出显著优势，大幅超越了基于提示的基线。即使在相对简单的 OptiBench 基准上，OPTSKILLS 也保持了显著的准确率优势。

4.2 消融研究#

技能对智能体性能的贡献（对应 Q2）。 我们对阶段I中采用的基于聚类的技能蒸馏过程进行了实证分析。表2报告了每种条件在5个基准上的 Pass@1 准确率。尽管将基线增强为每样本技能（Group 2）在 Mamo.C 和 OptMATH 等具有挑战性的基准上带来了适度的提升，但整体改进仍然有限。这源于技能之间的功能重叠。此外，每样本提取引入了实例特定的偏差，技能选择依赖于主要指示适用条件而非可泛化模式的描述。因此，单个的每样本技能在结构相似的问题上表现出有限的迁移性。

此外，我们发现系统产生了129个不同的技能，其中81个（62.8%）在5个基准的推理过程中从未被调用。然而，这些未被选中的技能并非本质上无效；当多个语义相似的技能共存时，模型为特定实例识别成功技能的可能性显著降低，从而损害了解决方案的可靠性。

通过聚类策略增强技能应用（对应 Q3）。 相比之下，聚类技能库（Group 3）相比于基线显示出显著的性能提升。这表明聚类显著提高了技能库的整体质量，从而促进了共享相同原型的问题之间的鲁棒泛化。

此外，我们使用基于聚类的蒸馏推导出了46个技能。其中，在整个推理过程中只有7个技能未被使用（15.2%）。相比之下，非聚类基线表现出更高比例的从未被调用的技能（62.8%）。这表明基于聚类的蒸馏过程有效地减少了技能库中的冗余，从而提高了LLM为给定问题实例识别和检索最合适技能的可能性。

由于聚类策略对基于聚类的技能生成的质量有影响，为了验证我们提出的基于原型的聚类方法的有效性，我们与直接在原始问题文本嵌入上进行聚类的策略进行了比较分析。详细结果和讨论见附录F.1。

在分布内数据上的技能学习（对应 Q4-1）。 如表2的Group 4所总结，与Group 3相比，所提出的配置在几乎所有基准上的平均准确率都有所提高。例外是 IndustryOR 和 ComplexOR，其中相对较高的错误率（Xiao et al., 2025）可能削弱了观察到的增益的统计显著性。此外，ComplexOR 包含相对较少的样本，这进一步限制了比较的稳健性。

为了研究技能学习过程中技能库的增长动态及其对求解性能的影响，我们在 OPTSKILLS 在 OptiBench 上的学习过程中建立了四个检查点，分别对应技能库大小为46、49、53和56。我们使用每个检查点的技能库配置的 OPTSKILLS 在同一基准上独立评估。随着库大小从46增长到56，OptiBench 上的求解准确率呈现出非单调的上升趋势（74.71% → 74.05% → 75.37% → 77.02%）。尽管在中间检查点（49个技能）略有下降，但整体轨迹表明，在同一数据分布内扩展技能覆盖范围可以带来持续的性能提升，验证了 OPTSKILLS 通过技能学习实现自我改进的能力。缩放现象的条形图见附录F.3。

4.3 讨论#

在分布外数据上的技能学习（对应 Q4-2）。 为了评估 OPTSKILLS 在分布偏移下的泛化和适应能力，我们首先在 NLCO 基准（一个OOD组合优化基准）上评估初始技能库。然后，我们通过基于模板的合成构建了一个OOD适应数据集 NANO-CO。NANO-CO 包含组合优化问题，其问题类型分布与上述300个训练样本不同。我们使用 NANO-CO 进行技能学习，并再次在 NLCO 上评估适应后的 OPTSKILLS。

如表3所报告，具有初始技能库（学习前）的 OPTSKILLS-D 相比于工具调用智能体取得了5.96个百分点的绝对提升（68.56% 对比 62.60%），表明初始技能库已经表现出非平凡的跨领域迁移。

基于初始技能库中获得的46个技能，我们在 NANO-CO 上扩展了47个新技能，总计93个技能。然后，我们使用扩展后的技能库在 NLCO 基准的 hard 分割上评估 OPTSKILLS，达到了72.79%的准确率，比基线高出10.19个百分点。这表明 OPTSKILLS 能够在问题分布偏移下持续扩展其对问题原型的覆盖范围。

在所有评估的实例中，成功的轨迹相比于失败的轨迹表现出更高的新技能利用率。除了9个失败样本外，在1565个成功解决的样本中，有644个使用了新技能。相比之下，在576个失败样本中，只有176个使用了新技能，其余完全依赖现有技能。为了阐明新学习技能的贡献，我们绘制了新旧技能使用率的饼图，见附录F.4。

在高维和大规模问题上的求解能力（对应 Q5）。 为了评估 OPTSKILLS 在现实世界和高维场景中的能力，我们在具有挑战性的基准 MIPLIB-NL (Li et al., 2026) 上进行了评估，该基准以大规模决策变量和约束为特征。结果显示 OPTSKILLS-D 达到了26.91%的求解准确率，比 MIPLIB-NL 论文中报告的 DeepSeek-v3.2-thinking (22.38%) 高出4.53%。在 OPTSKILLS 正确解决的问题中，决策变量的维度高达87,482。这表明 OPTSKILLS 即使在面对大规模工业问题实例时也能保持竞争性能。

A 数据合成#

为了评估和增强 OPTSKILLS 在组合优化问题上的可泛化建模能力，我们构建了一个合成组合优化实例集，命名为 NANO-CO，作为在保留的 NLCO 基准上进行技能学习之前的适应集。

我们手动整理了一组常见的组合优化问题及其代表性变体。基于这些问题类别，我们进一步开发了49个种子代码模板，每个种子模板对应一种问题类型。

所有种子模板都经过手动检查和求解器验证。特别关注目标函数、约束、决策变量定义和参数设置中可能影响最优性的潜在实现问题，确保每个模板都能持续生成具有可验证全局最优解的实例。然后，在保留原始数学结构的同时，我们使用大型语言模型为每个模板生成了五个具有现实业务背景的新主题，例如物流调度、急诊室排班和半导体制造。

为了确保主题重写不会改变原始的组合优化结构，我们为每个新主题建立了严格的实体映射关系。例如，原始问题中的“机器”可能映射到“手术室”，而其建模角色、约束关系和参数语义保持不变。对于每个主题实例，我们进一步注入一个独立的随机种子来生成相应的数值参数，并调用求解器来验证可行性和全局最优性。这个过程总共产生了245个训练实例。

为了说明 NANO-CO 和 NLCO 之间的关系，我们手动比较了它们的问题类别。如果某个 NLCO 任务类别在 NANO-CO 中有完全或接近对应的类别，则认为该类别被覆盖。如图4所示，NANO-CO 覆盖了43个 NLCO 任务类别中的22个，表明存在大量重叠，同时仍为 NLCO 特有类型留有余地。

在实例规模方面，NANO-CO 中的约束数量范围为1到5，平均为2.8，决策变量数量范围为9到310，平均为48。

B 实验设置#

C 基准#

为了确保我们实验结果的可靠性和一致性，我们采用了 LLMOPT (Jiang et al., 2025a) 中清理和修正过的 OptiBench、Mamo.C、Opt-MATH、IndustryOR 和 ComplexOR 版本，而非原始数据集。

D 技能示例#

E 复现细节#

F 附加实验#

G 案例研究#

为了使技能注入的效果更具体，我们包含了一个代表性的案例研究，其中任务是一个基数约束的成对选择问题，具有有向和非对称的成对收益。我们比较了同一实例上技能引导轨迹和无技能轨迹。图10总结了两条轨迹，并突出了语义错误发生的位置。

H 提示词#

略