?作者：蔡文睿（清素）、汪誠(chéng)愚（熊兮）、嚴(yán)俊冰（玖燭）、黃俊（臨在）

前言

近年來(lái)，自然語(yǔ)言處理（NLP）領(lǐng)域以大語(yǔ)言模型（LLM）的出現(xiàn)為標(biāo)志，發(fā)生了深刻變革，引領(lǐng)了語(yǔ)言理解、生成和推理任務(wù)的進(jìn)步。其中，進(jìn)步尤其顯著的是深度推理模型的發(fā)展，如OpenAI的o1、DeepSeek-R1和QwQ-32B等，它們?cè)跀?shù)學(xué)問(wèn)題、代碼生成等復(fù)雜推理任務(wù)中表現(xiàn)突出。這些模型的成功很大程度上得益于使用思維鏈（Chain-of-Thought, CoT）的推理方式，能夠模擬人類的漸進(jìn)思考過(guò)程，將復(fù)雜問(wèn)題化繁為簡(jiǎn)。然而，對(duì)于不同的推理任務(wù)，使用長(zhǎng)思考的推理模式并不能提升模型在所有推理任務(wù)上的精度，反而容易引發(fā)“過(guò)度思考”的問(wèn)題，既降低了模型響應(yīng)速度，又導(dǎo)致推理過(guò)程中頻繁出錯(cuò)。

為了解決這一問(wèn)題，阿里云星空人工智能平臺(tái)PAI團(tuán)隊(duì)對(duì)于思維鏈的特性，提出了推理冗余度（Reasoning Verbosity, RV）和認(rèn)知難度（Cognitive Difficulty, CD）分?jǐn)?shù)兩種度量方式，并且構(gòu)建了包括200萬(wàn)思維鏈的數(shù)據(jù)集OmniThought，對(duì)于OmniThought的每個(gè)思維鏈都進(jìn)行了標(biāo)注。基于RV和CD分?jǐn)?shù)，我們可以根據(jù)不同的任務(wù)和模型底座要求，訓(xùn)練根據(jù)任務(wù)進(jìn)行自適應(yīng)的變長(zhǎng)思維鏈推理模型。因此，基于這一新提出的OmniThought數(shù)據(jù)集，我們訓(xùn)練并發(fā)布了一系列具有更強(qiáng)推理能力、具備最佳思維鏈長(zhǎng)度和難度水平的模型（DistilQwen-ThoughtX系列），這些模型的性能甚至超越借助專有數(shù)據(jù)集訓(xùn)練的DeepSeek-R1-Distill系列。具體效果的比較見下圖。

為了便于社區(qū)用戶使用DistilQwen-ThoughtX系列模型，以及蒸餾適合自身場(chǎng)景的推理模型，我們?cè)贓asyDistill（https://github.com/modelscope/easydistill）的框架中開源了OmniThought的全部數(shù)據(jù)，以及所有DistilQwen-ThoughtX系列模型的權(quán)重。在下文中，我們將介紹OmniThought數(shù)據(jù)集的構(gòu)建流程和DistilQwen-ThoughtX系列模型的效果。

OmniThought數(shù)據(jù)集構(gòu)建

OmniThought數(shù)據(jù)集的構(gòu)建框架如下所示：

基礎(chǔ)數(shù)據(jù)搜集和正確性驗(yàn)證

首先，由于開源社區(qū)中存在許多高質(zhì)量的推理問(wèn)題集，OmniThought采用了OpenThoughts2-1M和DeepMath-103K兩個(gè)數(shù)據(jù)集作為數(shù)據(jù)源。其中，OpenThoughts2-1M包含約64萬(wàn)個(gè)跨數(shù)學(xué)、編碼、科學(xué)及謎題等多個(gè)領(lǐng)域的推理問(wèn)題，而DeepMath-103K則包括10.3萬(wàn)道難度不一的數(shù)學(xué)問(wèn)題。

接下來(lái)，我們使用DeepSeek-R1和 QwQ-32B作為教師模型，為問(wèn)題集合生成多個(gè)思維鏈推理過(guò)程。為了確保生成的思維鏈過(guò)程的高質(zhì)量，我們進(jìn)一步采用“LLM-as-a-judge”方法，對(duì)生成的思維鏈進(jìn)行多個(gè)方面的驗(yàn)證，其中包括邏輯正確性及推導(dǎo)出正確答案的能力，模版如下所示：

You are a rigorous logical validator analyzing problem-solving components. Your task is to separately assess the validity of the reasoning process and final solution. Given a problem, the correct answer, a candidate reasoning process, and a candidate solution, you will:For SOLUTION VALIDITY: Directly comparing it to the correct answer.For REASONING PROCESS VALIDATION:     a. Verify stepwise logical coherence and soundness    b. Confirm all critical problem constraints are properly addressed    c. Check for self-contradictions or unsupported leaps in logic    d. Verify the process can actually derive the proposed solutionEvaluation Protocol:- Solution validity MUST be FALSE for any numerical mismatch or missing units- Reasoning process validity requires ALL validation criteria (a-d) satisfied- Both assessments must be independent: correct answer with flawed reasoning gets (False, True)- Return STRICT BOOLEAN assessments for both componentsProblem: {problem}Correct Answer: {answer}Candidate Reasoning Process: {reasoning process} Proposed Solution: {solution}Output Format: reasoning_valid: bool, solution_valid: bool

由于OpenThoughts2-1M和DeepMath-103K數(shù)據(jù)集已包含部分來(lái)自DeepSeek-R1的思維鏈，我們同樣驗(yàn)證了這些思維鏈的正確性，并將驗(yàn)證結(jié)果作為元數(shù)據(jù)添加。最終，OmniThought數(shù)據(jù)集包含超過(guò)200萬(wàn)思維鏈，對(duì)應(yīng)于70.8萬(wàn)道推理問(wèn)題。我們確保數(shù)據(jù)集中的每個(gè)問(wèn)題至少擁有兩個(gè)經(jīng)過(guò)驗(yàn)證的正確思維鏈。

推理冗余度（Reasoning Verbosity）

思維鏈本質(zhì)上涉及自我反思，促使模型在推理過(guò)程中進(jìn)行多輪反思和修正。這種機(jī)制在模型處理復(fù)雜問(wèn)題時(shí)有助于降低錯(cuò)誤率，卻可能導(dǎo)致在簡(jiǎn)單問(wèn)題上陷入“過(guò)度思考”的情況，例如對(duì)“1 + 1 = ?”問(wèn)題回答進(jìn)行過(guò)度檢查。這樣的過(guò)度思考不僅浪費(fèi)計(jì)算資源，還可能降低推理準(zhǔn)確度。因此，對(duì)于特定問(wèn)題，其思維鏈的長(zhǎng)度應(yīng)與問(wèn)題的難度相匹配，這反映了思維鏈的“推理冗余度（Reasoning Verbosity，RV）”，我們對(duì)RV分級(jí)標(biāo)準(zhǔn)進(jìn)行了正式定義，采用0到9的評(píng)分，具體用于評(píng)估RV的模版詳見相關(guān)論文。

0-1: 最低冗余度，直接輸出結(jié)果，幾乎沒有詳細(xì)說(shuō)明。2-3: 較低冗余度，有清晰簡(jiǎn)潔的推理過(guò)程，包含必要的解釋。4-5: 中等冗余度，提供詳細(xì)解釋并進(jìn)行充分推理。6-7: 較高冗余度，全面的論證，進(jìn)行復(fù)雜的探索。8-9: 高冗余度，深入、詳盡的推理；涉及詳細(xì)論述、嵌套論證及考慮反對(duì)論點(diǎn)的討論。

為進(jìn)一步驗(yàn)證RV在推理模型訓(xùn)練中的有效性，我們?cè)贠mniThought隨機(jī)抽取包含1萬(wàn)個(gè)問(wèn)題的子集，每個(gè)問(wèn)題的三個(gè)思維鏈屬于三個(gè)不同RV級(jí)別。在這個(gè)子集內(nèi)，相鄰級(jí)別之間的RV差異超過(guò)3。因此，我們獲得了三個(gè)訓(xùn)練數(shù)據(jù)集，包含相同的問(wèn)題但不同的RV分?jǐn)?shù)級(jí)別。然后，我們以Qwen2.5-7B-Instruct為初始化模型，在每個(gè)數(shù)據(jù)集上進(jìn)行SFT訓(xùn)練，以產(chǎn)生三個(gè)模型：短思維鏈（Short）、中等思維鏈（Medium）和長(zhǎng)思維鏈（Long），結(jié)果如下（其中，藍(lán)色代表在特定任務(wù)上的分?jǐn)?shù)，紅色折線代表平均輸出token數(shù)）：

由上圖可見，在相對(duì)簡(jiǎn)單的GSM8K任務(wù)中，所有模型表現(xiàn)出相似的性能；輸出token的增加沒有提高準(zhǔn)確性，甚至導(dǎo)致輕微下降。在中等難度的MATH500任務(wù)上，準(zhǔn)確度隨著token數(shù)的增加而提高，隨后下降，其中中等模型在產(chǎn)生適量token數(shù)時(shí)達(dá)到最高的準(zhǔn)確度。在最具挑戰(zhàn)的AIME24問(wèn)題中，長(zhǎng)模型獲得最高分；模型的準(zhǔn)確性隨著token數(shù)的增加而提高。因此，對(duì)于難度較大的問(wèn)題，較長(zhǎng)的思維鏈能夠糾正模型自身錯(cuò)誤，從而有效提高準(zhǔn)確性。然而，在簡(jiǎn)單任務(wù)中，思維鏈中的過(guò)度推理和驗(yàn)證不僅增加了計(jì)算資源的消耗，還可能降低問(wèn)題解決的準(zhǔn)確性。所以，我們可以根據(jù)任務(wù)難度構(gòu)建具備相應(yīng)RV級(jí)別思維鏈的訓(xùn)練集，從而最大化計(jì)算資源利用，同時(shí)確保高準(zhǔn)確性。

認(rèn)知難度（Cognitive Difficulty）

在構(gòu)建合適的思維鏈訓(xùn)練數(shù)據(jù)集時(shí)，我們認(rèn)為思維鏈的難度應(yīng)與目標(biāo)模型的認(rèn)知能力相適應(yīng)。由于模型參數(shù)規(guī)模的顯著差異，大模型和小模型之間的認(rèn)知和推理軌跡并不總是一致。小模型在其參數(shù)限制下，往往依賴更簡(jiǎn)單的方式解決問(wèn)題，而大模型由于具備更高級(jí)的認(rèn)知能力，可能應(yīng)用更高水平的技術(shù)。例如，對(duì)于一個(gè)計(jì)算給定坐標(biāo)的三角形面積問(wèn)題，小型模型可能采用簡(jiǎn)單的幾何公式，而大型模型可能使用更復(fù)雜的方法，如基于向量的代數(shù)求解。

為驗(yàn)證這一假設(shè)，我們使用DeepSeek-R1-Distill系列的三個(gè)模型進(jìn)行實(shí)驗(yàn)：DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B，以及DeepSeek-R1-Distill-Qwen-32B。我們?cè)贛ATH500數(shù)據(jù)集上評(píng)估這些模型。對(duì)于每個(gè)模型的思維鏈過(guò)程，我們利用DeepSeek-R1根據(jù)方法的復(fù)雜性和整體推理難度進(jìn)行0到9的難度評(píng)分（評(píng)分標(biāo)準(zhǔn)參見下文），結(jié)果如下表所示。

實(shí)驗(yàn)結(jié)果顯示，隨著模型參數(shù)量的增加，思維鏈的難度也在上升，這表明較大的模型擁有更強(qiáng)的推理和認(rèn)知能力。因此，困難的思維鏈可能不適合訓(xùn)練認(rèn)知能力較低的模型。因此，使用與模型認(rèn)知能力一致的思維鏈來(lái)提升其推理能力是至關(guān)重要的，這類似于“因材施教”的策略。在我們的工作中，認(rèn)知難度（Cognitive Difficulty，CD）分?jǐn)?shù)分級(jí)標(biāo)準(zhǔn)如下所示，具體用于評(píng)估CD的模版詳見相關(guān)論文：

0-1: 小學(xué)、入門級(jí)知識(shí)，或者單一簡(jiǎn)單思考模式。2-3: 多步算術(shù)，枚舉，基于基本規(guī)則的推理。4-5: 初級(jí)邏輯/代數(shù)知識(shí)；非顯而易見的推理。6-7: 使用高級(jí)技術(shù)（行列式，動(dòng)態(tài)規(guī)劃，代碼推理等）。8-9: 高度抽象的方法，包括嵌套證明、復(fù)雜算法分析等。

在OmniThought中，我們對(duì)所有驗(yàn)證正確的思維鏈進(jìn)行評(píng)分，CD分布如圖所示：

可以觀察到，CD評(píng)分峰值在4-5級(jí)，并逐漸向兩端減少。這一發(fā)現(xiàn)也表明，例如DeepSeek-R1或QwQ-32B的能力較強(qiáng)的推理模型，有不小的可能性生成難度極高的思維鏈。在進(jìn)行知識(shí)蒸餾時(shí)，認(rèn)知能力有限的模型不太可能有效理解這些過(guò)程。因此，給定OmniThought集和基礎(chǔ)模型，可以根據(jù)基礎(chǔ)模型的認(rèn)知能力過(guò)濾訓(xùn)練數(shù)據(jù)集，從而有效提升模型的推理能力。

DistilQwen-ThoughtX：變長(zhǎng)思維鏈推理模型

基于我們提出的OmniThought數(shù)據(jù)集，我們訓(xùn)練了DistilQwen-ThoughtX系列模型，由于我們可以通過(guò)RV和CD分?jǐn)?shù)對(duì)思維鏈進(jìn)行篩選，訓(xùn)練得到的模型獲得根據(jù)問(wèn)題和本身的認(rèn)知能力，生成變長(zhǎng)思維鏈的能力。具體地說(shuō)，我們?cè)O(shè)置目標(biāo)模型的認(rèn)知能力為，即模型一般對(duì)于CD評(píng)分小于等于的思維鏈具有比較好的認(rèn)知能力。從經(jīng)驗(yàn)角度，我們的選擇一般與模型的參數(shù)量有關(guān)（具體的分析實(shí)驗(yàn)參見論文）。對(duì)于某推理問(wèn)題，我們可以根據(jù)如下設(shè)置采樣合適的思維鏈：

從上面可以看出，我們假設(shè)對(duì)于CD級(jí)別小于等于的思維鏈，采樣概率都比較大，如果CD級(jí)別大于的思維鏈，采樣概率比較小。這可以保證模型訓(xùn)練數(shù)據(jù)集中大部分思維鏈的難度都不會(huì)過(guò)大，而少部分思維鏈的難度會(huì)偏高，從而能在訓(xùn)練時(shí)盡量推高模型推理能力的上限。

對(duì)于RV分?jǐn)?shù)，我們有如下采樣規(guī)則：

這使得采樣得到的思維鏈的RV分?jǐn)?shù)和CD分?jǐn)?shù)差別不會(huì)太大。顯然，對(duì)于難度高的思維鏈，一般都需要比較長(zhǎng)的推理長(zhǎng)度，模型才能有效理解；反之亦然。同樣的，我們也容易看出，如果對(duì)于難度低的思維鏈進(jìn)行冗長(zhǎng)推理，一般對(duì)模型推理效果有反作用；如果難度高的思維鏈進(jìn)行非常精簡(jiǎn)的推理，參數(shù)規(guī)模較小的模型可能無(wú)法理解。

基于上述采樣方法，對(duì)于OmniThought中的708K個(gè)問(wèn)題，我們抽樣出合適的思維鏈以通過(guò)SFT訓(xùn)練模型。我們從Qwen2.5系列（7B和32B）初始化，訓(xùn)練兩個(gè)模型，分別命名為DistilQwen-ThoughtX-7B和DistilQwen-ThoughtX-32B。我們將我們的模型與開源社區(qū)中的知名蒸餾推理模型進(jìn)行比較，結(jié)果匯總見表格。我們觀察到，基于OmniThought數(shù)據(jù)集和我們基于RV-CD的思維鏈選擇策略，我們模型效果優(yōu)異，表現(xiàn)甚至優(yōu)于DeepSeek官方采用閉源數(shù)據(jù)集蒸餾的模型。其中，DistilQwen-ThoughtX (Full)指使用全量思維鏈數(shù)據(jù)訓(xùn)練的模型，可以看出使用我們提出的評(píng)分和篩選方法訓(xùn)練的模型效果有明顯提升。

下表展示了DistilQwen-ThoughtX的性能表現(xiàn)：

開源模型和數(shù)據(jù)集下載和使用

DistilQwen-ThoughtX在開源社區(qū)的下載

我們?cè)贖ugging Face和Model Scope上開源了我們蒸餾后的模型，分別為DistilQwen-ThoughtX-7B、DistilQwen-ThoughtX-32B。以Hugging Face為例，用戶可以使用如下代碼下載這兩個(gè)模型：

from huggingface_hub import snapshot_downloadmodel_name = "alibaba-pai/DistilQwen-ThoughtX-7B"snapshot_download(repo_id=model_name, cache_dir="./DistilQwen-ThoughtX-7B/")model_name = "alibaba-pai/DistilQwen-ThoughtX-32B"snapshot_download(repo_id=model_name, cache_dir="./DistilQwen-ThoughtX-32B/")

OmniThought數(shù)據(jù)集在開源社區(qū)的下載

我們?cè)贖ugging Face和Model Scope上開源了我們的數(shù)據(jù)集OmniThought。以Hugging Face為例，用戶可以使用如下代碼下載這兩個(gè)模型：

from datasets import load_datasetOmniThought = load_dataset("alibaba-pai/OmniThought")

本文小結(jié)

近年來(lái)，隨著大語(yǔ)言模型的出現(xiàn)，自然語(yǔ)言處理領(lǐng)域發(fā)生了重要變革，其中深度推理模型在復(fù)雜推理任務(wù)中表現(xiàn)尤為突出。然而，長(zhǎng)思維鏈推理可能導(dǎo)致“過(guò)度思考”，影響模型性能。為解決此問(wèn)題，阿里云PAI團(tuán)隊(duì)開發(fā)了OmniThought數(shù)據(jù)集，其中包含200萬(wàn)思維鏈，并標(biāo)注了推理冗余度（RV）和認(rèn)知難度（CD）分?jǐn)?shù)。這使得模型能夠根據(jù)任務(wù)自適應(yīng)選擇思維鏈長(zhǎng)度，從而提升其推理能力。基于此數(shù)據(jù)集，我們推出了DistilQwen-ThoughtX系列模型，這些模型在性能上超過(guò)了DeepSeek-R1-Distill系列。為了支持社區(qū)用戶使用及優(yōu)化這些模型，我們?cè)贓asyDistill框架中開源了OmniThought數(shù)據(jù)集和DistilQwen-ThoughtX模型的全部權(quán)重。在未來(lái)，我們將進(jìn)一步基于EasyDistill框架開源更多DistilQwen模型系列和相應(yīng)資源。歡迎大家加入我們，一起交流大模型蒸餾技術(shù)！

參考工作

本文對(duì)應(yīng)論文

Wenrui Cai, Chengyu Wang, Junbing Yan, Jun Huang, Xiangzhong Fang. Reasoning with OmniThought: A Large CoT Dataset with Verbosity and Cognitive Difficulty Annotations. arXiv preprint

DistilQwen系列相關(guān)論文

Chengyu Wang, Junbing Yan, Wenrui Cai, Yuanhao Yue, Jun Huang. EasyDistill: A Comprehensive Toolkit for Effective Knowledge Distillation of Large Language Models. arXiv preprint

Wenrui Cai, Chengyu Wang, Junbing Yan, Jun Huang, Xiangzhong Fang. Training Small Reasoning LLMs with Cognitive Preference Alignment. arXiv preprint

Chengyu Wang, Junbing Yan, Yuanhao Yue, Jun Huang. DistilQwen2.5: Industrial Practices of Training Distilled Open Lightweight Language Models. ACL 2025

Yuanhao Yue, Chengyu Wang, Jun Huang, Peng Wang. Building a Family of Data Augmentation Models for Low-cost LLM Fine-tuning on the Cloud. COLING 2025

Yuanhao Yue, Chengyu Wang, Jun Huang, Peng Wang. Distilling Instruction-following Abilities of Large Language Models with Task-aware Curriculum Planning. EMNLP 2024

DistilQwen系列技術(shù)介紹

DistilQwen2：通義千問(wèn)大模型的知識(shí)蒸餾實(shí)踐

DistilQwen2.5發(fā)布：通義千問(wèn)蒸餾小模型再升級(jí)

DistilQwen2.5-R1發(fā)布：知識(shí)蒸餾助推小模型深度思考

星空人工智能平臺(tái) PAI DistilQwen2.5-DS3-0324發(fā)布：知識(shí)蒸餾+快思考=更高效解決推理難題

基于多輪課程學(xué)習(xí)的大語(yǔ)言模型蒸餾算法TAPIR

繼續(xù)閱讀：

星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。！：首頁(yè) > 星空人工智能產(chǎn)業(yè) > AI大模型 » DistilQwen-ThoughtX：變長(zhǎng)思維鏈推理模型，超越DeepSeek蒸餾模型