當前，大模型的訓練數據嚴重依賴現有的互聯網公開數據。有 研究預測，到 2026 年大型語言模型的訓練就將耗盡互聯網上的可用 文本數據，未來需要借助合成數據解決大模型的數據瓶頸。目前， 合成數據正迅速向金融、醫(yī)療、零售、工業(yè)等諸多產業(yè)領域拓展應 用。根據 Gartner 預測，到 2024 年，60%用于 AI 開發(fā)和分析的數據 將會是合成數據，到 2030 年，合成數據將成為 AI 模型所使用數據 的主要來源11。2024 年 6 月，英偉達正式發(fā)布全新開源模型 Nemotron-4 340B，具體包括基礎模型 Base、指令模型 Instruct 和獎 勵模型 Reward 共三個模型。其中，指令模型 Instruct 的訓練僅依賴 大約 2 萬條人工標注數據，其余用于監(jiān)督微調和偏好微調的 98%以 上訓練數據都是通過 Nemotron-4 340B SDG Pipeline 專用數據管道 合成。

當前，合成數據技術創(chuàng)新主要呈現以下幾大趨勢：

一是合成數據模型走向深度進化。傳統的數據合成方法多依賴統計學和機器學 習的基本原理，當前數據合成技術聚焦于深度學習算法模型，特別 是生成對抗網絡(GANs)的廣泛應用。GANs 通過一對競爭性神經網 絡—生成器和判別器的博弈過程，實現了前所未有的數據真實度與 多樣性，諸如 StyleGAN、BigGAN 等高級變種網絡技術，極大拓寬數據合成的應用邊界。

二是多模態(tài)合成能力不斷突破。多模態(tài)合 成技術通過整合不同模態(tài)的特征表示，能夠同時生成聲音、視頻、 3D 模型等多種類型的數據，不僅豐富了合成數據的維度，也促進了 多模態(tài)理解和生成任務的進步，為復雜場景應用（如自動駕駛、虛 擬現實等）提供了重要的技術支持。

三是強化學習與合成數據逐漸融合發(fā)展。近期數據合成技術開始與強化學習算法深度融合，用于 模擬復雜環(huán)境下的交互數據，幫助智能體在安全、成本效益高的虛 擬環(huán)境中學習策略。這種結合不僅解決了現實世界數據獲取難、風 險高等問題，還極大地提升了智能體的學習效率與適應能力，尤其 是在自動駕駛、機器人導航等領域展現出巨大潛力。

四是隱私保護與合規(guī)性技術不斷增強。面對日益嚴格的個人數據保護法規(guī)，數據 合成技術創(chuàng)新性地提供了隱私保護解決方案—差分隱私、聯邦學習 與合成數據的結合，使得在不暴露原始敏感信息的前提下，也能生 成可用于訓練的高質量數據集，這不僅保障了用戶隱私，也為金融 機構、醫(yī)療保健等行業(yè)利用 AI 技術創(chuàng)造了條件。