QY球友会体育

科大讯飞：纯国产算力的星火X1新版本预计在3月内完成全面对标甚至超过OpenAIo1讯飞星火官网

　　IT之家 2 月 13 日消息，科大訊飛今晚發布了最新的投資者關系活動記錄表，主要針對 DeepSeek 方面的問題進行解答。

　　科大訊飛表示，飛正在訓練的純國産算力的星火 X1 新版本預計在 3 月內完成，預期可以實現數學答題和過程思維鏈能力全面對標甚至超過 OpenAI o1。

　　此外，科大訊飛還表示他們正在將 X1 深度推理模型進一步結合與中國教科院等諸多教育專家的合作，通過專業知識反思及長思維鏈強化學習結合，生成符合教育教學需求的“教學思維鏈”，提高複雜場景推理的邏輯正確性、專業性、可解釋性，並將率先用于教師助手、批改、輔學等全系産品創新，預計在 2025 世界數字教育大會期間發布教育專屬大模型和創新應用。

　　DeepSeek R1 快速對標 o1 的主要創新是其提出並實現的 R1-Zero 強化學習訓練方案，即直接在 DeepSeek-V3-base 預訓練模型上進行大規模強化學習訓練，可在數學、代碼等推理任務上得到接近 o1 模型的效果，而不依賴任何有監督微調（SFT），這是當前國內外公開已知的、在大規模任務上獲得成功效果的首個發布成果，之前學術界已有相關研究，但因爲預訓練基座模型不夠好而使得強化學習的收益不好，這一成果具有較強的創新性，大大減少了數學、代碼等任務訓練對人工標注推理過程數據的需求。

　　DeepSeek R1 並不是唯一高水平的國産深度推理大模型。2024 年 9 月 OpenAI o1-preview 發布以後，國內技術領先的大模型廠商也在快速跟進。科大訊飛基于此前在評語模型、強化學習方面的積累，在 2024 年 10 月就實現了蒙特卡洛樹搜索（MCTS）等算法創新並跑通了深度推理模型訓練算法，因爲只能使用國産算力，我們額外花費 2 個月完成華爲昇騰 910B 算力的適配和優化並大幅提升訓練效率（訓練效率相比 A100 從 55% 提升到 85%），于今年 1 月 15 日完成了星火深度推理模型 X1 的訓練和發布。雖然當前 X1 模型很小（僅 130 億參數），但依靠我們算法和數據優勢，星火 X1 已達到可以✅和 OpenAI o1-preview 對標的水平；隨著國産算力的逐步到位，模型參數增加後，我們完全有信心實現數學答題和過程思維鏈能力全面對標甚至超過 OpenAI o1。此外，結合與中國教科院等諸多教育專家的合作成果，我們將使得 X1 的思維鏈結果更加符合教育教學的專業要求，在教育、醫療等領域實現更大的應用賦能價值。

　　DeepSeek 團隊圍繞 DeepSeek V3 和 R1 的訓練和推理降本，實現了多個有效的軟硬件結合深度工程優化創新，包括 MLA（通過低秩矩陣對 KV 矩陣進行壓縮顯著降低 GPU 顯存的消耗）、MTP（通過多幀預測提升數據利用率及訓練效果和推理效率）、DualPipe（通過更底層的 PTX 指令優化英偉達 GPU 計算和通信的並行）、FP8 混合精度訓練（業界首次使用 8Bit 量化浮點數方式實現超大規模模型的訓練，以往都是使用 16Bit 量化），最終 DeepSeek 基于 2048 張英偉達 H800 卡，約 560 萬美元就能完成 V3 模型的一次完整預訓練。另外，DeepSeek R1 因爲涉及基于大量數據的強化學習叠代訓練，其成本未公布。

　　和✅ DeepSeek 類似，科大訊飛受限于✅有限的算力資源，過去幾年關于星火大模型訓練和推理成本效率的持續優化也做了大量投入，和 DeepSeek 直接使用英偉達 H800 卡上開展的各種工程優化不同，科大訊飛選擇了更難的全國産算力路線 月起科大訊飛就聯合華爲先後攻克了萬卡高速互聯組網、計算通信隱藏、訓練推理強交互、高吞吐推理優化以及國産算子優化等一系列難題，將通用大模型、類 o1 的深度推理模型等的訓練效率對標 A100 均從最初的 30%-50% 優化達到了 85%-95% 以上；以 DeepSeek 非常看重的萬卡網絡通信帶寬的利用率爲例，DeepSeek 報道的是 93%，而訊飛星火做到了 95%。訓練成本也是訊飛星火大模型的競爭優勢，我們單次訓練成本和 DeepSeek V3 在一個層次，而且後面優✅化路徑也很明確，目前以昇騰 910B 爲代表的國産硬件還不支持 FP8 精度訓練以及 DualPipe 的實現，隨著國産算力在底層能力上進一步提升，訊飛星火的訓練成本還有較大的下降空間。

　　需要特別說明的是，大模型對算力的需求爲訓練和推理兩個方面，而訓練實現的難度遠大于推理。這就是雖然陸續有公司宣布可以在國産算力平台上提供 DeepSeek 在內等大模型的推理服務，但仍只有訊飛星火一家是訓練和推理均在國産算力上進行的，並且僅用 1 萬張 910B 國産算力卡，科大訊飛不僅用比友商少一個數量級的算力取得了大模型研發上的第一梯隊成果，而且做了大量國産算力平台上的無人區的適配和效率優化，追求國産算力的極致效率，這比在英偉達上的實現更需要技術實力和戰略勇氣。

　　當前所有全民下載的通用大模型 App 中, 只有訊飛星火一家是訓練和推理均在國産算力上進行的，僅用 1 萬張 910B 國産算力卡，科大訊飛不僅用比友商少一個量級的算力取得了大模型研發上的一系列成果，而且做了大量國産算力平台上的無人區的適配和效率優化。雖然陸續有公司宣布可以在國産算力平台上提供 DeepSeek 在內等大模型的推理服務，但目前仍只有訊飛星✅火一家是訓練和推理均在國産算力上進行的。