智譜再融10億！獲上海國資押注，開源視覺大模型，能解說球賽，還會玩手機大模型
作者: 小錢 2025-07-03 02:41:39
閱讀(50)
東西作者陳駿達編輯云鵬智東西7月2日報道，今天，智譜發布了GLM-4.1V-Thinking系列視覺推理模型，并率先開源了GLM-4.1V-9B-Thinking，后者的整體水平達到了同尺寸（10B量級）視覺語言模型的領先水平，還在多項能力上超過了尺寸更大的Qwen-2.5-VL-72B、GPT-4o等模型。開源之外，智譜還在今天舉行的智譜開放平臺產業生態大會上宣布，該公司獲得浦東創投集團和張江集團聯合戰略投資，總額10億元。同時，智譜推出全新生態平臺Agent應用空間，并開啟Agents開拓者計劃，投入數億資金，全方位扶持AIAgents創業團隊。GLM-4.1V-9B-Thinking通過混合訓練融合了豐富的多模態模型能力。這一模型能解析最長2小時的視頻內容，或是對圖像中的內容進行深入分析和解答。例如，解析球賽時，模型能理解球員的位置，看懂球員的戰術特點?！曨l解析能力展示（圖源：智譜）它還支持看圖寫網頁、GUIAgent能力等，能識別網頁、電腦屏幕、手機屏幕等交互界面元素，支持點擊、滑動等指令執行能力。比如，當收到用戶創建日程的要求時，它能自動找到對應應用，并準確完成操作。▲GUIAgent能力展示（圖源：智譜）這一模型還擅長數學與科學推理、視覺錨定與實體定位（Grounding）等任務，后者可實現語言與圖像區域的精準對齊，提升人機交互可控性。GLM-4.1V-9B-Thinking在28項評測任務中獲得了23項同尺寸模型最佳，在18項任務持平甚至超過8倍參數量的Qwen-2.5-VL-72B。這一效果得益于智譜引入的課程采樣強化學習（ReinforcementLearningwithCurriculumSampling）策略。目前，GLM-4.1V-9B-Thinking已在GitHub、魔搭、HuggingFace上開源，這一尺寸的模型較為適合本地部署。用戶也可在魔搭、HuggingFace上直接體驗到這一模型，體驗頁面支持上傳圖片、視頻、PPT、PDF等文件。GLM-4.1V-Thinking的技術報告也一并公開。論文鏈接：https://arxiv.org/abs/2507.01006部分開源鏈接：https://modelscope.cn/collections/GLM-41V-35d24b6def9f49部分體驗鏈接：https://modelscope.cn/collections/GLM-41V-35d24b6def9f49一、訓練架構圍繞統一核心：用強化學習增強推理能力論文提到，視覺-語言模型（VLMs）已成為現代智能系統的關鍵基石，使系統能夠超越文本感知和理解視覺信息。在過去十年中，隨著模型智能水平的顯著提升，相應多模態智能任務的復雜性也相應增加。當前，業內對模型的要求已遠遠超出簡單的視覺內容感知，對高級推理能力的重視程度不斷增加。最近，許多研究表明，長形式推理和可擴展的強化學習可以顯著增強大型語言模型（LLMs）解決復雜問題的能力。一些先前的研究嘗試使用類似的范式來增強VLMs的推理能力，但它們主要集中在特定領域。目前，開源社區缺乏一種在廣泛任務范圍內持續超越傳統同類參數規模非推理模型的多模態推理模型。因此，智譜GLM-4.1V-Thinking的訓練框架圍繞一個統一目標構建：通過可擴展的強化學習全面增強模型的推理能力。GLM-4.1V-Thinking模型架構由三個核心模塊組成：視覺編碼器（ViTEncoder）、多層感知機適配器（MLPProjector）以及語言解碼器（LanguageDecoder）。智譜選用AIMv2-Huge作為視覺編碼器（這是蘋果提出的通用視覺編碼器），GLM作為語言解碼器。在視覺編碼器部分，智譜將原始的二維卷積替換為三維卷積，尤其適用于視頻理解，有效提升了處理效率。對于靜態圖像輸入，則通過復制幀的方式以保持輸入格式的一致性。GLM-4.1V-Thinking系列模型還對任意圖像分辨率和寬高比具有一定適應能力，這得益于兩項關鍵改進：其一，融合二維旋轉位置編碼（2D-RoPE），使模型能夠穩定處理極端寬高比（如超過200:1）和超高分辨率（如4K以上）的圖像；其二，為保留ViT預訓練模型的原有能力，智譜保留了其可學習的絕對位置嵌入，并通過雙三次插值方式在訓練過程中動態適配不同分辨率輸入。在語言解碼器中，智譜對原始的旋轉位置編碼（RoPE）進行了三維擴展（3D-RoPE）。這一設計顯著增強了模型在多模態輸入處理中的空間理解能力，同時保持了其在文本生成方面的原始性能。二、預訓練工作分兩步走，給模型“排課程”實現高效RLGLM-4.1V-Thinking的訓練過程分為三個階段：預訓練（Pretraining）、監督微調（SFT）和強化學習（RL）。1、預訓練在模型的預訓練階段，智譜采用了分階段漸進式的訓練策略，通過兩個緊密銜接的子階段逐步構建和提升模型的多模態理解與長上下文處理能力。首先展開的是多模態預訓練階段，這個階段的核心目標是打牢模型的基礎能力，使其建立起對多種模態數據的通用理解。這一階段的訓練數據，既有傳統的圖像字幕和交錯圖文，也包含了更具挑戰性的OCR識別、視覺定位(Grounding)以及指令響應等多樣化數據。
隨后進入的長上下文持續訓練階段，則著重拓展模型處理復雜長序列數據的能力。這個階段，智譜引入了更具挑戰性的訓練素材，包括連續的視頻幀序列以及token數量超過8K的超長圖文混合內容。通過這兩個階段的遞進式訓練，模型逐步獲得了處理高分辨率圖像、視頻序列以及超長文本等復雜場景的能力。2、監督微調在微調階段，智譜構建了一個高質量的CoT（思維鏈）訓練集，用于強化模型的長篇因果推理能力。訓練語料來自多個任務場景，包括數學題解、多輪對話、代理規劃與復雜指令跟隨，涵蓋圖文、多模態及純文本等不同類型。這一階段不僅提高了多模態推理能力，也保持了模型在語言理解與邏輯推演方面的穩定表現。
3、課程采樣強化學習在監督微調基礎上，智譜引入強化學習全面優化模型性能。強化學習讓模型通過與環境的交互來學習行為策略，以最大化累計獎勵，課程采樣強化學習在此基礎上引入課程學習的思想，通過合理安排訓練樣本的難度順序，使模型能夠更高效地學習。
智譜結合兩種方法：基于可驗證獎勵的強化學習（RLVR）和基于人類反饋的強化學習（RLHF）。前者更加適用于有明確答案的問題，后者則更適用于需要人類評判模型完成效果的問題。強化學習工作覆蓋了多個關鍵領域：（1）STEM領域問題求解（數學、物理、化學）（2）多模態信息定位與理解（OCR、實體定位、視頻分析）（3）智能體任務（GUI交互、代理規劃）（4）文檔與圖表理解、邏輯推理、復雜指令執行等通過課程采樣，在這些任務上開展由易而難的動態大規模強化學習訓練，模型在實用性、準確性和穩健性等方面取得了顯著提升。在基準測試中，GLM-4.1V-9B-Thinking展現出了類似尺寸模型中領先的水平，并在通用視覺問答、STEM、OCR&Chart、長文檔理解、GUIAgents和多模態編碼以及視頻理解領域表現出色。測試還探討了多領域強化學習中不同模態領域之間是否能泛化和相互促進的問題。對STEM、OCR&Chart、視覺定位（Grounding)）和GUIAgent這四個代表性領域的實驗表明，在大多數領域中都存在強大的跨領域泛化和相互促進現象。例如，在STEM數據上進行強化學習不僅提高了STEM領域的特定技能，還增強了視覺定位GUIAgent交互和通用視覺QA任務的性能。
跨領域聯合訓練在每個領域中帶來了更大的改進，這可能是GLM-4.1V-9B-Thinking良好性能的基礎。三、發布Agent應用空間，可一站式接入Agent能力智譜還在今天發布了全新生態平臺Agent應用空間，這是一個面向企業客戶和開發者的AIAgent能力聚合平臺。Agent應用空間提供Agent應用與模型插件（MCP）。開箱即用、靈活編排的組件服務和Agents應用，讓企業無需自建大模型團隊，即可低門檻接入成熟、安全、可控的Agent能力。
這一平臺還提供一站式開發工具鏈、完整的模型調用接口與靈活的應用組合機制。智譜是國內較早布局智能體技術的大模型廠商之一，曾提出AgenticGLM戰略。今年3月，智譜曾發布AutoGLM沉思智能體，能探究開放式問題，并根據結果執行操作的自主智能體（AIAgent），可以模擬人類的思維過程，完成從數據檢索、分析到生成報告。結語：智譜開源動作持續，今年已集齊五城融資2025年，智譜逐漸加速了其開源節奏，已經陸續推出GLM-Z1-Air、GLM-Z1-Air、GLM-Z1-Rumination等開源模型。智譜本次開源的新模型對Agent能力做了大量的針對性訓練，提升了模型在Agent場景的使用價值，也順應了當下AgenticAI的整體趨勢。4月，智譜宣布啟動IPO進程，但其在一級市場的融資并未放緩。今年開年以來，智譜已經獲得了北京、上海、杭州、成都、珠海等五個城市的地方國資押注，融資總額超25億元。這也表明，對于行業頭部企業而言，大模型的吸金熱還遠未結束。
這一設計顯著增強了模型在多模態輸入處理中的空間理解能力，同時保持了其在文本生成方面的原始性能。二、預訓練工作分兩步走，給模型“排課程”實現高效RLGLM-4.1V-Thinking的訓練過程分為三個階段：預訓練（Pretraining）、監督微調（SFT）和強化學習（RL）。1、預訓練在模型的預訓練階段，智譜采用了分階段漸進式的訓練策略，通過兩個緊密銜接的子階段逐步構建和提升模型的多模態理解與長上下文處理能力。首先展開的是多模態預訓練階段，這個階段的核心目標是打牢模型的基礎能力，使其建立起對多種模態數據的通用理解。這一階段的訓練數據，既有傳統的圖像字幕和交錯圖文，也包含了更具挑戰性的OCR識別、視覺定位(Grounding)以及指令響應等多樣化數據。
隨后進入的長上下文持續訓練階段，則著重拓展模型處理復雜長序列數據的能力。這個階段，智譜引入了更具挑戰性的訓練素材，包括連續的視頻幀序列以及token數量超過8K的超長圖文混合內容。通過這兩個階段的遞進式訓練，模型逐步獲得了處理高分辨率圖像、視頻序列以及超長文本等復雜場景的能力。2、監督微調在微調階段，智譜構建了一個高質量的CoT（思維鏈）訓練集，用于強化模型的長篇因果推理能力。訓練語料來自多個任務場景，包括數學題解、多輪對話、代理規劃與復雜指令跟隨，涵蓋圖文、多模態及純文本等不同類型。這一階段不僅提高了多模態推理能力，也保持了模型在語言理解與邏輯推演方面的穩定表現。
3、課程采樣強化學習在監督微調基礎上，智譜引入強化學習全面優化模型性能。強化學習讓模型通過與環境的交互來學習行為策略，以最大化累計獎勵，課程采樣強化學習在此基礎上引入課程學習的思想，通過合理安排訓練樣本的難度順序，使模型能夠更高效地學習。
智譜結合兩種方法：基于可驗證獎勵的強化學習（RLVR）和基于人類反饋的強化學習（RLHF）。前者更加適用于有明確答案的問題，后者則更適用于需要人類評判模型完成效果的問題。強化學習工作覆蓋了多個關鍵領域：（1）STEM領域問題求解（數學、物理、化學）（2）多模態信息定位與理解（OCR、實體定位、視頻分析）（3）智能體任務（GUI交互、代理規劃）（4）文檔與圖表理解、邏輯推理、復雜指令執行等通過課程采樣，在這些任務上開展由易而難的動態大規模強化學習訓練，模型在實用性、準確性和穩健性等方面取得了顯著提升。在基準測試中，GLM-4.1V-9B-Thinking展現出了類似尺寸模型中領先的水平，并在通用視覺問答、STEM、OCR&Chart、長文檔理解、GUIAgents和多模態編碼以及視頻理解領域表現出色。測試還探討了多領域強化學習中不同模態領域之間是否能泛化和相互促進的問題。對STEM、OCR&Chart、視覺定位（Grounding)）和GUIAgent這四個代表性領域的實驗表明，在大多數領域中都存在強大的跨領域泛化和相互促進現象。例如，在STEM數據上進行強化學習不僅提高了STEM領域的特定技能，還增強了視覺定位GUIAgent交互和通用視覺QA任務的性能。
跨領域聯合訓練在每個領域中帶來了更大的改進，這可能是GLM-4.1V-9B-Thinking良好性能的基礎。三、發布Agent應用空間，可一站式接入Agent能力智譜還在今天發布了全新生態平臺Agent應用空間，這是一個面向企業客戶和開發者的AIAgent能力聚合平臺。Agent應用空間提供Agent應用與模型插件（MCP）。開箱即用、靈活編排的組件服務和Agents應用，讓企業無需自建大模型團隊，即可低門檻接入成熟、安全、可控的Agent能力。
這一平臺還提供一站式開發工具鏈、完整的模型調用接口與靈活的應用組合機制。智譜是國內較早布局智能體技術的大模型廠商之一，曾提出AgenticGLM戰略。今年3月，智譜曾發布AutoGLM沉思智能體，能探究開放式問題，并根據結果執行操作的自主智能體（AIAgent），可以模擬人類的思維過程，完成從數據檢索、分析到生成報告。結語：智譜開源動作持續，今年已集齊五城融資2025年，智譜逐漸加速了其開源節奏，已經陸續推出GLM-Z1-Air、GLM-Z1-Air、GLM-Z1-Rumination等開源模型。智譜本次開源的新模型對Agent能力做了大量的針對性訓練，提升了模型在Agent場景的使用價值，也順應了當下AgenticAI的整體趨勢。4月，智譜宣布啟動IPO進程，但其在一級市場的融資并未放緩。今年開年以來，智譜已經獲得了北京、上海、杭州、成都、珠海等五個城市的地方國資押注，融資總額超25億元。這也表明，對于行業頭部企業而言，大模型的吸金熱還遠未結束。