ICML2025杰出論文出爐：8篇獲獎，南大研究者榜上有名arxiv
作者: 小孫 2025-07-16 10:18:09
閱讀(101)
之心報道機器之心編輯部包括6篇杰出論文獎和2篇杰出立場論文獎。本周一，ICML2025公布了最佳論文獎項。今年獲獎論文共計8篇，其中包括6篇杰出論文獎和2篇杰出立場論文獎。值得關注的是，南京大學研究者也位列獲獎名單之中。國際機器學習會議ICML（InternationalConferenceonMachineLearning），是全球范圍內人工智能領域的頂級學術會議之一，由國際機器學習學會（IMLS）舉辦，與NeurIPS、ICLR并列為AI三大頂會。本屆ICML為第四十二屆，于7月13-19日在加拿大溫哥華舉行。今年的ICML大會共獲得12107篇有效論文投稿，其中3260篇被接收，接收比例為26.9%。
相比2024年的9653篇投稿數量持續大幅增長，展示了AI領域的火熱。以下是今年的獲獎論文與簡要介紹。杰出論文獎論文1：TrainfortheWorst,PlanfortheBest:UnderstandingTokenOrderinginMaskedDiffusions論文地址：https://arxiv.org/pdf/2502.06768作者：JaeyeonKim、KulinShah、VasilisKontonis、ShamKakade、SitanChen機構：哈佛大學、得克薩斯大學奧斯汀分校論文摘要：近年來，掩碼擴散模型（MDMs，maskeddiffusionmodels）逐漸嶄露頭角。與自回歸模型（ARMs）相比，MDMs在訓練時通過犧牲復雜性來換取推理時的靈活性。具體而言，在訓練階段，MDM學習解決大量的填充問題，但在推理時，它們幾乎以任意的順序解碼Token。本文深入研究了這兩種競爭效應。在訓練層面，本文通過理論分析和實驗驗證表明：相較于自回歸模型，MDMs確實需要處理計算復雜度更高的子問題。在推斷層面，本文發現采用自適應Token解碼順序的策略能顯著提升MDMs的性能，使其有效規避困難子問題。在像數獨這樣的邏輯謎題中，自適應推理可以將預訓練MDMs的解題準確率從不到7%提高到約90%，甚至超越了具有7倍參數量的自回歸模型，這些模型通過教師強制（teacherforcing）顯式訓練，學習正確的解碼順序。論文2：TheValueofPredictioninIdentifyingtheWorst-Off論文地址：https://arxiv.org/pdf/2501.19334作者：UnaiFischerAbaigar、ChristophKern、JuanPerdomo機構：慕尼黑大學、哈佛大學論文摘要：機器學習正越來越多地用于政府項目中，以識別和支持最弱勢群體，優先為他們提供援助。本文研究了在追求公平的背景下，預測技術對福利分配的影響，并將其與其他政策工具（如擴大行政資源）進行比較。通過數學模型和針對德國居民長期失業問題的真實案例研究，本文系統性地評估了預測技術在識別最弱勢群體方面的有效性。研究成果為政策制定者提供了明確的分析框架和實用的數據驅動工具，幫助他們在設計此類系統時做出有原則性的決策。論文3：CollabLLM:FromPassiveResponderstoActiveCollaborators論文地址：https://arxiv.org/pdf/2502.00640論文主頁：https://wuyxin.github.io/collabllm/作者：ShirleyWu、MichelGalley、BaolinPeng、HaoCheng、GavinLi、YaoDou、WeixinCai、JamesZou、JureLeskovec、JianfengGao機構：斯坦福大學、微軟、佐治亞理工學院論文摘要：大語言模型通常使用下一輪獎勵進行訓練，這限制了它們在長期互動中的優化能力。因此，它們常常對模糊或開放性用戶請求作出被動回應，未能幫助用戶實現最終意圖，導致對話效率低下。為了解決這些局限性，作者提出了CollabLLM，這是一種新穎且通用的訓練框架，旨在增強多輪人類與大語言模型的協作。其關鍵創新在于通過多輪感知獎勵的協作模擬，估算響應的長期貢獻。通過強化學習對這些獎勵進行微調，CollabLLM不僅僅回應用戶請求，還能主動挖掘用戶意圖，并提供富有洞察力的建議，這是邁向更加以人為本的人工智能的關鍵一步。他們還設計了一個多輪互動基準，涵蓋了如文檔創作等三項具有挑戰性的任務。與基線模型相比，CollabLLM在任務表現上提高了18.5%，并且在語言模型評審者的互動性上提高了46.3%。最后，他們進行了一項大型用戶研究，涉及201位評審者，其中CollabLLM提高了17.6%的用戶滿意度，并減少了10.4%的用戶花費時間。
論文4：Rollthedice&lookbeforeyouleap:Goingbeyondthecreativelimitsofnext-tokenprediction論文地址：https://arxiv.org/pdf/2504.15266作者：VaishnavhNagarajan,ChenHenryWu,CharlesDing,AditiRaghunathan機構：GoogleResearch、卡內基梅隆大學論文摘要：作者設計了一套最小化的算法任務，作為開放式現實任務的一個寬泛抽象。
這使他們能夠干凈且可控地量化當今語言模型的創造性極限。與需要創造性、遠見性思維飛躍的現實任務類似，他們的任務需要一個隱式的、開放式的隨機規劃步驟，該步驟要么（a）發現抽象知識圖中的新聯系（如文字游戲、類比或研究），要么（b）構建新模式（如設計數學問題或新蛋白質）。在這些任務中，作者在經驗和概念上論證了為什么下一個Token學習是目光短淺的；多Token方法，即無教師訓練和擴散模型，相比之下在生成多樣且原創的輸出方面表現更為出色。其次，為了在不損害一致性的前提下引發隨機性，他們發現將噪聲注入輸入層（稱為種子條件化）在很多條件下的效果與（并且在某些條件下優于）從輸出層進行溫度采樣的效果一樣好。因此，他們的工作為分析開放式創造性技能提供了一個有原則的、最小化的測試平臺，并提出了超越下一Token學習和溫度采樣的新論據。論文5：ConformalPredictionasBayesianQuadrature論文地址：https://arxiv.org/abs/2502.13228作者：JakeC.Snell、ThomasL.Griffiths機構：普林斯頓大學論文摘要：基于機器學習的預測系統在高風險場景中的應用日益廣泛，了解此類預測模型部署后的表現至關重要。諸如共形預測之類的分布無關不確定性量化技術，即使在模型細節隱藏的情況下，也能保證黑盒模型的損失。然而，此類方法基于頻率概率，這過度限制了它們的適用性。本文從貝葉斯視角重新審視共形預測的核心內容，從而闡明頻率概率保證的不足之處。本文提出了一種基于貝葉斯求積的實用替代方案，它能夠提供可解釋的保證，并更全面地表示測試時可能觀察到的損失范圍。
論文6：ScoreMatchingwithMissingData論文地址：https://arxiv.org/abs/2506.00557作者：JoshGivens、SongLiu、HenryWJReeve機構：布里斯托大學、南京大學論文摘要：分數匹配是學習數據分布的重要工具，其應用領域涵蓋擴散過程、基于能量的建模和圖模型估計等諸多領域。盡管應用廣泛，但很少有研究探討其在數據不完整情況下的運用。該研究通過調整分數匹配（及其主要擴展）來解決這個問題，使其能夠在靈活的設置下處理缺失數據，其中數據可能在任何坐標子集上出現部分缺失。本文提供了兩種獨立的分數匹配變體供一般使用：重要性加權(IW)方法和變分方法。本文在有限域設置下為IW方法提供了有限樣本邊界，并證明其在小樣本低維情況下尤其表現出色。此外，本文還證明了變分方法在更復雜的高維設置下表現最佳，這一點在真實數據和模擬數據的圖模型估計任務中均得到了驗證。杰出立場論文獎（OutstandingPositionPaper）ICML大會在2024年首次設置了PositionPaper賽道，與傳統researchpaper不同，它更注重觀點性、前瞻性和討論性，而非純粹的技術創新。該賽道鼓勵作者提出對機器學習領域關鍵問題的深刻見解、爭議性觀點或未來發展方向的分析，旨在激發學術界的廣泛討論和反思。今年有2篇論文入選。
論文1：TheAIConferencePeerReviewCrisisDemandsAuthorFeedbackandReviewerRewards論文地址：https://arxiv.org/abs/2505.04966作者：JaehoKim、YunseokLee、SeulkiLee機構：韓國蔚山科學技術院（UNIST）論文摘要：隨著人工智能領域主要會議投稿數量的激增（每個會議投稿超過10,000篇），同行評審流程面臨前所未有的挑戰，評審質量和評審責任問題也日益引發關注。
本文主張將傳統的單向評審系統轉變為雙向反饋機制，在這種機制中，作者對評審質量進行評估，審稿人獲得正式的認證，創建一個責任框架，促進一個可持續的、高質量的同行評審系統。當前的評審系統可以視為作者、審稿人和系統（即會議）三方之間的互動，這三方對當前的問題共同負責。但是，作者的問題只能通過政策執行和檢測工具來解決，而倫理問題只能通過自我反思來糾正。因此，本文重點探討通過兩種關鍵機制改革審稿人問責制，并引入系統性獎勵：（1）雙階段雙向評審系統，允許作者評估評審，同時最大程度地減少報復行為；（2）系統性審稿人獎勵系統，激勵高質量審稿。
論文2：AISafetyshouldprioritizetheFutureofWork論文地址：https://arxiv.org/abs/2504.13959作者：SanchaitaHazra、BodhisattwaPrasadMajumder、TuhinChakrabarty機構：猶他大學、艾倫人工智能研究所等論文摘要：當前人工智能安全領域的工作重點在于過濾有害內容、防止操縱人類行為以及消除在網絡安全或生物安全領域中的存在性風險。盡管這些問題迫切需要解決，但這種狹隘的關注忽視了塑造社會長期發展軌跡的關鍵以人為本的考量。在本文中，作者指出了忽視人工智能對未來工作影響的風險，并建議提供全面的過渡支持，以促進具有人類能動性的有意義的勞動的演變。通過經濟理論的視角，作者強調人工智能對人類生計的跨時間影響以及勞動市場結構變化，這些變化加劇了收入不平等。此外，人工智能開發中的主要利益相關方的封閉源代碼方法，類似于通過資源剝削的尋租行為，培育了創造性勞動中的平庸，并壟斷了創新。為了解決這一問題，他們主張建立健全的國際版權體系，并實施集體許可制度，以確保使用數據訓練人工智能模型的公平補償機制，強烈建議建立一個以人為中心的全球人工智能治理框架，以促進共享繁榮和經濟公正，同時減少技術債務。
參考鏈接：https://icml.cc/virtual/2025/awards_detail
本屆ICML為第四十二屆，于7月13-19日在加拿大溫哥華舉行。今年的ICML大會共獲得12107篇有效論文投稿，其中3260篇被接收，接收比例為26.9%。
相比2024年的9653篇投稿數量持續大幅增長，展示了AI領域的火熱。以下是今年的獲獎論文與簡要介紹。杰出論文獎論文1：TrainfortheWorst,PlanfortheBest:UnderstandingTokenOrderinginMaskedDiffusions論文地址：https://arxiv.org/pdf/2502.06768作者：JaeyeonKim、KulinShah、VasilisKontonis、ShamKakade、SitanChen機構：哈佛大學、得克薩斯大學奧斯汀分校論文摘要：近年來，掩碼擴散模型（MDMs，maskeddiffusionmodels）逐漸嶄露頭角。與自回歸模型（ARMs）相比，MDMs在訓練時通過犧牲復雜性來換取推理時的靈活性。具體而言，在訓練階段，MDM學習解決大量的填充問題，但在推理時，它們幾乎以任意的順序解碼Token。本文深入研究了這兩種競爭效應。在訓練層面，本文通過理論分析和實驗驗證表明：相較于自回歸模型，MDMs確實需要處理計算復雜度更高的子問題。在推斷層面，本文發現采用自適應Token解碼順序的策略能顯著提升MDMs的性能，使其有效規避困難子問題。在像數獨這樣的邏輯謎題中，自適應推理可以將預訓練MDMs的解題準確率從不到7%提高到約90%，甚至超越了具有7倍參數量的自回歸模型，這些模型通過教師強制（teacherforcing）顯式訓練，學習正確的解碼順序。論文2：TheValueofPredictioninIdentifyingtheWorst-Off論文地址：https://arxiv.org/pdf/2501.19334作者：UnaiFischerAbaigar、ChristophKern、JuanPerdomo機構：慕尼黑大學、哈佛大學論文摘要：機器學習正越來越多地用于政府項目中，以識別和支持最弱勢群體，優先為他們提供援助。本文研究了在追求公平的背景下，預測技術對福利分配的影響，并將其與其他政策工具（如擴大行政資源）進行比較。通過數學模型和針對德國居民長期失業問題的真實案例研究，本文系統性地評估了預測技術在識別最弱勢群體方面的有效性。研究成果為政策制定者提供了明確的分析框架和實用的數據驅動工具，幫助他們在設計此類系統時做出有原則性的決策。論文3：CollabLLM:FromPassiveResponderstoActiveCollaborators論文地址：https://arxiv.org/pdf/2502.00640論文主頁：https://wuyxin.github.io/collabllm/作者：ShirleyWu、MichelGalley、BaolinPeng、HaoCheng、GavinLi、YaoDou、WeixinCai、JamesZou、JureLeskovec、JianfengGao機構：斯坦福大學、微軟、佐治亞理工學院論文摘要：大語言模型通常使用下一輪獎勵進行訓練，這限制了它們在長期互動中的優化能力。因此，它們常常對模糊或開放性用戶請求作出被動回應，未能幫助用戶實現最終意圖，導致對話效率低下。為了解決這些局限性，作者提出了CollabLLM，這是一種新穎且通用的訓練框架，旨在增強多輪人類與大語言模型的協作。其關鍵創新在于通過多輪感知獎勵的協作模擬，估算響應的長期貢獻。通過強化學習對這些獎勵進行微調，CollabLLM不僅僅回應用戶請求，還能主動挖掘用戶意圖，并提供富有洞察力的建議，這是邁向更加以人為本的人工智能的關鍵一步。他們還設計了一個多輪互動基準，涵蓋了如文檔創作等三項具有挑戰性的任務。與基線模型相比，CollabLLM在任務表現上提高了18.5%，并且在語言模型評審者的互動性上提高了46.3%。最后，他們進行了一項大型用戶研究，涉及201位評審者，其中CollabLLM提高了17.6%的用戶滿意度，并減少了10.4%的用戶花費時間。
論文4：Rollthedice&lookbeforeyouleap:Goingbeyondthecreativelimitsofnext-tokenprediction論文地址：https://arxiv.org/pdf/2504.15266作者：VaishnavhNagarajan,ChenHenryWu,CharlesDing,AditiRaghunathan機構：GoogleResearch、卡內基梅隆大學論文摘要：作者設計了一套最小化的算法任務，作為開放式現實任務的一個寬泛抽象。
這使他們能夠干凈且可控地量化當今語言模型的創造性極限。與需要創造性、遠見性思維飛躍的現實任務類似，他們的任務需要一個隱式的、開放式的隨機規劃步驟，該步驟要么（a）發現抽象知識圖中的新聯系（如文字游戲、類比或研究），要么（b）構建新模式（如設計數學問題或新蛋白質）。在這些任務中，作者在經驗和概念上論證了為什么下一個Token學習是目光短淺的；多Token方法，即無教師訓練和擴散模型，相比之下在生成多樣且原創的輸出方面表現更為出色。其次，為了在不損害一致性的前提下引發隨機性，他們發現將噪聲注入輸入層（稱為種子條件化）在很多條件下的效果與（并且在某些條件下優于）從輸出層進行溫度采樣的效果一樣好。因此，他們的工作為分析開放式創造性技能提供了一個有原則的、最小化的測試平臺，并提出了超越下一Token學習和溫度采樣的新論據。論文5：ConformalPredictionasBayesianQuadrature論文地址：https://arxiv.org/abs/2502.13228作者：JakeC.Snell、ThomasL.Griffiths機構：普林斯頓大學論文摘要：基于機器學習的預測系統在高風險場景中的應用日益廣泛，了解此類預測模型部署后的表現至關重要。諸如共形預測之類的分布無關不確定性量化技術，即使在模型細節隱藏的情況下，也能保證黑盒模型的損失。然而，此類方法基于頻率概率，這過度限制了它們的適用性。本文從貝葉斯視角重新審視共形預測的核心內容，從而闡明頻率概率保證的不足之處。本文提出了一種基于貝葉斯求積的實用替代方案，它能夠提供可解釋的保證，并更全面地表示測試時可能觀察到的損失范圍。
論文6：ScoreMatchingwithMissingData論文地址：https://arxiv.org/abs/2506.00557作者：JoshGivens、SongLiu、HenryWJReeve機構：布里斯托大學、南京大學論文摘要：分數匹配是學習數據分布的重要工具，其應用領域涵蓋擴散過程、基于能量的建模和圖模型估計等諸多領域。盡管應用廣泛，但很少有研究探討其在數據不完整情況下的運用。該研究通過調整分數匹配（及其主要擴展）來解決這個問題，使其能夠在靈活的設置下處理缺失數據，其中數據可能在任何坐標子集上出現部分缺失。本文提供了兩種獨立的分數匹配變體供一般使用：重要性加權(IW)方法和變分方法。本文在有限域設置下為IW方法提供了有限樣本邊界，并證明其在小樣本低維情況下尤其表現出色。此外，本文還證明了變分方法在更復雜的高維設置下表現最佳，這一點在真實數據和模擬數據的圖模型估計任務中均得到了驗證。杰出立場論文獎（OutstandingPositionPaper）ICML大會在2024年首次設置了PositionPaper賽道，與傳統researchpaper不同，它更注重觀點性、前瞻性和討論性，而非純粹的技術創新。該賽道鼓勵作者提出對機器學習領域關鍵問題的深刻見解、爭議性觀點或未來發展方向的分析，旨在激發學術界的廣泛討論和反思。今年有2篇論文入選。
論文1：TheAIConferencePeerReviewCrisisDemandsAuthorFeedbackandReviewerRewards論文地址：https://arxiv.org/abs/2505.04966作者：JaehoKim、YunseokLee、SeulkiLee機構：韓國蔚山科學技術院（UNIST）論文摘要：隨著人工智能領域主要會議投稿數量的激增（每個會議投稿超過10,000篇），同行評審流程面臨前所未有的挑戰，評審質量和評審責任問題也日益引發關注。
本文主張將傳統的單向評審系統轉變為雙向反饋機制，在這種機制中，作者對評審質量進行評估，審稿人獲得正式的認證，創建一個責任框架，促進一個可持續的、高質量的同行評審系統。當前的評審系統可以視為作者、審稿人和系統（即會議）三方之間的互動，這三方對當前的問題共同負責。但是，作者的問題只能通過政策執行和檢測工具來解決，而倫理問題只能通過自我反思來糾正。因此，本文重點探討通過兩種關鍵機制改革審稿人問責制，并引入系統性獎勵：（1）雙階段雙向評審系統，允許作者評估評審，同時最大程度地減少報復行為；（2）系統性審稿人獎勵系統，激勵高質量審稿。
論文2：AISafetyshouldprioritizetheFutureofWork論文地址：https://arxiv.org/abs/2504.13959作者：SanchaitaHazra、BodhisattwaPrasadMajumder、TuhinChakrabarty機構：猶他大學、艾倫人工智能研究所等論文摘要：當前人工智能安全領域的工作重點在于過濾有害內容、防止操縱人類行為以及消除在網絡安全或生物安全領域中的存在性風險。盡管這些問題迫切需要解決，但這種狹隘的關注忽視了塑造社會長期發展軌跡的關鍵以人為本的考量。在本文中，作者指出了忽視人工智能對未來工作影響的風險，并建議提供全面的過渡支持，以促進具有人類能動性的有意義的勞動的演變。通過經濟理論的視角，作者強調人工智能對人類生計的跨時間影響以及勞動市場結構變化，這些變化加劇了收入不平等。此外，人工智能開發中的主要利益相關方的封閉源代碼方法，類似于通過資源剝削的尋租行為，培育了創造性勞動中的平庸，并壟斷了創新。為了解決這一問題，他們主張建立健全的國際版權體系，并實施集體許可制度，以確保使用數據訓練人工智能模型的公平補償機制，強烈建議建立一個以人為中心的全球人工智能治理框架，以促進共享繁榮和經濟公正，同時減少技術債務。
參考鏈接：https://icml.cc/virtual/2025/awards_detail