Anthropic發出警告：AI正逼近“遞迴自我改進”臨界點

人工智慧研究公司Anthropic近日釋出了一份嚴正宣告，指出當前AI技術正迅速向“遞迴自我改進”（Recursive Self-Improvement，簡稱RSI）的能力邁進。所謂RSI，是指AI系統進化到足以自主訓練並最佳化自身模型的階段。

一旦觸及這一關鍵閾值，AI的整體能力可能會出現難以預料的爆發式增長，引發技術發展的“失控”效應。對於安全研究人員和行業監管者而言，RSI里程碑的到來標誌著人工智慧發展的一個重大轉折點。

支持者認為，這一突破將為科學研究和技術創新帶來前所未有的機遇；然而，批評人士和安全倡導者則將其視為“不歸路”。他們擔心，當AI具備自主迭代能力後，人類將面臨極其複雜的控制難題，如何對先進機器學習系統實施有效監管和安全治理，已成為亟待解決的緊迫議題。

隨著科技巨頭不斷加大算力投入並持續最佳化演算法效率，關於AI生存風險與監管護欄的討論愈發激烈。專家們反覆強調，在系統真正達到遞迴自我改進的門檻之前，建立前瞻性的國際標準並進行嚴格的安全測試已刻不容緩。

來源: TechCrunch