蘋果研究人員質疑AI的推理能力：簡單數學問題稍作改動就會答錯
鳳凰科技 2024-10-13 01:35:30 8
來源：IT之家
IT之家 10 月 12 日訊息，近年來，人工智慧（AI）在各個領域取得了顯著的進展，其中大型語言模型（LLM）能夠生成人類水平的文字，甚至在某些任務上超越人類的表現。然而，研究人員對 LLM 的推理能力提出了質疑，他們發現這些模型在解決簡單的數學問題時，只要稍加改動，就會犯錯誤，這表明它們可能並不具備真正的邏輯推理能力。
圖源 Pexels
週四，蘋果公司的一組研究人員釋出了一篇名為《理解大型語言模型中數學推理的侷限性》的論文，揭示 LLM 在解決數學問題時容易受到干擾。IT之家注意到，研究人員透過對數學問題的微小改動，例如新增無關的資訊，來測試 LLM 的推理能力。結果發現，這些模型在面對這樣的變化時，其表現急劇下降。
例如，當研究人員給出一個簡單的數學問題：“奧利弗星期五摘了 44 個奇異果，星期六摘了 58 個奇異果。星期日，他摘的奇異果是星期五的兩倍。奧利弗一共摘了多少個奇異果？”時，LLM 能夠正確地計算出答案。然而，當研究人員新增一個無關的細節，“星期日，他摘的奇異果是星期五的兩倍，其中 5 個比平均小。”時，LLM 的回答卻出現了錯誤。例如，GPT-o1-mini 的回答是：“... 星期日，其中 5 個奇異果比平均小。我們需要從星期日的總數中減去它們：88（星期日的奇異果） - 5（較小的奇異果） = 83 個奇異果。”
上面只是一個簡單的例子，研究人員修改了數百個問題，幾乎所有問題都導致模型的回答成功率大幅下降。
研究人員認為，這種現象表明 LLM 並沒有真正理解數學問題，而是僅僅根據訓練資料中的模式進行預測。但一旦需要真正的“推理”，例如是否計算小的奇異果，它們就會產生奇怪的、不合常理的結果。
這一發現對 AI 的發展具有重要的啟示。雖然 LLM 在許多領域表現出色，但其推理能力仍然存在侷限性。未來，研究人員需要進一步探索如何提高 LLM 的推理能力，使其能夠更好地理解和解決複雜的問題。
廣告宣告：文內含有的對外跳轉連結（包括不限於超連結、二維碼、口令等形式），用於傳遞更多資訊，節省甄選時間，結果僅供參考，IT之家所有文章均包含本宣告。