11月2日，包括英國、美國和中國在內的近30個國家（以及歐盟）在人工智能安全峰會上達成首個全球性人工智能安全協議，并發布了《人工智能安全宣言》，這標志著人工智能正式進入安全發展的強監管時代。

峰會期間，人工智能意見領袖們就人工智能安全風險的嚴重性判斷產生重大分歧，雙方陣營展開激烈辯論。人工智能教父級人物Geoffrey Hinton和Yoshua Bengio認為人工智能存在嚴重風險，科技公司在人工智能風險問題上撒謊以阻止競爭、規避責任，引發（同時也支持）嚴格監管。而Andrew NG和Meta首席AI科學家Yann LeCun則認為人工智能風險被夸大，是大型科技公司用來扼殺創新、鞏固權力的陰謀論。

特斯拉創始人馬斯克并未選擇站隊，但是在X上發帖諷刺人工智能風險監管和“AI軍備競賽”的矛盾現狀：

雖然業界對于人工智能風險級別尚未達成共識，但Forrester Research上周發布的2024年人工智能預測報告為企業安全利用人工智能技術帶來了新的視角。該報告為可量化評估的人工智能增長制定了路線，同時警告企業領導者為猖獗的“影子AI”做好準備，因為越來越多的員工開始自行使用人工智能工具來提高工作效率。

Forrester預計，隨著企業投資可擴展的解決方案來構建、部署和監控人工智能模型，人工智能平臺預算將在2024年增加兩倍。然而，Forrester警告稱，這不足以滿足員工的需求。該報告預測60%的員工將在工作中使用自己的人工智能工具，從而帶來新的監管和合規挑戰。

Forrester發現，85%的企業通過GPT-J和BERT等開源模型擴展AI功能，而不是僅僅依賴ChatGPT等流行的大語言模型應用。Forrester預計40%的企業將積極投資于人工智能合規治理，領先于歐盟、美國和中國即將出臺的更為嚴苛的監管法規。

人工智能進入效用時代

在創新方面，Forrester預測2024年將會有大型保險公司開始提供人工智能“幻覺保險”，承保由人工智能錯誤（AI幻覺）造成的損失和傷害。

Forrester警告企業領導者在制定人工智能應用戰略時不要被炒作和“娛樂”分散注意力。

Forrester認為，2024年是“人工智能效用時代”的開始，人工智能技術將從企業的研發緩解轉移到生產環境的商業應用中。

“毫無疑問，2023年將被稱為人工智能年，因為我們看到了生成式人工智能消費化的興起。發布了大量有關合并、收購、企業超高估值以及超大規模風險投資和內部投資的公告。”Forrester的分析師團隊在報告中表示。

報告補充道：“我們預測，2024年將激勵企業團隊積極主動，制定有意義的人工智能戰略，并兌現人工智能承諾，同時密切關注法規和新風險。”

Forrester對2024年人工智能安全發展的十大預測

1. 60%的員工會在工作中使用自己的人工智能工具，從而產生安全風險。

2. 隨著企業對人工智能功能的需求激增，人工智能平臺的預算將增加兩倍。

3. 85%的公司將把開源人工智能模型納入其技術堆棧中。

4. 40%的企業將主動投資人工智能治理以實現合規性。

5. 保險公司將開始提供涵蓋人工智能錯誤的“人工智能幻覺保險”。

6. 隨著采用率的激增，生成式人工智能從2023年到2030年的復合年增長率將達到36%。

7. 企業將把人工智能從研發轉移到生產業務應用。

8. 人工智能戰略將側重于管理影子AI使用和價值創造。

9. 科技領導者感受到來自員工和高管采用人工智能（BYOIA）的壓力。

10. 2024年，隨著炒作讓位于實用主義，“人工智能效用時代”將開啟。

Forrester強調制定針對性人工智能戰略的必要性，認為企業領導者在擴大人工智能應用時必須主動應對風險，而不是被動合規，因為全球監管格局正處于高度動態發展中。

正如四大會計師事務所之一的安永在《人工智能全球監管格局報告》中指出的，全球性的人工智能監管環境中仍然存在分歧和挑戰。歐盟在全球范圍內采取了最積極主動的立場，提出了一項全面的人工智能法案，對生物識別或關鍵基礎設施等高風險人工智能用途提出強制性要求。中國也表現出了監管人工智能的較強意愿，例如內容推薦或面部識別。相對而言，美國采取了溫和的做法，重點關注自愿性行業指導和針對具體行業的規則。