賦能智慧交通、智能電網，北大等學者以「多智能體強化學習研究」登上Nature子刊

最近，由北京大學人工智慧研究院楊耀東課題組牽頭，北京大學工學院、計算機學院和倫敦國王學院協作完成的研究成果——「大規模多智能體系統的高效強化學習」 在人工智慧頂級學術期刊 Nature Machine Intelligence 上發表。

據悉，該成果首次在多智能體系統中實現了高效的去中心化協同決策，顯著提升了人工智慧方法在大規模多智能體系統中的擴展性和適用性。

多智能系統主要以龐大的智能體交互數據為基礎，利用大量計算資源驅動每個智能體學習如何與其他智能體合作執行複雜任務，其核心範式是多智能體強化學習。

論文表示，開發大規模智能體系統的主要挑戰在於實現可擴展，即在保持足夠性能的同時，實現AI模型的擴展。現有研究表明，分布式人工智慧可以通過分解複雜任務並將其分布在協作節點上，以便提高可擴展性。然而，由於對通信和採樣數據的大量要求，以往的技術在的適用性和可擴展性都有不足。

研究團隊開發了一個基於模型的分散策略優化框架，可以有效地部署在多智能體系統中。通過利用全局動力學的代理級拓撲解耦的局部觀測，證明了這種分散機制實現了對全局信息的準確估計。重要的是，他們進一步引入了模型學習，以在有限數量的採樣數據下強化單調改進的最優策略。不同場景的實證結果表明，該方法具有卓越的可擴展性，特別是在具有數百個智能體的現實世界系統中，從而為擴展智能系統鋪平了道路。

研究結果表明，該方法能夠擴展到具有數百個智能體的大規模電網和交通等網絡化系統中，在較低的通信成本下實現較高的決策性能。例如，當在城市交通系統中控制交通信號燈時，頻繁的大規模通信操作容易增加功率損失和被信號干擾的機率，並且計算複雜性將隨著交通燈數量的增多而指數級增加。因此，有必要設計能夠在有限數據和客觀通信約束下，將決策能力擴展到包含大量智能體的複雜真實系統中的多智能體強化學習方法。