面向智慧城市 AI 的 NVIDIA Omniverse Blueprint 集成了 NVIDIA Omniverse™、NVIDIA Cosmos™、NVIDIA NeMo™ 和 Metropolis,已被多家領先的獨立軟件供應商 (ISV) 合作伙伴采用,以提升歐洲城市的可持續發展水平與居民生活質量。
預計到 2050 年,城市人口將翻一番,這意味著到本世紀中期,全球的城市人口可能會增加約 25 億,這對可持續的城市規劃和公共服務提出了更高的要求。全球各地的城市正在使用數字孿生和 AI 智能體,以進行城市規劃場景分析和數據驅動的運營決策。
然而,構建城市的數字孿生并在其中測試智慧城市 AI 智能體,是一項復雜且資源密集型的艱巨任務,面臨著技術和運營方面的諸多挑戰。
為應對這些挑戰,NVIDIA 宣布推出面向智慧城市 AI 的 NVIDIA Omniverse Blueprint,這一參考框架集成了 NVIDIA Omniverse、Cosmos、NeMo 和 Metropolis 平臺,旨在將物理 AI 的優勢覆蓋至整座城市及其關鍵基礎設施。
借助該藍圖,開發人員可以構建仿真就緒型 (SimReady) 的逼真的城市數字孿生,以構建和測試 AI 智能體,用于監控和優化城市運營。
首批采用這一藍圖的公司包括 XXII、AVES Reality、Akila、Blyncsy、Bentley、Cesium、K2K、Linker Vision、Milestone Systems、Nebius、SNCF Gares&Connexions、Trimble 以及 Younite AI 等領先企業。
面向智慧城市 AI 的NVIDIA Omniverse Blueprint
面向智慧城市 AI 的 NVIDIA Omniverse Blueprint 提供了完整的軟件堆棧,可加速在物理精確的城市數字孿生中開發和測試 AI 智能體。該軟件棧包括:
NVIDIA Omniverse:用于構建物理精確的數字孿生,并在城市規模上運行仿真。
NVIDIA Cosmos:用于生成大規模合成數據,用于 AI 模型的后訓練。
NVIDIA NeMo:用于整理高質量數據,并利用這些數據訓練和微調視覺語言模型 (VLM) 和大語言模型。
NVIDIA Metropolis:基于用于視頻搜索和總結的 NVIDIA AI Blueprint (VSS) 開發及部署 AI 智能體,以處理大量視頻數據,并為優化業務流程提供重要見解。
該藍圖的工作流包括三個關鍵步驟。首先,開發者使用 Omniverse 和 Cosmos,利用航拍、衛星或地圖數據創建地點和設施的 SimReady 數字孿生。接下來,使用 NVIDIA TAO 工具套件和 NeMo Curator 訓練和微調 AI 模型,如計算機視覺模型和 VLM,以提高視覺 AI 用例的準確性。最后,部署這些定制模型驅動的實時 AI 智能體,使用 Metropolis VSS Blueprint 對攝像頭和傳感器的數據進行警報、總結和查詢。
NVIDIA 合作伙伴生態系統助力全球智慧城市
面向智慧城市 AI 的藍圖使龐大的合作伙伴生態系統能夠結合 NVIDIA 和他們自身的技術,使用單一工作流構建和激活適用于智慧城市場景的數字孿生。
SNCF Gares&Connexions 運營著覆蓋法國和摩納哥的 3,000 個火車站網絡,已經部署數字孿生和 AI 智能體,以實現實時運營管理、應急響應的仿真和基礎設施升級規劃。
這有助于每個車站分析運營數據,如能源和水的使用,并啟用預測性維護能力、自動化報告以及符合 GDPR 的視頻分析,用于突發事件檢測和人群管理。
由 Omniverse、Metropolis 以及生態系統合作伙伴 Akila 和 XXII 提供支持,SNCF Gares&Connexions 在摩納哥-蒙特卡洛火車站和馬賽火車站部署了物理 AI,實現了 100% 的預測性維護成功率,減少 50% 的停運時間和問題響應時間,以及減少 20% 的能源消耗。
西西里島的巴勒莫市正在使用其合作伙伴 K2K 提供的數字孿生和 AI 智能體改善公共衛生和安全,幫助城市運營機構處理和分析來自超過 1,000 個公共視頻流的畫面,每秒能處理接近 500 億像素。
受西西里島委托,基于 NVIDIA VSS AI Blueprint 和 Nebius 的云解決方案構建的 K2K AI 智能體,可以分析視頻數據并做出響應,為公共事件提供實時警報。
為了準確預測和解決交通事件,K2K 正在使用 Cosmos 世界基礎模型生成合成數據,對不同的駕駛條件進行仿真。然后,K2K 使用這些數據,通過 NeMo Curator 微調支持 AI 智能體的 VLM。這些仿真使 K2K 的 AI 智能體能夠每秒生成超過 100,000 次預測。
Milestone Systems 與 NVIDIA 和歐洲城市合作啟動 Hafnia 項目,旨在為城市構建匿名化、符合道德的視頻數據平臺,以開發和訓練 AI 模型及應用,同時維持合規性。
使用 Cosmos 和 NeMo Curator,以及 Nebius 的云基礎設施,Hafnia 項目得以實現規;⒅С址蠚W洲法規的以視頻為中心的 AI 模型(包括適用于各種智慧城市場景的 VLM)的訓練與微調。
該項目將初步在意大利熱那亞進行推廣,這里是全球首批應用智能交通系統 VLM 模型的城市之一。
Linker Vision 是首批與 NVIDIA 合作的企業之一,在臺灣高雄市部署由 Omniverse、Cosmos 和 Metropolis 提供支持的智慧城市數字孿生和 AI 智能體。Linker Vision 與專注于數字孿生的公司 AVES Reality 合作,將城市與基礎設施的航拍影像轉化為 3D 幾何圖形,并最終構建 SimReady 的 Omniverse 數字孿生。
Linker Vision 隨后使用 AI 驅動的應用,在數字孿生中構建、訓練和測試視覺 AI 智能體,并最終部署在物理城市中。Linker Vision 正使用生成式 AI 擴展能力,能夠支持實時分析 50,000 個視頻流,以理解并描述如洪水和交通事故等復雜的城市事件。如今,Linker Vision 已經能夠通過單一集成 AI 平臺向十余個城市部門提供及時的洞察,打破數據孤島,并將事件的響應時間縮短了高達 80%。
Bentley Systems 正在借助 NVIDIA 藍圖,將物理 AI 引入城市。開放的 3D 地理空間平臺 Cesium 為 Omniverse 提供可視化、分析和管理基礎設施項目及港口數字孿生的基礎。該公司的 AI 平臺 Blyncsy,利用合成數據生成與 Metropolis 技術分析道路狀況并優化維護。
為建筑、地理空間和交通等關鍵行業提供支持的全球技術公司 Trimble,正在探索將 Omniverse 藍圖的組件集成至其實景捕獲的工作流以及 Trimble Connect 數字孿生平臺中,用于智慧城市測量和制圖應用。
AI 和 3D 數字孿生解決方案提供商 Younite AI,正在采用該藍圖加速其開發流程,使公司能夠快速從運營數字孿生邁向大規模城市仿真,改善合成數據生成,整合實時物聯網傳感器數據,并部署 AI 智能體。