伊利諾伊州大屠殺博物館的Take a Stand Center正在展示技術(shù)為人們提供情感和互動體驗的能力。大屠殺幸存者的故事在全息系統(tǒng)的幫助下得以保存和展示,該系統(tǒng)利用人工智能,定制控制系統(tǒng)和集成照明,音頻和視頻。
南加州大學施華爾基金會是史蒂文斯皮爾伯格于1994年為紀念大屠殺的幸存者而成立的,他與博物館合作,利用自然語言處理(通過軟件自動操縱自然語言)創(chuàng)造了第一個全息影院體驗,為游客提供了一個大屠殺幸存者第二次世界大戰(zhàn)經(jīng)歷的動態(tài)敘事。
一旦概念最終確定,互動展覽技術(shù)專家Interactive Imagination及其合作伙伴Eventworks 4D(EW4D)將與基金會,監(jiān)督,設(shè)計和實施劇院進行為期三年的思想和建議交流。在全球范圍內(nèi)參與了許多大型和高調(diào)的全息項目,如總理Narendra Modi在印度的活動,互動想象力非常有資格為突破性的展覽提供技術(shù)和創(chuàng)意投入。
在空間裝置中結(jié)合電影和劇院格式,舞臺的深度在沉浸式故事敘述中發(fā)揮了作用。EW4D不是使用物理布料,而是在舞臺后部加入了2.6mm的精細像素間距CreateLED Airmag II LED墻,以提供高亮度對比度。
“LED墻壁顯示了舞臺窗簾的真實視圖,但也使我們能夠創(chuàng)造更準確的增強安裝體驗,”互動想象力的所有者和設(shè)計顧問Enzo Fiondella說。“我們稱之為雙重增強,因為主要形象,大屠殺幸存者,本身就是一個增強的場景。”
全息技術(shù)和智能AI
南加州大學創(chuàng)意技術(shù)研究所(ICT)處于構(gòu)建對話系統(tǒng)和開發(fā)技術(shù)的最前沿,這些技術(shù)允許人們與計算機系統(tǒng)交談,該計算機系統(tǒng)以其交談的方式看起來和行為幾乎是人類,理解并表現(xiàn)出情感。Interactive Imagination采用了由ICT開發(fā)的基于自然語言處理的應(yīng)用程序,并將其演變?yōu)?a href=http://www.otw6531.cn/szbwg/ target=_blank>博物館裝置中的長期互動式戲劇體驗。
自然語言處理允許主持人口頭詢問系統(tǒng)相關(guān)問題,然后通過標記不同詞性(POS標記),詞干的詞干和詞素化等技術(shù)來處理相關(guān)問題,以確定最準確的響應(yīng)視頻。
“隨著我們的展示控制系統(tǒng)的加入,NLP的使用成為主持人操作系統(tǒng)的常規(guī),”Fiondella說。
結(jié)合語音識別技術(shù)和NLP,Pepper的Ghost全息幻覺技術(shù)成為該項目的支柱。每個幸存者的證詞的高清360度鏡頭是使用116個攝像頭拍攝的。錄像帶 - 總共包含2,000個問題和答案 - 然后被EW4D用來創(chuàng)建逼真的視覺視角,創(chuàng)造了觀眾在舞臺上與真人交談的錯覺。
Fiondella解釋說:“這種技術(shù)的美妙之處在于觀眾完全沉浸其中,并且在看起來幾乎是現(xiàn)實但不太可信的東西時,不會遭受不可思議的山谷效應(yīng)。” “使用舞臺上設(shè)置的視覺顯示層以及精心設(shè)計的燈光效果,實現(xiàn)了增強的氛圍和氛圍。安裝是如此令人信服的觀眾認為他們正在與幸存者進行一對一的談話。“
在開發(fā)設(shè)計時考慮了顯示提示,以確保整個節(jié)目的流程一致且無縫。從介紹序列設(shè)置劇院氛圍到問答環(huán)節(jié)系統(tǒng)界面的有效性,創(chuàng)建了觀眾與幸存者之間可信的雙向?qū)υ挕?/P>
最佳聲音曝光
項目的音頻元素是雙重的,包括播放和語音捕獲。由于系統(tǒng)的交互性主要依賴于自然語言處理,因此捕獲高質(zhì)量的音頻至關(guān)重要。
“由于預(yù)算不能用于聲學處理或復(fù)雜的麥克風陣列,劇院空間在聲學上具有挑戰(zhàn)性。這意味著當觀眾提出問題時,主持人會重復(fù)這個問題,“Fiondella說。“我們生產(chǎn)了一個帶有高質(zhì)量無線麥克風的無線接口,為控制PC提供輸入。”
EW4D集成了一個定制的PA系統(tǒng),可以滿足全方位的音頻視角,并確定最佳的系統(tǒng)均衡和聲壓級(SPL),能夠提供適合空間的全方位音頻體驗。聲樂清晰度是開場視頻的焦點和情感音軌,必須仔細測量系統(tǒng)要求,以獲得最佳的聲音曝光,而不會產(chǎn)生不舒服的音頻。
可靠的系統(tǒng)
系統(tǒng)設(shè)計需要保證長期可靠性,便于管理體驗的主持人操作,并提供輕松更新內(nèi)容和遠程管理所有方面的能力。為了實現(xiàn)能夠承受365天,8小時操作周期嚴格的系統(tǒng),該團隊必須研究系統(tǒng)集成的最佳案例場景。Interactive Imagination在構(gòu)建強大的交互式展覽系統(tǒng)和全息投影以及顯示控制的直觀方法方面的專業(yè)知識使他們能夠在日常的基礎(chǔ)上保持可靠的系統(tǒng)操作。
展示控制系統(tǒng)是內(nèi)部開發(fā)的,可以提供對安裝中使用的不同組件的高級控制,因為系統(tǒng)必須在多個平臺上運行。面臨的最大障礙是將不同的組件和系統(tǒng)結(jié)合在一起,同時確保它們完美地協(xié)同工作。這是通過開發(fā)一個定制的節(jié)目控制系統(tǒng)來實現(xiàn)的,該系統(tǒng)通過一系列編程語言(如C ++,Python,Node.js和Applescript)集成了組件。微調(diào)場景照明以增強用戶對全息圖的體驗也很困難,特別是因為幸存者的內(nèi)容動態(tài)變化。
展望未來
The Take a Stand Center是人工智能和全息創(chuàng)新歷史文獻的首批應(yīng)用之一,通過三維全息圖將幸存者的故事變?yōu)楝F(xiàn)實,能夠使用自定義交互式語音與觀眾進行對話技術(shù)。
“未來幾代人將繼續(xù)與大屠殺幸存者進行對話,”菲奧德拉說。“我們創(chuàng)造這個戲劇展覽的使命是永遠不要讓這種情況再次發(fā)生,并記住那些經(jīng)歷過納粹占領(lǐng)恐怖的人。這確實是一段歷史,如果沒有這項技術(shù),這是不可能的。“
自全息展覽啟動以來,Interactive Imagination通過進一步開發(fā)管理和維護應(yīng)用程序組件的自動化流程,不斷提高系統(tǒng)的穩(wěn)定性和可靠性。該團隊還通過為所有連接組件實施節(jié)能方法,減少了系統(tǒng)的能耗。該公司可以持續(xù)訪問系統(tǒng),因此可以遠程監(jiān)控來自英國的展覽,確保穩(wěn)定性,功能性以及獲得使用反饋。
隨著互動想象力的創(chuàng)新被引入其他博物館項目,如達拉斯大屠殺博物館,觀眾將被視為與幸存者更加強大和獨特的體驗。“通過利用機器視覺(由Interactive Imagination開發(fā)的自動觀眾檢查系統(tǒng),通過使用視覺饋送識別觀眾的一部分)以及天花板中的一系列麥克風和揚聲器以及升級的演出控制系統(tǒng),訪客將能夠直接與幸存者交談,而不是通過中間人來重新提問,“Fiondella說。“這將提高觀眾對問題的選擇性,消除對主持人的需求。”
視覺環(huán)境
EW4D還計劃在座位區(qū)域為觀眾提供預(yù)展,其中一系列LCD監(jiān)視器將在全息幸存者故事之前創(chuàng)建不同的視覺環(huán)境和輔助教育信息。
“伊利諾伊大屠殺博物館的項目具有全球影響力,引起了50個美國大屠殺博物館的興趣,這些博物館在達拉斯和洛杉磯等地區(qū)熱衷于使用這項技術(shù),”Fiondella說。“當托尼和切麗布萊爾參觀博物館時,托尼布萊爾說這次經(jīng)歷與他所看到的不同,而且類似的東西在英國也很有價值。我們還在唐寧街10號召開了一次會議,因為他們希望我們在2021年參與倫敦大屠殺博物館。“
現(xiàn)在,該公司正在開發(fā)其第一個產(chǎn)品,一個真人大小的彈出式交互式全息圖平臺,它使用多種形式的交互性和定制內(nèi)容,非常適合在活動中進行宣傳。
“我們正處于令人興奮的事物的尖端,我相信AI,全息技術(shù)和NLP將成為博物館的主要傳播工具,”Fiondella說。“我們希望通過將我們的技術(shù)與人類元素相結(jié)合,繼續(xù)發(fā)揮影響力。在科學,藝術(shù),醫(yī)學和政治等領(lǐng)域,博物館將更傾向于全息人工智能,那些為社會作出重大貢獻的人可以永遠永生,并且他們的聲音將在未來幾代人中傳播。“