智能現(xiàn)實(shí)——使用 AI、AR、VR增強(qiáng)數(shù)字化雙胞胎

　　考慮呈現(xiàn)數(shù)字化雙胞胎的5種技術(shù)方法和它們各自的能力。這些是傳統(tǒng)的臺(tái)式機(jī)；智能手機(jī)或平板電腦；單鏡片AR；立體AR，包括混合現(xiàn)實(shí)（MR）設(shè)備；和全沉浸式VR（圖2）。

圖2：該表顯示了呈現(xiàn)數(shù)字化雙胞胎的5種技術(shù)方法：傳統(tǒng)臺(tái)式機(jī)；智能手機(jī)或平板電腦；單鏡片AR；立體AR，包括MR設(shè)備；和全沉浸式VR。每種類(lèi)型的設(shè)備功能各不相同，這些差異可能會(huì)影響產(chǎn)品在不同應(yīng)用下的使用效果。

 

　　每一類(lèi)設(shè)備的能力各不相同，而這種差異可能會(huì)影響產(chǎn)品在不同使用情況下的可行性。這對(duì)AR頭盔來(lái)說(shuō)尤其如此。顯示分辨率、視場(chǎng)和計(jì)算能力因產(chǎn)品而異。此外，關(guān)于將電池和計(jì)算單元放在耳機(jī)上，還是放在一個(gè)單獨(dú)的連接模塊上的設(shè)計(jì)決定，會(huì)對(duì)其舒適度和實(shí)用性產(chǎn)生影響。AR頭盔的另一個(gè)實(shí)際問(wèn)題是它們與工作服是否可以無(wú)縫整合，如無(wú)塵室和食品加工操作所需的工作服。

　　在數(shù)字化雙胞胎環(huán)境中進(jìn)行報(bào)告

　　在一個(gè)交互式的視覺(jué)分析應(yīng)用中，可以使用集成的3D模型創(chuàng)建智能現(xiàn)實(shí)報(bào)告（圖3）。數(shù)字化雙胞胎提供了可以與報(bào)告中其他對(duì)象進(jìn)行交互的自定義可視化效果，包括在表格或圖形中顯示數(shù)據(jù)。 

圖3：使用SAS Visual Analytics和Autodesk Forge軟件可以實(shí)現(xiàn)系統(tǒng)集成。在這個(gè)例子中，Autodesk Forge被集成到SAS Visual Analytics的報(bào)告界面中。

 

　　這種可視化方法遵循了長(zhǎng)期存在的數(shù)據(jù)顯示傳統(tǒng)，不需要增加常規(guī)臺(tái)式機(jī)設(shè)置以外的新硬件。 用戶(hù)界面顯示在帶有鼠標(biāo)和鍵盤(pán)的典型計(jì)算機(jī)上。 用戶(hù)幾乎不需要額外的培訓(xùn)就可以使用數(shù)字化雙胞胎的功能。

　　增強(qiáng)現(xiàn)實(shí)的可用性和易學(xué)性

　　當(dāng)從臺(tái)式機(jī)轉(zhuǎn)移到AR頭盔時(shí)，應(yīng)用程序設(shè)計(jì)人員將面臨一系列新的可用性挑戰(zhàn)。可用性是任何技術(shù)成為工具的基石。盡管AR是一種新的交互范例，但長(zhǎng)期使用的可用性標(biāo)準(zhǔn)仍然適用。這些標(biāo)準(zhǔn)可以指導(dǎo)將AR與數(shù)字化雙胞胎集成的工作。一個(gè)良好的界面應(yīng)該是高效、易學(xué)、令人難忘、不經(jīng)常出錯(cuò)且使用愉快的。

　　一些用戶(hù)發(fā)現(xiàn)AR最初很困難，因?yàn)樗麄儫o(wú)法依靠自己的固有知識(shí)來(lái)操作系統(tǒng)。然而，這種挫折是暫時(shí)的，用戶(hù)通常會(huì)有所改善。根據(jù)目標(biāo)受眾的不同，學(xué)習(xí)能力差異很大。為專(zhuān)家設(shè)計(jì)的工具具有較高的學(xué)習(xí)曲線(xiàn)，但整體功能更強(qiáng)大，專(zhuān)家的效率應(yīng)證明延長(zhǎng)培訓(xùn)時(shí)間是合理的。通過(guò)將現(xiàn)實(shí)世界中的信息與程序中的信息相結(jié)合，體驗(yàn)認(rèn)知提高了執(zhí)行任務(wù)的效率。

　　與任何應(yīng)用程序一樣，錯(cuò)誤率通常受界面設(shè)計(jì)的影響。一個(gè)好的界面設(shè)計(jì)人員將能夠在人為因素的限制內(nèi)很好地創(chuàng)建用戶(hù)體驗(yàn)，這也適用于AR。盡管交互方式不同于點(diǎn)擊式，但系統(tǒng)設(shè)計(jì)人員已經(jīng)考慮了可以識(shí)別的輸入種類(lèi)，并限制了使用過(guò)程中不可恢復(fù)的錯(cuò)誤數(shù)量。多項(xiàng)研究表明，相比傳統(tǒng)的交互范例用戶(hù)更喜歡AR。

　　創(chuàng)建深度學(xué)習(xí)模型的常見(jiàn)做法

　　深度學(xué)習(xí)模型是在大型數(shù)據(jù)庫(kù)上訓(xùn)練的，幾乎總是脫機(jī)完成的?；ㄙM(fèi)數(shù)小時(shí)或數(shù)天的時(shí)間來(lái)訓(xùn)練模型并不罕見(jiàn)。訓(xùn)練完模型后，通過(guò)推理進(jìn)行的模型應(yīng)用程序?qū)⒉辉傩枰罅康挠?jì)算資源，但仍比數(shù)字化雙胞胎應(yīng)用需要更多的計(jì)算資源。

　　對(duì)于某些應(yīng)用，接近實(shí)時(shí)或稍微延遲的結(jié)果就足夠了。例如，在某些計(jì)算機(jī)視覺(jué)缺陷檢測(cè)中，在執(zhí)行缺陷檢測(cè)的同時(shí)保留生產(chǎn)批次可能是可以接受的。而在其他情況下，則需要實(shí)時(shí)推斷?？梢栽谟凶銐蛸Y源的云或數(shù)據(jù)中心中進(jìn)行推斷。對(duì)于邊緣推理，具有足夠計(jì)算能力的邊緣網(wǎng)關(guān)正使其變得可用，但是這種特殊需求需要進(jìn)行規(guī)劃。

　　遞歸神經(jīng)網(wǎng)絡(luò)（RNN）是一類(lèi)專(zhuān)門(mén)為序列或時(shí)間數(shù)據(jù)設(shè)計(jì)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。在物聯(lián)網(wǎng)和數(shù)字化雙胞胎應(yīng)用中，有許多此類(lèi)序列和時(shí)間數(shù)據(jù)的示例。隨著時(shí)間的推移，許多傳感器都在收集數(shù)據(jù)。隨時(shí)間變化的測(cè)量順序或模式可用于了解數(shù)字化雙胞胎資產(chǎn)的有趣特征。一個(gè)示例是測(cè)量智能建筑或電網(wǎng)中的能源電路。電路上的能源使用模式可以捕獲資產(chǎn)運(yùn)行的開(kāi)始或結(jié)束（例如電機(jī)啟動(dòng)），這預(yù)示著數(shù)字化雙胞胎資產(chǎn)的運(yùn)行變化。RNN的另一個(gè)用途是預(yù)測(cè)異常的時(shí)間序列數(shù)據(jù)。一個(gè)示例是預(yù)測(cè)太陽(yáng)能發(fā)電場(chǎng)的能量輸出。

　　使用序列數(shù)據(jù)與使用時(shí)間數(shù)據(jù)時(shí)，訓(xùn)練RNN的過(guò)程有所不同。用序列數(shù)據(jù)訓(xùn)練RNN的過(guò)程如下：

　　● 將數(shù)據(jù)分為順序測(cè)量的各個(gè)部分。段的長(zhǎng)度由數(shù)據(jù)的時(shí)間間隔和事件前兆的預(yù)期持續(xù)時(shí)間確定。

　　● 為感興趣的事件創(chuàng)建目標(biāo)變量，并將其用于標(biāo)記事件發(fā)生的序列。

　　● 訓(xùn)練RNN。在這種情況下，不需要雙向模型擬合，因?yàn)闇y(cè)量數(shù)據(jù)始終會(huì)及時(shí)向前移動(dòng)。

　　然后可以將訓(xùn)練后的模型用于推理。在大多數(shù)情況下，模型推斷功能將足夠快，可以在云，服務(wù)器或邊緣設(shè)備中的實(shí)時(shí)測(cè)量流上使用。

　　基于機(jī)器視覺(jué)的數(shù)字化雙胞胎

　　計(jì)算機(jī)視覺(jué)或機(jī)器視覺(jué)是一種功能強(qiáng)大的工具，它因能識(shí)別場(chǎng)景中的面部和物體而引起了眾多關(guān)注。對(duì)于數(shù)字化雙胞胎，它可以增加有關(guān)被監(jiān)測(cè)物體的重要信息?？梢酝ㄟ^(guò)與數(shù)字化雙胞胎的AR界面來(lái)增強(qiáng)需要目視檢查的任務(wù)。例如，計(jì)算機(jī)視覺(jué)可以通過(guò)比較成千上萬(wàn)的圖像來(lái)檢測(cè)人類(lèi)可能無(wú)法檢測(cè)到的異常，從而檢測(cè)缺陷。而且，諸如紅外線(xiàn)之類(lèi)的專(zhuān)用攝像機(jī)通過(guò)組合多個(gè)信息流，甚至可以進(jìn)行進(jìn)一步的分析。

　　另一個(gè)選擇是創(chuàng)建一個(gè)模型，該模型可以在零件上找到容易識(shí)別的特征。生成的圖像可以使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）創(chuàng)建分類(lèi)模型。根據(jù)數(shù)據(jù)標(biāo)簽的好壞，模型可能具有各種復(fù)雜性。

　　通過(guò)收集大部分為良好的圖像，可以創(chuàng)建一個(gè)二元分類(lèi)模型，該模型可以識(shí)別出具有已知良好圖像或可疑異常圖像的可能性很高的圖像。通過(guò)用已知缺陷類(lèi)型標(biāo)記圖像，可以創(chuàng)建識(shí)別各種缺陷的更復(fù)雜的分類(lèi)模型。通過(guò)良好的位置識(shí)別，還可以分解圖像并找到圖像中有缺陷的部分。例如在半導(dǎo)體晶片生產(chǎn)中，可以基于具有缺陷的晶片的比例來(lái)量化預(yù)期的產(chǎn)量。

　　在模型被訓(xùn)練之后，需要確定推斷的延遲并測(cè)試捕獲的新圖像，以及是否需要逐流傳輸圖像并立即獲得結(jié)果。也可以捕獲一批圖像并進(jìn)行批量處理。還要確定是否可以在云中或服務(wù)器中完成推理，或者是否需要邊緣網(wǎng)關(guān)。

　　當(dāng)在智能現(xiàn)實(shí)的保護(hù)下進(jìn)行適當(dāng)?shù)募軜?gòu)和集成時(shí)，物聯(lián)網(wǎng)、人工智能和擴(kuò)展現(xiàn)實(shí)技術(shù)可以開(kāi)辟新的可能性，而數(shù)字化雙胞胎提供了一種可用的表示方式，使得此類(lèi)架構(gòu)中固有的大量信息的價(jià)值被充分挖掘出來(lái)。