蜜桃av色欲a片精品一区,麻豆aⅴ精品无码一区二区,亚洲人成网站在线播放影院在线,亚洲 素人 字幕 在线 最新

  解析谷歌全息視頻聊天技術(shù)Project Starline

發(fā)布日期：2022/1/26 18:06:40      瀏覽量：

Starline是想解決超高清遠(yuǎn)程會(huì)議的三個(gè)問題與挑戰(zhàn)并且盡量使用現(xiàn)有的技術(shù)和google自己現(xiàn)有技術(shù)，比如webrtc技術(shù)。

挑戰(zhàn)

1. 可實(shí)用的代價(jià)不高的三維音視頻采集和播放（呈現(xiàn)）。
2. 創(chuàng)建一個(gè)舒適的三維視覺感觀。現(xiàn)在頭戴式AV,RV太笨重，太不舒服。
3. 真正實(shí)現(xiàn)面對(duì)面的眼神溝通，表情溝通，打手勢(shì)等非語言溝通。

從現(xiàn)有g(shù)oogle大量的測(cè)試數(shù)據(jù)和評(píng)估結(jié)果看，以上三點(diǎn)基本達(dá)到。當(dāng)然google也說了，現(xiàn)在的原型還有很多需要解決的問題。

starline系統(tǒng)中對(duì)于頭發(fā)和眼鏡的物體的采集和重建還有問題，并且對(duì)深凹和快速運(yùn)動(dòng)物體會(huì)有重建深度圖的錯(cuò)誤或圖像空洞，還需要進(jìn)一步的工作來克服這些偽影。

以下是google對(duì)starline的部分講解。

Starline 展示了一種實(shí)時(shí)的雙向交流系統(tǒng)，可以讓兩個(gè)人，即使在遠(yuǎn)距離交互，也能體驗(yàn)到面對(duì)面的對(duì)話體驗(yàn)。通過參與者打分(如呈現(xiàn)、注意力、交互必、參與感等方面)、會(huì)議參與感和觀察到的非語言行為表達(dá)(如點(diǎn)頭、眉毛運(yùn)動(dòng))各方面進(jìn)行測(cè)量，這是第一個(gè)明顯優(yōu)于2D視頻會(huì)議的遠(yuǎn)程呈現(xiàn)系統(tǒng)。

Starline 是一個(gè)里程碑式的遠(yuǎn)程呈現(xiàn)系統(tǒng)，這系統(tǒng)所有設(shè)計(jì)元素都為了最大化實(shí)現(xiàn)音視頻的保真度和真實(shí)感觀體驗(yàn)來實(shí)現(xiàn)的，包括物理布局、照明、人臉跟蹤、多攝像頭采集、麥克風(fēng)陣列、多媒體流壓縮編碼、揚(yáng)聲器輸出和透鏡顯示。

Starline 系統(tǒng)可以實(shí)現(xiàn)關(guān)鍵的3D視聽維度(立體視覺、運(yùn)動(dòng)視差和空間化音頻)，并能實(shí)現(xiàn)全方位的交流體驗(yàn)(眼神接觸、手勢(shì)和肢體語言)，但使用者不需要佩戴特殊的眼鏡或的麥克風(fēng)/耳機(jī)。

Starline 系統(tǒng)系統(tǒng)由頭部跟蹤自動(dòng)立體顯示、高分辨率三維采集和播放系統(tǒng)以及使用對(duì)色彩空間和視頻深度流進(jìn)行壓縮編解碼并網(wǎng)絡(luò)傳輸組成。其他的技術(shù)點(diǎn)包括一個(gè)新的基于圖像的幾何融合算法，自由空間去混響和發(fā)言人者定位。

Starline系統(tǒng)實(shí)現(xiàn)如下：

如上圖系統(tǒng)由兩個(gè)主要結(jié)構(gòu)組成:一個(gè)顯示單元（Display Unit）和一個(gè)背光單元(Backlight Unit)。顯示單元里面有顯示器、攝像機(jī)、揚(yáng)聲器、麥克風(fēng)、照明設(shè)備和計(jì)算機(jī); 背光單元，里面有一個(gè)紅外背光設(shè)備同時(shí)也是一個(gè)長椅。

視頻采集子系統(tǒng)由三個(gè)雙目深度（景深）stereo cameras彩色攝像機(jī)組成，兩個(gè)在顯示屏上方，一個(gè)在顯示屏下方的位置，這個(gè)下方位置的還有一個(gè)額外的彩色相機(jī)color camera，可以放大采集被攝對(duì)象的臉部細(xì)節(jié)。還有四個(gè)單色跟蹤攝像頭tracking camera，兩個(gè)在顯示屏左右兩邊，另外兩個(gè)在顯示屏上方位置。 高速廣角攝像頭，用于眼睛、耳朵和嘴巴的實(shí)時(shí)3D定位。上圖說明采集和顯示組件的排布。

在接收端，使用一種新的“基于圖像的融合”光線投射算法，從觀眾的左眼和右眼位置渲染出三個(gè)深度流（stereo cameras），四路顏色的紋理流（color camera）被投射到融合的表面上，并使用從光滑的表面法線確定的權(quán)重進(jìn)行混合。

上圖是3D采集播放的設(shè)備參數(shù)。都是獲得硬件設(shè)備。

系統(tǒng)時(shí)延，Starline 端到端的平均延遲為105.8 ms(標(biāo)準(zhǔn)偏差9.1 ms)。根據(jù)研究數(shù)據(jù)，人類對(duì)端到端的對(duì)話時(shí)延要在250 ms以內(nèi)都是可以接受的。