1.    引言     

視覺是我們最重要的感官之一，使我們能夠看到我們周圍的世界。我們的眼球運動包含重要的信息，我們的面部表情也是如此。通過觀察用戶的眼球運動，以及注視和面部表情，我們可以更多地了解潛意識過程。這可以通過眼球追蹤技術來完成。結合面部表情分析技術，這為用戶體驗、客戶偏好和欣賞提供了寶貴的見解。

長久以來表情和眼動分析就被用于用戶體驗研究的相關項目中，表情和眼動的定量化分析方法，能夠幫助用戶研究人員，更加準確的了解和描述用戶的產品使用過程，為產品原型、產品素材、宣發(fā)材料等各種材料提供更加科學和客觀的驗證結果。

比如MEUX在21年與諾達思合作的一項研究中就通過眼動的方式探究視頻類APP，標題在視頻窗口上方或下方，對用戶瀏覽模式的影響。

還有用戶體驗界大名鼎鼎的尼爾森諾曼集團，在2020年發(fā)表的文章中提到，他們在眼動分析項目中，發(fā)現(xiàn)用戶在瀏覽產品頁面時會存在“割草機模式”的瀏覽習慣，也即習慣從頁面內容左上角開始，向右移動到末尾，然后向下折返瀏覽。

還有早在06年的時候，魯汶大學的研究者就是用FaceReader軟件，對用戶產品使用過程中的愉悅體驗進行測量，發(fā)現(xiàn)用戶瀏覽網(wǎng)站時，看到網(wǎng)站相關設計亮點時，會不自覺地流露出積極的面部表情，當用戶遇到困難或者對內容感到困惑時，會流露出負面的面部表情。

1.1什么是眼動分析？ 

      眼動追蹤是一種測量眼球運動的技術，可以知道一個人在看什么，他們在看什么，以及他們的目光在特定位置停留了多長時間。用戶視線停止移動的區(qū)域稱為“注視”，注視是我們視覺注意加工信息的最基本單元，而用戶眼睛在注視點之間的移動稱為“眼跳”。通過可視化呈現(xiàn)，我們可以看到眼睛在頁面上的瀏覽路徑。

通過觀察我們如何閱讀文本，可以理解“注視”和“眼跳”這兩個概念。我們經(jīng)常聽到高效的讀者“掃描”文本。在眼球運動方面，一個高效的讀者往往有較小的注視點和更長的眼跳，而較弱的讀者往往有更長的注視時間和更短的眼跳。差異可以在下圖中清楚地看到。左邊的那個是一個更強的讀者，可以快速輕松地在文本中移動，而右邊的那個是一個較弱的讀者。

      眼動分析一般是通過一個專用的硬件——眼動儀，捕捉用戶在使用產品時，用戶的注視點位置。眼動儀是一個比較精密的科研儀器，集成了外攝像機、紅外燈，以及最重要的眼球識別的技術。眼動分析的開展離不開專業(yè)的硬件，這也就意味著設備的使用成本較高，并且相關專業(yè)人員的培養(yǎng)也是不小的投入。由于這類的問題，使得眼動技術雖然能很好反應用戶使用產品的完整過程，但只有在一些較大的公司才會使用到該技術。

1.2什么是面部表情分析？

     面部表情分析則是通過一個AI算法，學習了人類分類表情的基本規(guī)則，進而定量化的輸出用戶在使用產品期間，或者關鍵的事件點上，表情變化的基本強度值。該算法能通過一個普通攝像機拍攝的畫面，自動找到用戶面部500個特征點，并進行建模，進而計算出用戶7中基本表情的強度值，和20個微表情動作單元的變化。由于是純軟件的算法，因此已經(jīng)有云分析平臺了，使用者只需要上傳自己希望測試的材料或者網(wǎng)頁連接，便能夠輕松完成大樣本的定量表情測試。

1.3結合兩種手段的優(yōu)勢

       這兩種生物測量的技術手段在實際用戶體驗研究項目中各有優(yōu)劣，眼動能夠較好的還原用戶的認知過程，比如用戶在尋找自己訂單信息時，首先會在哪些地方尋找，他看到哪些信息后，會產生點擊“我的”這個操作，這樣認知信息的還原基本能回到產品體驗中遇到的70%的問題，而另外30%則是用戶使用產品過程中的情緒感受的結果。比如用戶尋找訂單時，哪些關鍵時刻讓他產生眉毛下降的表情動作，哪些版本的界面設計能讓用戶在較高情緒效價水平下完成任務。

       因此很多的研究者也試圖同時使用這兩種工具，來進行產品相關研究，比如2015年的時候蒙德拉貢大學的研究者就提出了將兩者結合的方法，并將這種方法稱為眼臉分析系統(tǒng)，研究者使用這樣的多維度測量手段，能更加全面的對產品進行體驗評估。

Eyeface由兩個計算機工作站組成，每個工作站都運行特定的工具，即眼球追蹤和面部表情識別。對于這項研究工作中，Facereader的網(wǎng)絡攝像頭安裝在眼球追蹤設備的頂部。因此對普通的用戶研究人員，要使用這樣的多通道的分析技術，幾乎不現(xiàn)實，而所有問題的癥結就在于眼動分析需要有額外的硬件，沒法做到*的遠程在線收集數(shù)據(jù)。

隨著近年來AI技術的逐步發(fā)展，和相關模型算法的完善，通過一個普通攝像頭識別用戶的眼動逐漸變得可行，基于這樣的背景下，諾達思公司聯(lián)合了位于阿姆斯特丹的VicarVision，一起開發(fā)了一套通過普通攝像頭識別用戶眼動的算法，并將該算法集成到了在線面部表情分析平臺中，使得以往只能在實驗室由專業(yè)研究者開展的測試，變成了一個人人都能夠使用的在線分析平臺。

2.    AI同時識別眼動和表情的原理介紹

該技術發(fā)源于荷蘭地方政府資助的一個科研ICT高科技項目，Noldus和VicarVision花費了近24個月，開發(fā)一個突破性的系統(tǒng)，使用簡單的網(wǎng)絡攝像頭跟蹤眼球運動。結合現(xiàn)有的面部表情分析，就能夠提供先進的解決方案，用于測量使用筆記本電腦、平板電腦或智能手機的用戶的體驗感受。

2.1評估瞳孔大?。阂豁椌哂刑魬?zhàn)性的任務

對于瞳孔直徑的估計，我們實施并分析了兩種方法：一種是基于使用經(jīng)典計算機視覺（經(jīng)典CV）的方法，一種是基于深度學習的方法。兩種方法都對虹膜圖像進行了分割，使虹膜圖像中間的區(qū)域與眼睛的瞳孔相近，見深度學習方法（左上圖）和經(jīng)典CV方法（右圖）的處理步驟示例。在測試中，使用了手動標注的圖片和Tobii nano pro（眼動儀）瞳孔直徑輸出。可以分析的圖片數(shù)量有差異，深度學習方法可以分析*的圖片，經(jīng)典方法可以分析70%的圖片。

在整個數(shù)據(jù)集中，我們對結果進行了充分的混合。一些被試的某些任務，測量的瞳孔大小和真值之間有很強的相關性（r = 0.86），但其他的任務卻沒有顯示出任何相關性。平均來說，有一個中度的正相關，兩種方法的表現(xiàn)相似（DL：r = 0.39 vs. CV：r = 0.37）。有幾個被試中發(fā)現(xiàn)了強烈的正相關，但這些人都是藍眼睛，沒有眼鏡。瞳孔和周圍虹膜之間的強烈對比對于瞳孔大小的估計很重要。這對顏色較深的眼睛和用光反射覆蓋瞳孔的眼睛來說是一個挑戰(zhàn)。相比之下，紅外光有一個優(yōu)勢，因為不可見的紅外光可以照亮虹膜而不干擾瞳孔的大小。另一個困難是缺乏合適的數(shù)據(jù)集。大多數(shù)可用的數(shù)據(jù)集只存在于紅外線中，缺乏可見光的特征問題。

我們的研究表明，在某些情況下，從USB攝像頭中估計瞳孔直徑是可能的，但還沒有準備好實施。未來的研究可以通過增加可用數(shù)據(jù)量和進一步改進預處理步驟來優(yōu)化當前的方法。

2.2眼動跟蹤：已經(jīng)可以落地使用

我們開發(fā)的EyeReader算法，可以估計用戶注視方向，并將其與屏幕上的圖像聯(lián)系起來。神經(jīng)網(wǎng)絡通過許多標記的屏幕位置和視頻記錄的數(shù)據(jù)集進行訓練，以學習眼睛的圖像和注視向量之間的關系。在一個校準任務的幫助下，用戶跟隨屏幕上的點，屏幕上的2D X和Y點可以被定量解碼。用我們自己的驗證數(shù)據(jù)集進行的測試表明，該系統(tǒng)預測屏幕上的注視點的平均偏差為2.4厘米（屏幕的平均偏差為5.2%）。這與市面上其他競爭對手相當。結果顯示，與單獨的屏幕相比，在筆記本電腦上執(zhí)行的任務的準確度略高（見下面的左圖）。這可能是由于筆記本電腦的尺寸和固定位置。藍色和棕色的眼睛顏色之間沒有大的差別。眼鏡，當它很厚并且有光反射時，在某些情況下會降低結果的準確性。

2.3EyeReader

當比較EyeReader和Tobii Nano眼動儀（科研級）的注視估計時，發(fā)現(xiàn)每個類別的總注視時間的估計之間有很強的相關性（見上面的右圖）。這些結果表明，EyeReader非常適用于研究現(xiàn)實的用戶體驗項目，可以通過該手段獲得一個非常清晰的眼動結果。你可以在一個靈活機動的實驗室環(huán)境中使用EyeReader，也可以在FaceReader Online平臺中進行在線測試（見下面的熱圖例子）。

2.4面部表情識別

面部表情識別系統(tǒng)，FaceReader是一個用于面部分析的軟件。它可以檢測面部表情。FaceReader已被訓練為將表情歸入以下類別之一：快樂、悲傷、憤怒、驚訝、恐懼、厭惡和中性。這些情緒類別被心理學家Ekman描述為基本或人類統(tǒng)一的情緒。面部表情的強度各不相同，而且往往是各種情緒的混合。此外，人與人之間也有相當多的差異。

FaceReader可以對上述的表情進行分類。也可以自己軟件添加自定義表情。除了面部表情之外，FaceReader還提供了一些額外的分類。例如，它可以檢測目光方向以及眼睛和嘴巴是否閉合。

FaceReader根據(jù)以下步驟對面部表情進行分類。

1.人臉識別。人臉在圖像中的位置是通過基于深度學習的人臉識別算法找到的，該算法在圖像中搜索不同比例的人臉區(qū)域。

該算法搜索圖像中不同比例的具有人臉外觀的區(qū)域。

2.面部建模。FaceReader使用了一種基于深度神經(jīng)網(wǎng)絡的面部建模技術。它合成了一個人工面部模型，描述了468個關鍵點的位置。

描述臉部468個關鍵點的位置。它是一種單程快速方法，可以直接估計臉部的全部關鍵點。在初步估計之后，關鍵點用主成分分析法進行壓縮。這導致了描述臉部狀態(tài)的高度壓縮的矢量代表。

3.面部分類。然后，通過訓練有素的深度人工神經(jīng)網(wǎng)絡對面部表情進行分類，以識別面部的模式。

FaceReader直接從圖像像素中對面部表情進行分類。超過20,000張經(jīng)過人工標注的圖像被用來訓練人工神經(jīng)網(wǎng)絡。

該網(wǎng)絡被訓練用來對Ekman定義的六種基本或普遍的情緒進行分類：快樂、悲傷、憤怒、驚訝、恐懼和厭惡。此外，該網(wǎng)絡還被訓練用來對FaceReader中的面部動作單元進行分類，以識別 "中性 "狀態(tài)和分析 "輕蔑"。

3.    FaceReader-Online在線面部表情眼動分析平臺

面部表情分析引擎自07年發(fā)布以來，經(jīng)過16年迭代，目前已經(jīng)到了第九版。16年間各地超過1000個研究單位使用該軟件，發(fā)表超過3000篇科研論文。諾達思在此AI引擎的基礎上，結合微軟Azure云的優(yōu)勢，開發(fā)了在線版的面部表情分析系統(tǒng)FaceReader-Online（以下簡稱FRO）。

FRO通過情緒的捕捉與分析,可以了解受測人員對商業(yè)廣告、電影預告片、網(wǎng)站等的喜好度、注意力等，從而為客戶提供更客觀的評價和見解。FRO可以創(chuàng)建一個或多個項目，簡言之，您只需給被試發(fā)一個測試鏈接，等待被試回應,完成測試后系統(tǒng)會自動分析，結果清晰可見,非常方便快捷。

2022年，在新技術的加持下，FRO的分析引擎也增加了眼動分析功能，能通過受試者的電腦攝像機，自動識別用戶在瀏覽網(wǎng)頁、使用產品原型時的情緒和注意力變化情況。

如何使用

只需三步便可完成FRO的相關設置：

1.    定義你的項目；

2.    邀請用戶測試，收集數(shù)據(jù)；

3.    查看分析結果。

3.1定義項目

在您從諾達思獲取賬號后，可以通過鏈接訪問FRO平臺，登錄之后只需要選擇新建一個分析項目即可。接下來您需要上傳您的測試材料，比如視頻廣告，或者相關App素材，測試原型鏈接等，之后您需要設置您的測試流程，如何時給用戶呈現(xiàn)視頻或圖片材料，原型測試鏈接的相關指引，測試時長有多少，結束后是否添加相關問題等。設置好試驗后，您可以進行相關的預覽和測試。

3.2邀請用戶

        準備好測試相關流程后，FRO會自動生成一個在線測試鏈接，您可以將該鏈接直接發(fā)送給被測試的用戶人群，也可以將該鏈接整合到你已有的問卷系統(tǒng)中。之后便可以輕松的在系統(tǒng)后臺中看到測試的進度，以及收集到的數(shù)據(jù)質量。

3.3查看分析結果

       FRO會對收集到的數(shù)據(jù)進行自動的分析，分析結束后我們便可以在后臺看到收集到的相關數(shù)據(jù)。分析數(shù)據(jù)前我們可以首先選擇對比的方式，我們可以對比不同用戶群體在使用同一個用戶界面時的結果和感受，也可以對比多個不同版本的用戶界面設計。除此以外，也能夠對數(shù)據(jù)做清洗，去除錄像效果較差的數(shù)據(jù)。

添加結果之后，FRO會以圖標和表格的形式呈現(xiàn)數(shù)據(jù)，直觀對比不同版本的材料間，用戶在完成測試腳本期間表情的變化情況，如下圖示例中，可以看到新版網(wǎng)站用戶在尋找相關產品信息時，表情更加積極；用戶在瀏覽舊網(wǎng)站時，會有更多消極表情，而這些消極表情，主要是由于用戶瀏覽網(wǎng)站過程中的困惑，困難產生的，如用戶找不到相關信息時會不自覺的皺眉頭等。

眼動分析中，除了傳統(tǒng)的熱區(qū)圖以外，我們還能對感興趣的頁面區(qū)域做劃分，了解用戶進入當前頁面瀏覽時第一次看到我們目標區(qū)域花了多長時間（首視時間），看相關區(qū)域一共花了多長時間，以此可以定量對比不同版本的設計，對用戶產生的具體影響情況。

       限于篇幅，我們僅就面部表情和眼動分析中的部分結果呈現(xiàn)做了展示，更多豐富的內容可以進入查看。也可聯(lián)系我們進行免費試用。

4.    應用前景

      在豐富了FRO分析平臺從眼動到表情識別的分析能力后，FRO的應用方向迎來了更多的想象空間，除了傳統(tǒng)的一些用戶體驗相關的視頻或者圖片素材的測試外，還能對一些概念原型做相關評估，包括但不限于如下內容：網(wǎng)頁網(wǎng)站的可用性評估、廣告創(chuàng)意評估、圖片材料評估、產品貨架測試、產品包裝測試、虛擬門店測試、行為心理研究、預告片評估、精神疾病評估等。

     FRO能使得以往需要耗費數(shù)萬元一次的線下眼動、表情測試，以標準化的線上測試的形式呈現(xiàn)，用以往五分之一的價格，便能完成一次表情+眼動的定量實驗研究，特別是在疾病流行的當下，能幫助客戶更加高效的開展遠程的用戶體驗測試項目。

關注諾達思公眾號，獲取更多產品信息及學術文章！