作者 | 網易杭研設計部，網易數帆程式語言實驗室
自 2020 年來，網易數帆探索可視化低代碼編程已兩年有餘，打造了 CodeWave 智能開發平台（原輕舟低代碼平台）用於企業應用開發。然而，不少編程技術人員對這一領域還比較陌生。我們開設《低代碼技術內幕》專欄，旨在討論低代碼編程領域中的困難、問題，以及高效的解決方案。本文為第四篇，將介紹基於凈推薦值（Net Promoter Score，NPS）和結構方程模型（Structural Equation Model，SEM）方法的低代碼用戶體驗管理體系。SEM 側重從定量的方法，通過用戶側視角、數據驅動，量化各級指標對於 NPS 的貢獻度（權重）。在本文中，我們將展示 SEM 在搭建指標體系中的關鍵步驟，並給出使用 SEM 結果改良用戶體驗的方法。
專欄內容回顧：
基於 Vue 和 Canvas，輕舟低代碼 Web 端可視化編輯器設計解析 | 低代碼技術內幕
低代碼編程及其市場機遇剖析 | 低代碼技術內幕
面向數字化提質提效的低代碼架構設計 | 低代碼技術內幕
凈推薦值、結構方程模型和它們的價值
我們首先簡要地說明凈推薦值和結構方程模型的價值，讓讀者對它們「是什麼、有什麼用」有一個比較具象的理解。
凈推薦值和其價值
凈推薦值（Net Promoter Score，縮寫為 NPS）主要通過一個單一的問題，來測量用戶 / 客戶（後文簡稱用戶）向他人推薦某個企業 / 產品 / 服務可能性。
具體的測量問題如下，向用戶詢問：
「您有多大的可能將 XX 產品和服務推薦給身邊的同事或親朋好友，0 分表示非常不推薦，10 分表示非常推薦」
按照用戶不同的打分，將用戶分成三組人群：
- 推薦者： 打 9 和 10 分的用戶；
- 被動者： 打 7 和 8 分的用戶；
- 貶損者： 打分 0-6 分的用戶。
最終產品 NPS = (推薦者人數 - 貶損者人數) / 受訪者總人數。
已有許多研究表明，NPS 與商業結果強相關：提升 NPS 能有效降低客戶流失率、提升復購率、提升市場占有率。例如：
- 美國雲計算管理公司 Rackspace，其 NPS 監測數據顯示，NPS 值提升 20% 後，客戶流失率下降了 30%。
- 百度智能雲 NPS 監測數據顯示其 NPS 連續三年逐年提高，而其市場占有率也逐年上升。
Temkin Group 的研究結果顯示：
- 客戶的打分越高，越可能在這家公司產生購買行為，打分數與購買行為的 相關係數高達 0.81 （相關係數絕對值的區間為 0-1，越接近 1 說明相關性越強。 ）
- 與貶損者相比：
- 推薦者的復購率是貶損者的 5 倍。
- 推薦者對公司行為的容錯度是貶損者的 7 倍。
- 推薦者購買公司新品或者增值服務的可能性是貶損者的近 9 倍。
- 推薦者的復購率是貶損者的 5 倍。
- 推薦者對公司行為的容錯度是貶損者的 7 倍。
- 推薦者購買公司新品或者增值服務的可能性是貶損者的近 9 倍。
結構方程模型和其價值
在許多用戶體驗管理體系中，為了量化抽象概念，需要建構指標體系、確定各級指標權重，以 NPS 為核心的用戶體驗管理體系就是這樣的一種分級指標體系。次級指標的拆解、指標的信效度、及其權重的準確性，就成為該項工作的重中之重。
由於產品不同，用戶群體不同，對同一抽象概念所構建的指標體系，無論是在框架還是在權重分配上都會有差異，甚至大相逕庭，不會有一個統一的方案。在一些垂直細分的行業內，部分指標系統的構建是通過訪談行業專家（如相關公司產品負責人）來進行歸納的，這些來自專家側視角指標權重劃分當然很重要，操作成本也相對簡單，不失為一種高效的操作方法，但也可能存在專家意見不一、指標系統缺乏用戶側視角的問題。
結構方程模型（Structural Equation Model，簡稱 SEM）是基於變量的協方差矩陣來分析變量之間關係的一種統計方法，是多元數據分析的重要工具。它旨在使用反映潛變量和顯變量之間關係的一組方程，來儘量縮小樣本協方差矩陣與由模型估計出的協方差矩陣之間的差異。SEM 可以從顯變量中推斷潛變量、測試假設模型的正確性、提供修改模型的指導建議。與專家評分相比，SEM 彌補了缺乏用戶視角的缺憾。
構建以 NPS 為核心的用戶體驗管理體系
低代碼產品的用戶體驗管理體系的終極目標是達成商業結果、推動商業成單，因此我們使用了同商業結果強相關的 NPS 作為低代碼的北極星指標和一級指標。
指標說明
NPS 會受多種因素的影響，我們通過專家訪談、用戶調研、頭腦風暴、桌面研究，最後梳理出 5 個二級指標——產品易用性、學習探索和求助、功能需求滿足程度、性能感知、服務感知——作為低代碼產品的核心驅動因素，以及 21 個三級指標作為測量指標。
低代碼易用性指標的來源主要分為兩大部分：第一部分主要結合了可視化編程領域的經典文獻——《Usability Analysis of Visual Programming Environments: A 'Cognitive Dimensions' Framework》，它針對可視化編程系統提出的「認知維度」可用性分析框架，對科學地衡量與分析可視化編程系統很有幫助 [1]。第二部分則主要借鑑國內 B 端雲計算產品的易用性研究成果，包括阿里雲的《阿里雲易用性量表》等。
「學習探索和求助」、「功能需求滿足程度」、「性能感知和服務感知」這幾個指標則主要通過專家訪談、用戶調研、頭腦風暴獲取。
各級指標說明梳理如表 3-1 所示：
在一個三級指標體系中，抽象概念是結構方程模型中的潛變量，測量指標是顯變量，維度（仍然是抽象的）也屬於潛變量，同時，概念是內生變量，維度是外生變量，指標則是外生變量。因此，綜合起來看，概念是內生潛變量，維度是外生潛變量，指標是外生顯變量。
（第三級）測量指標的數據主要通過向用戶詢問對於該維度的滿意度評價或態度得分來進行獲取，其取值範圍為 1-10，舉個例子，幫助文檔的的測量指標：您對低代碼幫助文檔的使用滿意度如何評價，1 分表示非常不滿意，10 分表示非常滿意。
下圖即為結構方程模型的路徑分析示意圖：
結構方程模型技術，針對主觀建構的各種不同指標體系，以採集的客觀數據為基礎，對它們進行擬合、修正與評估，找出相對最準確、最簡潔的指標體系，並通過擬合出來的 路徑係數來分配指標體系維度以及指標的權重 [2]。
低代碼的 SEM 計算分析
註：由於公司數據的合規要求，本章涉及的指標係數、權重均為脫敏後數據，僅供方法參考。
在進行結構方程模型分析之前，須先進行指標的信度（reliability）檢驗和效度（validity）檢驗。因為如果指標的信度、效度條件無法滿足，即便結構方程模型的結果成立，其結論依然是不能被接受的。
樣本說明：研究者通過網易數帆 CodeWave 低代碼大賽（SaaS 用戶）、網易公司內部用戶、外部私有化部署用戶三個渠道，儘可能覆蓋全不同的用戶類型群體，共回收有效問卷 1000+。
指標的信度檢驗
學術界普遍採用內部一致性係數，即 Cronbach's α 係數，來驗證指標的信度。表 3-1 展示了模型中所涉及的潛變量的一致性係數（通過 SPSS 22.0 計算得出)。
Hair、Anderson、Tatham、Black 指出，內部一致性係數 大於 0.7表明量表的可靠性較高；在探索性研究中，內部一致性係數可以小於 0.7，但應大於 0.6；本研究各個潛變量的 Cronbach's α 係數處於 0.732-0.925（見表 4-2），均超過了 0.7，表明各個概念的量表都具有較高的可靠性。
指標的效度檢驗
統計學上，因子分析是檢驗指標結構效度的最常用方法。按照慣例，我們使用了 KMO 樣本測度和 巴特勒球形檢驗來檢驗數據是否適合做因子分析。數據顯示：產品易用性、學習探索和求助、功能需求滿足程度、性能感知、服務感知五個構面數據的 KMO 值分別為 0.901、0.847、0.813、0.715、0.703。同時，各構面數據的巴特勒球形檢驗的卡方統計值（Sig）的顯著性機率均小於 0.001。
學者 Kaiser 指出，當 KMO 值大於 0.6，則表示樣本數據適合做因子分析，因此，本研究的樣本數據適合做因子分析。
計算路徑係數
在因子分析的基礎上，我們利用 AMOS 22.0 軟體進行結構方程的建模與運算。（沒有統計軟體時也可以用 R、Java 等語言編碼計算。）
對方程模型進行路徑分析，得到模型的方程分析、有效性和擬合優度等指標。研究計算結果參見下表（表中標準化路徑係數為脫敏後數據）。
表：結構方程模型結果 註：*p < 0.05, **p < 0.01, ***p < 0.001
模型路徑係數如下圖所示，圖中的數值均為標準化路徑係數（圖中路徑係數為脫敏後數據）
模型的調試和擬合優度
建立路徑係數後，需要對模型的擬合優度進行評價。評價指標包括兩類：
本模型擬合度指標參見下表，可以認為設定模型能夠較好的擬合樣本數據。
指標權重計算
通過擬合優度檢驗後，我們需要確定二級指標、三級指標的權重，計算方式如下。
二級指標權重
利用上述模型所得路徑係數大小，對各級指標進行權重分配。將五個二級指標（影響因素）的路徑係數相加，每個維度的路徑係數除以該值即為該維度的權重。產品易用性、學習探索和求助、功能需求滿足程度、性能感知、服務感知的路徑係數分別為 0.27、0.22、0.35、0.23、0.17，它們的和為 1.24，則關鍵業務操作體驗的權重為 0.27/1.24 = 22%。以此類推，可計算出其他二級指標權重，二級指標權重之和為 100%，參見下表。
三級指標權重
以「上手難度」指標為例：
同理可計算出其它三級指標的權重，所有三級指標權重之和等於 100%。
另外，我們可以用已確立的權重，計算出相應的二級指標得分。例如，在我們的發放的問卷調研中，並沒有直接測量產品易用性的得分（因為這是一個復合的抽象化概念，並不容易直接測量其得分），但現在我們可以通過 10 項指標和其相應的權重（由結構方程模型得出），然後計算出產品易用性的得分。
用戶體驗管理體系的運轉
經過 SEM 建模計算後，我們便可以根據指標得分、指標對 NPS 的影響權重繪製二維散點圖，並根據以下步驟優化產品。
1. 確定優化抓手：對 NPS 影響權重高 & 指標得分低
下圖中的亟待改善區即為優化抓手：對 NPS 影響權重高，同時指標得分低
優化抓手通常是方向性問題，如性能問題，產品的上手門檻問題，後續則需要進一步通過用戶調研或梳理用戶已有反饋問題，定義好問題場景及範圍，進而確認具體問題的優先級。
3. 推動優化舉措落地
定義好高優先級體驗問題後，相關業務方會根據實際情況進行優化、排期。
4. 效果驗證、體驗閉環
通過疊代的 NPS 和指標得分，驗證改版或產品改進的效果。
SEM 的使用方式小結
總 結
本文介紹了基於 NPS 和 SEM 的低代碼用戶體驗管理體系，它們引入了用戶視角，一定程度解決了專家打分評估的主觀性、隨意性問題。文章通過低代碼產品的例子，展示了 SEM 在搭建指標體系中的關鍵步驟：澄清與界定概念、建立指標體系、形成調查問卷、指標信效度檢驗、模型擬合與評估、權重分配等。
本文雖以低代碼產品為例，但介紹的方法具有普適性，並不僅僅局限於低代碼產品。
作者簡介
網易杭研設計部，國內最早的用戶體驗設計團隊之一，致力於給公司優秀產品提供設計諮詢服務，覆蓋金融、電商、消費、企業服務等行業，核心專業能力包括用戶體驗與業務增長，提供數字化轉型、增長策略規劃、品牌升級、體驗創新等解決方案，相信好的產品體驗可以為企業帶來更多商業價值。
網易數帆程式語言實驗室，負責 CodeWave 智能開發平台核心編程能力的設計，包括類型系統、語義語法、聲明式編程、可視化交互等 NASL 的語言設計，Language Server、可視化引擎等，以及後續演進方案的規劃和預研，旨在創造低門檻高上限的低代碼開發體驗。
參考文獻
[1] Green T R G, Petre M. Usability analysis of visual programming environments: a 『cognitive dimensions』 framework[J]. Journal of Visual Languages & Computing, 1996, 7(2): 131-174
[2] 武海東，用結構方程模型構建圖書館讀者滿意度評價指標體系 [J]，情報科學，2011,29(02):227-230
[3] 史雅翼，線性結構方程模型評價指標的應用 [J]，中國醫院統計，2001,8(4):237-238
終於找到 ChatGPT 「智商」下降的原因了！OpenAI 側面回應，GPT 可能真被你們玩壞了？
微信取消秋招；谷歌軟體工程師基本年薪超 500 萬；通報批評員工到點下班？比亞迪回應 | Q資訊
十年磨礪，持續闖入「無人區」，這家公司如何做好金融科技？
馬斯克等人熱捧：高薪缺人，但要懂全棧懂LLM，一個全新職業正在興起！