嗨~好久沒寫統計文章了，今天想介紹 Test-Retest Reliability (再測信度)
顧名思義，Test-retest reliability 再測信度基本上就是對相同受測者，並使用同一個測驗，但不同的時間點測試。相關係數越高代表該測驗的重測信度越高。
不過，受測者很容易受到記憶或是練習效果所影響，需要注意兩次測驗的間距時間。
Table of Contents
Intraclass correlation coefficient (ICC)組內相關
今天使用ICC (Intraclass correlation coefficient)來看test-retest 的效果如何
ICC 是一種描述行統計量，描述關於:
- 每個群體的相似
- 不同的群體之間是否相異
簡單來說就是想知道兩組以上的資料中，各組是否相關。ICC的範圍為[0,1]，最低從0到最大是1。
當ICC 接近0代表 : 資料與不同群體沒有關係；表示test-retest reliability的信度低。
當ICC 接近1代表 : 每一個病人(群組)重測的數值是有關係的，代表test-retest reliability 的信度高。
視覺化 ICC value
下面兩張是從 網路 上面借來的，把provider 當作是不同的病人，每一條線上(也就是每一個病人) 皆有三筆紀錄，也就是不同時間的測量值。
可以發現左邊的 ICC=0.9，也可以看出來每一個病人的不同測量值是相近的，ICC=0.9 也表示test-retest reliability 的信度高。
右邊的ICC=0.06，每一位病人的數值其實非常相近，test-retest reliability的信度不高，就需要重新設計測量方法了。
為甚麼右邊的數值都特別低?
我們可以來討論一下，為何會發生這種事情。可能因為這個問卷給的問題太難讓人給到滿意的答案了，所以每一位的病人的satisfaction score 都偏低。
這會有兩種可能 :
- 這組病人的狀況真的不好，所以分數偏低，導致ICC過低，Test-retest 信度差
- 問題的設計讓人無法回答到高分，這就需要重新設計問題。
如何解釋ICC 呢?
- 當ICC<0.5 : 低信度
- 當0.5<ICC<0.75 : 中等信度
- 當ICC≥0.7.5 : 高信度
Different model of ICC:
這裡歸類了所有ICC會使用到的組合，分別有三總model，兩種type，兩個unit。
model:
- One-way Random Effects:
- 此模型假設每個受試者由不同組的評分者進行評分。
- 評分者被認為是隨機效應的來源。
- 在實踐中較少使用，因為通常使用同一組評估者進行評估。
- Two-Way Random Effects:
- 此模型假設從總體中選出一組k位評分者並進行評分。
- 評分者與受試者都視為隨機效應的來源。
- 通常使用在: 當我們想將我們的發現推廣到與研究中使用的評估者新似的任何評估。
- Two-Way Mixed Effects:
- 此模型假設從總體中隨機選擇一組K個評分者，然後對受試者進行評分。
- 此模型假設我們選擇的評分者是我們唯一感興趣的評分者。這意味我們無法將我們的發現推廣到其他評分者。
type of relationship:
- Consistency(一致性): 當我們的興趣是在不同的評分者(judges)之間的系統性差異，ex: 評分者對於相似的評分是否一致。
- Absolute Agreement(絕對一致): 有興趣的是在不同評分者之間的絕對差異。ex: 評分者A和評分者B的評分絕對差異是多少
units:
- single rater(單一評估者): 僅對於使用單一評估者的評分作為衡量的基礎。
- the mean of raters(評分者的平均值): 使用所有評分者的平均評分作為基礎。
ICC model:
Table 1 呈現不同ICC model的公式，其中ICC(x,y) 中的x 代表 不同的model， 1=One-way Random Effects ，2=Two-Way Random Effects ，3= Two-Way Mixed Effects。Y代表不同的unit，1= single rater(單一評估者)，2=the mean of raters(評分者的平均值)。 也可以使用 Figure 來判斷你要使用的模型。
如果你要跑SAS的話，可以參考這個SAS MACRO ，可以直接跑出你需要的ICC value。再跑macro 的時候要記得，只能將兩個觀察時間點放進model裡面!
參考資料
- SAS MACRO
- Intraclass correlation for reliability assessment: the introduction of a cross-validated program in SAS (ICC6)
- [Intraclass Correlation Coefficient: Definition + Example]
