Cohenovo kappa jako míra shody dvou hodnotitelů

Jednou z novinek verze IBM SPSS Statistics 27 je procedura pro výpočet Cohenova váženého kappa, kterou naleznete pod nabídkou Analyze, Scale, Weighted Kappa. V tomto článku si podrobněji přiblížíme, co je Cohenovo kappa, představíme si váženou i neváženou variantu tohoto koeficientu, ukážeme si, jak zadávat jejich výpočet i jaké typy výstupů jsou k dispozici.

Cohenovo kappa

Cohenovo kappa (κ) vyjadřuje míru shody dvou kategorizovaných proměnných s identickými kategoriemi, přičemž bere v úvahu i možnost náhodné shody. Užívá se nejčastěji pro posouzení shody dvou hodnotitelů při klasifikaci subjektů do několika skupin. To má velký význam například v oblasti medicíny a biostatistiky, kde se obvykle na sběru dat podílí více osob a je třeba si klást otázku ohledně konzistence jejich hodnocení.

První zmínka o této statistice je přisuzována Galtonovi (1892), jako novou techniku ji potom publikoval Jacob Cohen (1960) v časopise Educational and Psychological Measurement.

Výpočet Cohenova kappa vychází ze čtvercové kontingenční tabulky. Je založen na porovnání odhadu pravděpodobnosti relativní shody (součet celkových procent diagonálních prvků) a očekávané pravděpodobnosti shody za předpokladu nezávislosti daných dvou hodnotitelů (tj. pravděpodobnosti náhodné shody). 

kde Pr(a) reprezentuje odhad pravděpodobnosti relativní shody mezi hodnotiteli a Pr(e) odhad pravděpodobnost náhodné shody.

Kappa může nabývat hodnot z intervalu <-1,1>, záporné hodnoty se však vyskytují spíše výjimečně. Maximální možná hodnota 1 vyjadřuje perfektní shodu. Nula odpovídá situaci, kdy je pravděpodobnost shody odhadnutá z tabulky stejná jako pravděpodobnost náhodné shody. Záporných hodnot nabývá kappa v případě, že je pravděpodobnost shody odhadnutá z tabulky dokonce nižší než pravděpodobnost náhodné shody, což se stává zřídka.

Cohenovo kappa je určené především pro dichotomické nebo nominální proměnné. V IBM SPSS Statistics nabízí jeho výpočet procedura Crosstabs.

Pro ordinální proměnné je vhodnější užít Cohenovo vážené kappa (viz níže), které navíc zohledňuje skutečnost, že záměna některých dvojic kategorií je závažnější než záměna jiných. 

Cohenovo kappa je určené pro porovnání dvojice hodnotitelů.  V případě více hodnotitelů lze užít Fleissovo kappa, které je zobecněním Cohenova kappa. V IBM SPSS Statistics je k dispozici pod analýzou reliability (nabídka Analyze, Scale, Reliability Analysis).

Příklad

Výpočet Cohenova kappa si ukážeme na příkladu dvou hodnotitelů, kteří hodnotí pouze dichotomicky ano/ne.

Dialogové okno procedury Crosstabs otevřeme z nabídky Analyze, Descriptive Statistics, Crosstabs. Do řádků a sloupců kontingenční tabulky zadáme proměnné reprezentující jednotlivé hodnotitele a pod tlačítkem Statistics označíme volbu Kappa.

Výstup obsahuje kontingenční tabulku a tabulku s názvem Symetric Measures, jejíž první řádek zobrazuje Cohenovo kappa: odhad statistiky (Value), asymptotický odhad standardní chyby (Asymptotic Standard Error), transformaci statistiky, která umožňuje užít pro výpočet dosažené hladiny významnosti t-rozložení (Approximate T) a přibližný odhad dosažené hladiny významnosti testu nulovosti na základě aproximace (Approximate Significance).

Cohenovo vážené kappa

Cohenovo vážené kappa navíc zohledňuje skutečnost, že záměna některých dvojic kategorií je závažnější než záměna jiných, což je charakteristické například pro ordinální proměnné. Procedura nabízí odhad této statistiky založený na předdefinovaných vahách polí kontingenční tabulky (lineární nebo kvadratické). Vstupní proměnné mohou být numerické nebo textové. Odhad váženého Cohenova kappa má smysl pouze v případě, že kategorie proměnných jsou odpovídajícím způsobem seřazené – u numerických proměnných se vychází z pořadí číselných hodnot, u textových z uspořádání podle abecedy. Součástí výstupu jsou rovněž intervaly spolehlivosti, test nulovosti a další.

Cohenovo vážené kappa se počítá podle vzorce:

kde p_ij jsou odhady pravděpodobností jednotlivých polí kontingenční tabulky na základě pozorovaných hodnot, e_ij očekávané pravděpodobnosti za předpokladu nezávislosti a w_ij váhy polí (w_ij=w_ji).

V IBM SPSS Statistics je odhad této statistiky založený na předdefinovaných lineárních nebo kvadratických vahách, tj. váha lineárně nebo kvadraticky roste v závislosti na vzdálenosti daných dvou kategorií. Například pro tři kategorie (tabulka 3×3) vypadají váhy následovně:

• lineární váhy

• kvadratické váhy

Způsob zadávání

Dialogové okno procedury zobrazíme z nabídky Analyze, Scale, Weighted Kappa.

Do pole Pairwise raters zadáme vstupní proměnné. Při vstupu více než dvou kategorizovaných proměnných s identickými kategoriemi se zobrazí Cohenovo vážené kappa pro všechny dvojice proměnných. Jestliže chceme výstup omezit pouze pro některé z nich, označíme volbu Specify raters for rows and columns. Následně zadáme do polí Row rater (s) a Column rater (s) proměnné v řádcích a sloupcích kontingenčních tabulek (výstup bude zahrnovat všechny jejich kombinace).

Pod tlačítkem Criteria lze zvolit lineární nebo kvadratické váhy (Weighting Scale), specifikovat způsob práce s vynechanými hodnotami (Missing Values), určit, zda se u textových proměnných mají rozlišovat velká a malá písmena (String rating variables are case sensitive) a nastavit interval spolehlivosti (Asymptotic confidence interval (%)).

Pomocí tlačítka Print upřesníme formát výstupů (Display and Format) a určíme, zda se má rovněž zobrazovat kontingenční tabulka a případně zda pro všechny dvojice proměnných nebo jen vybrané (Crosstabulation).

Příklad

Dva hodnotitelé hodnotí stupeň rizika na ordinální stupnici: nízké, střední, vysoké.

Dialogové okno procedury zobrazíme z nabídky Analyze, Scale, Weighted Kappa. Do pole Pairwise raters zadáme proměnné reprezentující hodnotitele. Pod tlačítkem Criteria necháme výchozí nastavení (tj. lineární váhy). Pod tlačítkem Print zaškrtneme políčko Display the crosstabulation of rating variables pro zobrazení kontingenční tabulky.

Výstup obsahuje tabulku s názvem Cohen’s Weighted Kappaa kontingenční tabulku. V první tabulce se postupně ve sloupcích zobrazuje: Cohenovo vážené kappa (Weighted Kappa), asymptotický odhad standardní chyby (Asymptotic: Std. Error), transformace statistiky, která umožňuje užít pro výpočet dosažené hladiny významnosti normální rozložení (z), dosažená hladina významnosti testu nulovosti (Sig.) a 95% interval spolehlivosti (95% Asymptotic Confidence Interval).

Hodnota Cohenova váženého kappa je rovna 0,661, což charakterizuje poměrně dobrou shodu hodnotitelů. Z kontingenční tabulky je vidět, že na diagonále se nacházejí spíše vyšší hodnoty, zatímco mimo ni jsou čísla nižší. Pouze u dvou případů nastala situace, kdy jeden z hodnotitelů dal nízké hodnocení rizika a druhý vysoké.

Rádi byste se o statistice a analýze dat dozvěděli více? Chcete se stát mistrem ve svém oboru nebo si jen potřebujete doplnit znalosti? V ACREA nabízíme širokou nabídku kurzů pro váš profesní růst. Máte-li jiný dotaz. Nebojte se využít naši nezávaznou konzultaci, při které vám rádi zodpovíme všechny vaše dotazy a najdeme vhodné řešení.