Reliabilita ve statistice: Co představuje, proč a jak ji měřit

Analýza reliability (česky také analýza spolehlivosti) představuje ve statistice klíčový nástroj pro hodnocení konzistence a přesnosti měření. Reliabilita (spolehlivost) měření je jedním ze základních aspektů vypovídajících o kvalitě dat. Vyjadřuje přesnost měření té vlastnosti, kterou ve skutečnosti měříme. Jedná se o schopnost zopakovat za stejných podmínek stejné výsledky měření. Reliabilitu nelze v praxi zjišťovat přímo, pouze odhadovat. Pro její odhad vždy potřebujeme opakovaná měření téhož, tzv. paralelní měření (opakování stejného dotazu po jisté době, položení obsahově ekvivalentní otázky, řešení stejně obtížné položky v testu apod.). Odhadové postupy jsou založeny na zjišťování variability a souběhu variabilit jednotlivých měření. Přitom je však třeba zajistit splnění základních předpokladů paralelních měření, především nezávislosti chyb.

Důležitou vlastností reliability je možnost jejího podstatného zlepšení v případě opakovaného dotazu na totéž. Náhodná chyba se při spojení více měření podstatně eliminuje. Součtové nebo průměrové indexy se konstruují z položek, které by v optimálním případě měly měřit stejnou vlastnost zkoumaného objektu a být vzájemně konzistentní. Posouzení, nakolik je tento požadavek splněn, je úkolem analýzy reliability. Přitom je však nutné, aby škály všech položek byly orientovány jedním směrem (například při hodnocení spokojenosti na stupnici od 1 do 5 nesmí u jedné z proměnných vyjadřovat jednička nejlepší hodnocení, zatímco u jiné nejhorší).

Různé přístupy k reliabilitě ve statistice

Ve statistice se reliabilita obvykle rozlišuje podle toho, jaký typ měření či konstrukce je analyzován. Mezi nejčastější formy analýzy reliability patří:

1. Test–retest reliabilita

Test–retest metoda hodnotí stabilitu měření v čase. Stejný test nebo nástroj je aplikován na stejný vzorek respondentů ve dvou (či více) časových bodech. Vysoký korelační koeficient mezi výsledky z obou měření naznačuje, že nástroj je stabilní a spolehlivý.

2. Vnitřní konzistence (internal consistency)

Zaobíra se otázkou jak dobře spolu různé položky v rámci měření (například dotazníku nebo testu) souvisejí a jak konzistentně měří stejný konstrukt. Je to míra toho, jak dobře položky „doplňují“ a zda měří stejný základní koncept. Existuje několik nástrojů pro měření vnitřní konzistence: Cronbachovo alfa, Split half test, Guttmanovo λ , McDonaldovo ω a další.

• Split-half test

Jedná se o techniku, při níž je test rozdělen na dvě poloviny (např. sudé a liché položky), které jsou vzájemně porovnány. Pokud obě poloviny vedou ke srovnatelným výsledkům, je nástroj považován za reliabilní.

• Cronbachovo alfa

Čím blíže je jeho hodnota jedné, tím konzistentnější jsou položky. Cronbachovo α blízké nule nebo záporné naopak signalizuje zcela nekonzistentní množinu proměnných. Je však třeba vzít v úvahu také skutečnost, že hodnota koeficientu se zvyšuje s rostoucím počtem položek

3. Reliabilita mezi hodnotiteli (interrater reliability)

Je mírou konzistence a shody mezi dvěma nebo více hodnotiteli nebo pozorovateli v jejich hodnocení konkrétního jevu nebo chování. Jinými slovy, IRR se vztahuje k míře, do jaké různí hodnotitelé nebo pozorovatelé dosahují podobných nebo konzistentních výsledků při hodnocení téže věci.

IRR lze vyjádřit jako procentuální shodu (počet skóre shody / celkový počet skóre). Lze ji také měřit pomocí statistických metod, jako je Cohenův kappa koeficient, koeficient vnitrotřídní korelace (ICC) nebo Fleissův kappa, které berou v úvahu počet hodnotitelů, počet hodnocených kategorií nebo proměnných a míru shody mezi hodnotiteli.

Statistické ukazatele reliability

Shrnme si tedy jaké nástroje můžeme ve statistice využít při měření reliability:

• Pearsonův korelační koeficient (r) – např. v test–retest metodě.
• Cronbachovo alfa (α) – pro měření vnitřní konzistence.
• Cohenovo kappa (κ) – pro shodu mezi dvěma hodnotiteli u kategoriálních dat.
• ICC (intra-class correlation coefficient) – pro více hodnotitelů a spojitá data.
• Guttmanovo λ a McDonaldovo ω – alternativy Cronbachova alfa pro komplexnější modely.

Je důležité poznamenat, že žádný z těchto koeficientů neposkytuje absolutní odpověď – každý má své předpoklady a omezení.

Reliabilita vs. validita

Reliabilita bývá často zaměňována s validitou, avšak jde o dva odlišné koncepty. Reliabilita říká, jak konzistentně nástroj měří, zatímco validita určuje, zda měří to, co skutečně měřit má. Měření může být vysoce reliabilní, ale nízké validity – například pokud dotazník o úzkosti konzistentně měří spíše obecnou nervozitu.

Význam analýzy reliability

Zjišťování reliability je nezbytnou součástí výzkumné praxe ve všech oblastech a oborech činnosti, kde jsou využívány jakékoliv typy testů nebo dotazníků – v sociologii, psychologii, výzkumu veřejného mínění, marketingu, zdravotnictví, školství, státní správě a administrativě apod. Při předkládání nového měřícího prostředku uživateli by měla být dokumentace reliability nutnou podmínkou.

Praktická analýza reliability v IBM SPSS Statistics

Vnitřní konzistence pomocí Cronbachova alfa

V SPSS se Cronbachovo alfa vypočítá takto:

1. Otevřete datový soubor, ve kterém máte více položek tvořících např. dotazníkovou škálu (např. 5 otázek měřících „spokojenost“). My využijeme pro ukázku následující simulovaná data:

2. Klikněte na Analyze > Scale > Reliability Analysis.

3. Vyberte položky, které chcete analyzovat, a přesuňte je do pole „Items“.
4. V poli Model vyberte Alpha.
5. Následně pod tlačítkem Statistics zaškrtněte Descriptives for Scale if item deleted a Intraclass correlation coefficient pro podrobnější výstup.

6. Potvrďte kliknutím na OK.

Výstup vypadá následovně:

Celková reliabilita škály je vysoká (0.912). Do výpočtu vstoupilo 5 položek.

V případě, že bychom vynechali druhou položku hodnotu alpha bychom mohli mírně zvýšit na 0.923 (Cronbachs alpha if item deleted).

Součtový (nebo průměrový) index pěti položek IOC má vysokou reliabilitu – s 95% spolehlivostí leží v intervalu mezi 0.671 a 0.990 (Average Measures, 95% Confidence Interval). Single Measure Intraclass Correlation vyjadřuje reliabilitu odpovídající situaci, kdy by byla užita pouze jedna položka. Obecně bývá nižší než reliabilita indexu, který vychází ze součtu nebo průměru více položek.

Praktická analýza reliability v R

Použití balíčku psych pro výpočet Cronbachova alfa

Nejprve je potřeba nainstalovat a načíst balíček:

Příklad dat a výpočtu

Ukázkový výstup v R:

Interpretace: Celková reliabilita škály je vysoká (0.91). Pokud by byla položka 2 odstraněna, reliabilita by mírně vzrostla – tedy může být kandidátem na úpravu.

Vizualizace dat a reliability v R

Pokud chcete výsledky doplnit o vizualizaci, můžete např. vykreslit korelační matici mezi položkami:

Tímto příkazem získáte korelační mapu mezi jednotlivými položkami, která vizuálně ukazuje, zda spolu korelují tak, jak by u reliabilní škály měly.

Doporučené rozšíření:

Guttmanovy dolní meze (Guttman’s lower bounds) představují šest různých statistik Λ₁ … Λ₆ navržených jako dolní odhady reliability. První odhad Λ₁ je základem pro výpočet většiny následujících.

Paralelní a přísně paralelní model (Parallel, Strictly Parallel) testují hypotézu, že položky mají stejný rozptyl (paralelní model) resp. stejný rozptyl i aritmetický průměr (přísně paralelní model). Ačkoliv jsou předpoklady těchto modelů splněny spíše výjimečně, jsou tyto případy velmi cenné, neboť poskytují odhady variability, které v ostatních situacích nejsou k dispozici.

 Rádi byste se o statistice a analýze dat dozvěděli více? Chcete se stát mistrem ve svém oboru nebo si jen potřebujete doplnit znalosti? V ACREA nabízíme širokou nabídku kurzů pro váš profesní růst. Máte-li jiný dotaz. Nebojte se využít naši nezávaznou konzultaci, při které vám rádi zodpovíme všechny vaše dotazy a najdeme vhodné řešení.