Models of assessing the extent of agreement beteween raters using kappa coefficients

Praca dotyczy modeli oszacowania stopnia zgody pomiędzy dwoma ekspertami oceniającymi te same obiekty. Rozważamy konstrukcję miar służących oszacowaniu poziomu zgodności oraz konteksty interpretacyjne otrzymanych wyników. W pracy rozpatrujemy również powiązania pomiędzy współczynnikami zdefiniowanymi w modelach o dwóch i więcej dopuszczalnych kategorii ocen. Analiza poziomu zgody prowadzi do ilościowego ujęcia z wykorzystaniem współczynników kappa Cohena oraz Scotta. Pokażemy, że te heurystyczne propozycje w odpowiednio zdefiniowanych modelach dychotomicznych pokrywają się z estymatorami największej wiarogodności. Równocześnie wykażemy, że rozwinięcie metod dla modeli z większą niż dwa liczbą kategorii możliwe jest poprzez ważone uśrednienie współczynników kappa określonych w modelach binarnych wyznaczonych dla każdej kategorii oddzielnie.