Невзвешенный и весовых Каппа, как меры соглашения для нескольких судей

Невзвешенный и взвешенной каппа широко используются для измерения степени согласия между двумя независимыми судьями. Расширение невзвешенных и взвешенной каппа до трех или более судей традиционно включало измерение попарно соглашения среди всех возможных пар судей. В этой статье, невзвешенный и взвешенной каппа определены для нескольких судей и по сравнению с парными каппа. Кроме того, точные дисперсии и ресамплинг перестановки процедуры описаны, которые дают приближенные значения вероятностей.

(ProQuest: ... означает формулы опускается.)

1: Введение

Классификации объектов по категориям и приказал категорий общего бизнеса и управления исследованиями. Иногда важно для оценки согласия между классификации для нескольких судей. Например, она может представлять интерес для измерения соглашения между комитет, состоящий из верхней управления в оценке возможных акциях руководителей вице-президентом, или мера согласия между судьями рейтинг Small Business инновационных исследований (SBIR) предложения, или мера согласия руководителей оценки группы стажеров для возможного постоянную должность.

Коэн (1960) представил невзвешенное каппа, шанс коррекцией индекса interjudge соглашение категориальные переменные. Каппа является идеальной, когда один договор между двумя судьями происходит, 0, когда соглашение равно, что ожидать в независимости, и отрицательным, когда согласие меньше, чем ожидалось, случайно (Флейс и др.., 2003, p. 434). Весовые каппа (Спитцер и др.., 1 967; Коэн, 1 968) широко используется для упорядоченных категориальных данных (Cicchetti, 1981; Крамер и Файнштейн, 1981; Banerjee и др.., 1999; Kingman, 2002; Ладбрук, 2002; Перкинс и Беккер, 2002; Флейс и др.., 2003, p. 608; Kundel и Полански, 2003; Шустер, 2004; Берри и др.., 2005). В то время как невзвешенное каппа не проводит различий между степенью разногласий, взвешенная каппа включает величину каждого разногласий и обеспечивает частичную кредит на разногласия, когда соглашение не является полной (Маклур и Уиллетт, 1987). Обычный подход состоит в присвоении веса каждой пары несогласие с большими весами с указанием большие разногласия.

2: Парные Невзвешенный Каппа

Рассмотрим т = 2 судей, которые самостоятельно классифицировать / V объектов в неупорядоченных т непересекающихся категорий. Пусть п ^ т ^ к югу, к югу R ^ л ^ и C ^ югу J ^ обозначает ячейку частот строк и столбцов маргинальных итоговые частоты я = 1,. . . , Г, / = 1,. . . , Г, соответственно, и пусть будет общая частота определяется

Статистика взвешенных каппа (Cohen, 1968) для т = 2 независимых судей определяется как

где невзвешенное Статистика каппа-симметричных весов, W ^ ^ т к югу, отнесенные к каждой ячейке для / = 1. . . , Г, / = 1,. . . , Г определяются

(Cohen, 1960; Madure и Уиллетт, 1987; Ладбрук, 2002, p. 533).

Света (1971) определен Хотя Света (1971) рассмотрел только случай т = 3 независимых судей и не дает общую формулу для измерения соглашения между м судей, Конгер (1980) расширенной При значения, определенные в (2) равна

Флейс (1971) при условии Для В случае Хотя Флейс (1971) представил 2 судей и, кроме того,

Конгер (1980) определен Для Следовательно, пар значений Наконец, Конгер изменить Остальные (т - г)-мудрый ожидается разногласий (Conger, 1980).

3: Невзвешенный Каппа для нескольких судей

Для упрощения представления в этом разделе, невзвешенный каппа для нескольких судей ограничивается т = 4. Рассмотрим т = 4 судей, которые самостоятельно классифицировать N объектов в неупорядоченных г непересекающихся категорий. Классификация может позиционироваться как г ^ ^ SUP 4 таблицы сопряженности с г строк, столбцов, ломтики и блоков. Пусть п ^ к югу ijkl ^ R ^ ^ я к югу, к югу C ^ J ^ S ^ ^ к югу, а В ^ ^ к югу л обозначим ячейки частот и строка, столбец, ломтик, а также заблокировать маргинальных итоговые частоты я = 1. . . , Г / = 1,. . . , Г, к = 1 ,..., г, и / = 1. . . , Г, соответственно, и обозначим частоты Всего по

Если взвешенная каппа-статистика в этом 4-способ связи таблицы сопряженности задается

где веса, W ^ ^ к югу ijkl, отнесены к каждой ячейке для I = L ,..., т, J = L ,..., т, А = л. . . , Г, / = 1,. . . , Г, то вес невзвешенное Статистика каппа задаются

Под нулевой гипотезы (H0), что судьи м классифицировать объекты самостоятельно при фиксированной частоте составляет маргинальных, ....

4: Пересемплирование и тестов Точное Разница перестановки Для Невзвешенный Каппа

Три типа перестановки испытания являются общими. Во-первых, точные испытания перестановки перечислить все возможные механизмы наблюдаемых частот камеру с фиксированным маргинальных итоговые частоты. Для каждого мероприятия наблюдаемых частот клетки, статистика вычисляется. Наблюдаемых частот выход клеток наблюдаемое значение статистики. Вероятность получения наблюдаемых статистикой, или более экстремальное значение, представляет собой сумму значений вероятности для каждого мероприятия связанные с значения, равные или более суровый, чем значение наблюдаемых статистикой, с учетом фиксированной наблюдается маргинальных итоговые частоты. Во-вторых, с ростом N, число перестановок может стать очень большим, и, следовательно, только случайной выборки из всех возможных механизмов наблюдаемых частот ячейки могут быть получены и рассмотрены. Эти перестановки испытаний разному называют "интерполяции", "случайности", или "приближенные перестановки" испытаниями. В случае ресамплинг тест перестановки, вероятность получения наблюдаемых статистикой, или более экстремальное значение, является доля понижается статистики значения, равные или более суровый, чем значение наблюдаемых статистикой, с учетом фиксированной наблюдается маргинальных частота составляет.

4,1: точный тест перестановки

В связи с SUP м ^ г ^ таблицы сопряженности с объектами N перекрестно классифицируются по т независимых судей, точный тест перестановка связана генерации всех возможных механизмов объектов в клетки, сохраняя при этом предельная частота составляет. Учитывая, г ^ ^ SUP 4 таблицы сопряженности с т = 4 независимых судей, невзвешенный статистика тест каппа, ... как это определено в (6) с весами определена в (7), а также точное вероятность при H югу ^ 0 ^ р (п ^ к югу ijkl ^ \ R ^ ^ я к югу, к югу C ^ J ^ S ^ ^ к югу , В ^ ^ т к югу), рассчитывается для каждого механизм наблюдаемых частот камеру с фиксированным маргинальных составляет частот, где

(Милке и Берри, 1988; 2007).

Если

где

и K обозначает общее количество возможных механизмов частоты ячейки с учетом фиксированной наблюдается маргинальных итоговые частоты.

4,2: Пересемплирование испытаний перестановки

При K очень велико, как обычные с м-путь таблицы, точные тесты непрактичным и ресамплинг становится необходимым (Милке и др.., 2008). Поддержка предварительного изучения методов случайной выборки из всех возможных механизмов клеточной частот, с учетом фиксированной маргинальных итоговые частоты, а также привлекать сравнения на наблюдаемые частоты камеру, где L обычно устанавливается на большое количество, например, 1000000 (Johnston и др.., 2007). Передискретизация алгоритмы для генерации случайных ячейки частоты механизмы для м-способ резервного таблицы с фиксированной частотой маргинальных составляет были даны др. Милке и др. (2007b).

В H ^ ^ к югу 0, ресамплинг приближенное значение P наблюдаемых каппа дается

где

4,3: Точное Разница перестановки испытаний

После Милке и др.. (2007a), точное дисперсии

которое асимптотически следует N (0, 1) распределение по югу H ^ ^ 0. Если Z ^ ^ 0 югу является наблюдаемое значение Z, то приближенное односторонней верхней хвост точным разница перестановки P значение P (Z

5: Пример Невзвешенный Каппа

Рассмотрим т = 4 региональных менеджеров по оценке N = 10 претендентов на менеджера в новый регион, где каждый кандидат классифицируется strengm в 1 г = 3 непересекающихся неупорядоченных каждой категории региональный менеджер: бухгалтерский учет (A), общий бизнес (B), сведений о компьютере или науки (C). Данные приведены в таблице 1 и адаптированы с Конгер (1980). Для данных таблицы 1, 2 приведены коэффициенты невзвешенное каппа рассчитаны на пары руководителей, , к югу F ^ Как указано в таблице 2, . Как и ожидалось, Для 4-путь капп, Затем, основываясь на L = 1, 000, 000, приближенных ресамплинг односторонней верхней хвост перестановки P значение

03630. Наконец, так как

6 весовых Каппа для нескольких судей

Различных весов были предложены для взвешенных каппа с т = 2 судей, где веса обозначаются как W югу ^ ^ и, если я и / назначить г категорий для каждого судьи (Шустер, 2004, p. 246). При т = 4 судей, К. определяется как в (2) и вес снова определяется ш к югу ^ ijld ^, где I, J, K, и назначить 1 г приказал категорий для каждого судьи. Затем W ^ ^ ijkl югу может определить такой коврик ш ^ к югу IIIi = 0 для / = 1 ,..., г и веса симметричны, т. е. W ^ югу ijkl = W ^ югу ijlk ... = = W ^ ^ к югу lkji при г = 1 ,..., г, / = 1 ,..., т, А = г ,..., л и л = 1,. . ., Г. Примеры взвешивания при т = 4 судей включать симметричных линейных веса (Cicchetti и Allison, 1971), где

и симметричная квадратичная веса (Флейс и Коэн, 1973), где

Для симметричных линейных и квадратичных весов с т судей, каждый весом состоит из ... частей.

7: Пересемплирование и тестов Точное Разница перестановки Для Невзвешенный Каппа

Ресамплинг алгоритмов, заданных др. Милке и др. (2007b) генерировать случайные ячейки частоты механизмы для м-способ резервного таблицы с фиксированной маргинальных итоговые частоты. Тогда

Под суб H ^ ^ 0, приближенных ресамплинг односторонней верхней хвост перестановки P значение наблюдаемой взвешенных каппа,

где

Использование точных дисперсии (2007a), наблюдаемые стандартизированной статистики определяется

снова получим приблизительный односторонней верхней хвост точным разница перестановки P значение обозначим P (Z

8 весовых Пример Каппа

Рассмотрим т = 4 региональных менеджеров по оценке N = 10 претендентов на менеджера в новый регион, где каждый кандидат оценивается на управленческий потенциал в 1 г = 3 непересекающихся упорядоченных категорий, каждый региональный менеджер: отлично (A), выше среднего (B) , или в среднем (C). Данные приведены в таблице 1 и адаптированы с Конгер (1980). Из-за сильной поддержки для линейных взвешивания (Cicchetti и Allison, 1971; Бреннер и Kliebsch, 1996; Vanbelle и Альберта, 2008), симметричный линейный весов используются для анализа этого примера, где A = 1, B = 2, C = 3 . Парные капп, таких, как Например, при т = 4 судей и г = 3 категории симметричных весов для невзвешенных каппа являются 0 и 1 и для м-мудрый и попарно капп. Для взвешенной каппа с симметричной линейной веса линейных веса от 0 до 8, в то время, когда рассматриваются попарно веса может изменяться только между 0 и 2. Кроме того, для взвешенных каппа с симметричной квадратичной весов, квадратичной весов колебаться в пределах от 0 до 16, но попарно веса может изменяться только между 0 и 4. Для данных в таблице 1 и симметричных линейных веса, наблюдаемое значение 01717.

Если наблюдаемое значение Для данных, в таблице 1 и симметричная квадратичная веса, наблюдаемое значение Если наблюдаемое значение

9: Резюме

Коэн (1960) представил невзвешенное каппа как шанс коррекцией индекса соглашения для т = 2 судей и категорическое переменной. Коэн (1968) при условии взвешенного каппа как шанс коррекцией индекса соглашения при т = 2 судей и приказал категорическое переменную. Расширение невзвешенных и взвешенной каппа к т Оно является общим для объединить попарно меры соглашения между Кроме того, м-путь P стоимость не может быть получена из ... парных значений P.

В данной работе новый порядок введен для вычисления как невзвешенное и взвешенной каппа, которая рассматривает м судей одновременно. Сравнения с приближенными процедур exactvariance даны. Рассмотрение механизмов частоты случайных ячейки для таблицы сопряженности м-способ обеспечивает приближенное ресамплинг односторонней верхней хвост перестановки P значение. За исключением случая симметричных квадратичной весов, приближенных ресамплинг и приближенные процедуры точной дисперсией являются единственными методами, доступных для получения значений P м Для малых выборок, приближенные процедуры интерполяции дает более точные значения P, чем приближенной процедуре точным дисперсии. Тем не менее, это преимущество смягчить с большими образцов с невзвешенных и взвешенной статистики каппа асимптотически распределены N (0, 1) при H югу ^ 0 ^.

Ссылки

Банерджи, М., Capozzoli, М., Мак-Суини, L., и Синха, D. (1999). "Beyond каппа: обзор мер interrater соглашения". Canadian Journal статистики, Vol. 27, с. 3-23.

Берри, KJ, Джонстон, J. E, и Милке, PW (2005). "Точные и интерполяции значений вероятности для взвешенных каппа". Психологические Доклады, Vol. 96, с. 243-252.

Бреннер, Х. и Kliebsch, У. (1996). "Зависимость весовыми коэффициентами каппа на несколько категорий." Эпидемиология, Vol. 7, с. 199-202.

Cicchetti, Д. В. (1981). 'Тестирование нормальной аппроксимации и минимальным требованиям к размерам образца взвешенных каппа, когда число категорий целом ". Прикладного психологического измерения, Vol. 5, с. 101-104.

Cicchetti, Д. В., Allison, Т. (1971). "Новый порядок оценки надежности забил записи ЭЭГ сна". Американский журнал ЭЭГ технологий, Vol. 11, с. 101-109.

Коэн, J. (1960). "Коэффициента согласия на номинальное масштабах". Образования и психологические измерения, Vol. 20, с. 37-46.

Коэн, J. (1968). "Весовые каппа: номинальная шкала соглашение с обеспечением масштабных несогласия или частичного кредитования". Psychological Bulletin, Vol. 70, с. 213-220.

Конгер, А. J. (1980). "Интеграция и обобщение капп для нескольких рейтинговых агентств". Psychological Bulletin, Vol. 88, с. 322-328.

Эджингтон, Е. С. (1972). "Аддитивном методе для объединения значений вероятностей для независимых экспериментов". Журнал психологии, Vol. 80, с. 351-363.

Эпштейн, DM, Dalinka, М. K, Каплан Ф. С., Aronchick, JM, Маринелли, DL, а также Kundel, HL (1986). "Обозреватель изменения в выявлении остеопороза". Скелетные радиологии, Vol. 15, с. 347-349.

Фишер, Р. А. (1934). Статистические методы для научных работников (5-е изд.). Эдинбург, Шотландия: Oliver

Фишер, Р. А. (1948). "Объединение независимых испытаний значение". Американская статистика, Vol. 2, стр. 30.

Флейс, JL (1971) "Измерение номинальная шкала соглашения между многими рейтинговыми агентствами". Psychological Bulletin, Vol. 76, с. 378-382.

Флейс, J. L. и Коэн, J. (1973). 'Эквивалентности взвешенных каппа и intraclass коэффициент корреляции, как показатели надежности. "Образовательные и психологические измерения, Vol. 33, с. 613-619.

Флейс, J. L., Левин, Б., Пайк, М. C. (2003). Статистические методы для темпы и пропорции (3-е изд.). Хобокен, штат Нью-Джерси: John Wiley

Герман П. Г. Хан, А., Кальмана, CE, Рохас, К. А., Кармоди, DP, и Боденхеймер, М. (1990). "Общество с ограниченной корреляции левого желудочка конечного диастолического давления с радиографическим оценка легочной гемодинамики". Радиологии, Vol. 174, с. 721-724.

Джонстон, JE, Берри, K J., и Милке, PW (2007). "Перестановка испытаний: точность в оценке вероятности ценностей". Восприятия и двигательных навыков, Vol. 105, с. 915-920.

Kingman, A. (2002). "Beyond взвешенных каппа при оценке эксперта соглашение порядковый ответы". Журнал стоматологических исследований, Vol. 81, стр. A219.

Крамер, М. С. и Файнштейн, А. Р. (1981). "Клиническая биостатистики: LIV. Биостатистики согласования". Клинической фармакологии и терапии, Vol. 29, с. 111-123.

Kundel, Х. Л., Полански, M. (2003). "Измерение наблюдателя соглашения". Радиологии, Vol. 228, с. 303-308.

Свет, Р. J. (1971). "Меры реагирования соглашение о качественных данных: Некоторые обобщения и альтернативы". Psychological Bulletin, Vol. 76, с. 365-377.

Ладбрук, J. (2002). "Статистические методы для сравнения измерителей и методов измерения: критический анализ". Клинической и экспериментальной фармакологии и физиологии, Vol. 29, с. 527-536.

Маклур М., Уиллетт, В. C. (1987). "Неправильного толкования и злоупотребления каппа-статистика". Американский журнал эпидемиологии, NOx. 126, с. 161-169.

Милке, П. В. и Берри, К. J. (1988). "Кумулянтной методов анализа независимости г-путь таблиц и добра" подгонки "данные частоты". Biometrika, Vol. 75, с. 790-793.

Милке, П. В. и Берри, К. J. (2007). Перестановка методы: с точки зрения расстояний Функция (2-е изд.). New York: Springer-Verlag.

Милке, PW, Берри, KJ, и Джонстон, JE (2007). 'Точное дисперсия взвешенная каппа с несколькими экспертами. "Психологические Доклады, Vol. 101, с. 655-660.

Милке, PW, Берри, KJ, и Джонстон, JE (2007b). "Пересемплирование программы для многоходовой таблиц сопряженности с фиксированным маргинальных итоговые частоты". Психологические Доклады, Vol. 101, с. 18-24.

Милке, PW, Берри, KJ, и Джонстон, JE (2008). "Пересемплирование вероятность значения весовых каппа с несколькими экспертами." Психологические Доклады, Vol. 102, с. 606-613.

Перкинс, и С. М. Беккер, М. П. (2002). "Оценка вернее соглашение использования маргинальных моделей ассоциации". Статистика в медицине, Vol. 21, с. 1743-1760.

Шустер, C. (2004). "Заметка о толковании взвешенных каппа и его отношения к другим вернее соглашение статистика для метрических масштабах". Образования и психологические измерения, Vol. 64, с. 243-253.

Схоутена, Х. А. J. (1980). "Измерение попарно соглашения между многими наблюдателями". Биометрические Journal, Vol. 22, с. 497-504.

Схоутена, J. H. А. (1982а). "Измерение попарно соглашения между многими наблюдателями, U: Некоторые улучшений и дополнений." Биометрические Journal, Vol. 24, с. 431-435.

Схоутена, J. H. А. (1982b). "Измерение попарно соглашение interobserver, когда все предметы судить по тому же наблюдатели". Statistica Neerlandica, Vol. 36, с. 45-61.

Шорер, J. и Вайс, C. (2007). "Взвешенного коэффициента каппа 3 наблюдателей в качестве меры по надежности экспертных оценок на характеристики в гандболе бросали структур". Измерения в физической культуре и осуществлению Science, Vol. 11, с. 177-187.

Спитцер, Р. Коэн, J., Флейс, JL, и Эндикотт, J. (1967). "Количественное согласие в психиатрический диагноз". Архивы общей психиатрии ", Vol. 17, с. 83-87.

Таплин, SH, Раттер, CM, Elmore, JG, Сегер, D., Белый, Д. и Brenner, RJ (2000). "Точность маммографии использования одного против независимого двойного толкования". Американский журнал рентгенологии, Vol. 174, с. 1257-1262.

Vanbelle С., Альберт, А. (2008). "Замечание о линейно взвешенная каппа-коэффициент для порядковых шкал". Статистическая методология, Vol.6, с. 157-163.

Пол У. Милк, Jr

Колорадский государственный университет

Кеннет Дж. Берри

Колорадский государственный университет

Янис Джонстон

US EPA, Национальный Национальная Безопаность Научно-исследовательский центр

Контактный адрес электронной почты: <a href="mailto:mielke@lamar.colostate.edu"> mielke@lamar.colostate.edu </ A>