Валидность и надежность опросника: практическое руководство для аспирантов

Почти в каждой методологической главе магистерской или кандидатской диссертации есть раздел «Валидность и надежность инструментария». Тем не менее многие исследователи путают эти понятия или приводят коэффициент альфа Кронбаха как доказательство того и другого одновременно. В этом руководстве объясняется разница между ними, основные виды каждого показателя и то, что от вас ожидает диссертационный совет.

Валидность и надежность — это не одно и то же {#difference}

• Валидность: измеряет ли опросник именно то, для чего он был создан? Опросник «удовлетворенности работой» валиден, если его пункты действительно измеряют удовлетворенность, а не лояльность к руководителю или желание угодить исследователю.
• Надежность: дает ли опросник устойчивые результаты? Если провести опрос повторно среди тех же людей в схожих условиях или сравнить пункты между собой, будет ли картина похожей?

Классическая аналогия — мишень. Надежный стрелок кладет стрелы кучно, но, возможно, далеко от центра. Валидный стрелок попадает в центр. Надежность необходима для валидности, но сама по себе ее не гарантирует: опросник может быть очень последовательным в измерении чего-то совершенно не того.

Именно поэтому фраза «Альфа Кронбаха составила 0,89, что доказывает валидность и надежность инструмента» некорректна. Альфа говорит только о надежности.

Виды валидности {#validity-types}

Внешняя и содержательная валидность {#content}

Внешняя валидность (face validity) означает, что пункты опросника выглядят уместными и понятными для респондента. Содержательная валидность (content validity) идет дальше: охватывают ли пункты все аспекты измеряемого понятия, не выходя за его рамки?

Обычно для этого проводится экспертная оценка: черновик отправляется нескольким профильным экспертам. Они оценивают каждый пункт на предмет соответствия конструкту, ясности формулировки и корректности языка, а также предлагают удалить, добавить или изменить пункты. Затем опросник дорабатывается с учетом мнения большинства экспертов.

Некоторые университеты требуют выразить это согласие в виде числа, например, с помощью коэффициента содержательной валидности (CVR) по Лоуши или индекса содержательной валидности (CVI). Уточните у научного руководителя, какой метод принят в вашем вузе.

Важно: содержательная валидность — это экспертное суждение. Ни одна статистическая программа не может вычислить ее на основе ответов респондентов.

Внутренняя согласованность {#internal-consistency}

Во многих диссертациях это означает корреляцию каждого пункта с общим баллом по его конструкту, а также каждого конструкта с общим баллом по опроснику. Пункт со слабой или незначимой корреляцией — кандидат на удаление или переформулировку.

Более точный показатель — исправленная корреляция «пункт-общий балл»: корреляция пункта с суммой остальных пунктов того же конструкта. Включение пункта в общую сумму, с которой он сравнивается, искусственно завышает корреляцию, особенно в коротких конструктах. Многие исследователи считают значение ниже 0,30 признаком слабого пункта. Это эмпирическое правило, а не закон.

Конструктная валидность {#construct}

Конструктная валидность отвечает на вопрос: группируются ли пункты в те конструкты, которые вы спроектировали? Если вы утверждаете, что опросник измеряет три измерения, показывают ли данные именно три?

Обычно это проверяется с помощью Исследовательского факторного анализа, описанного ниже. Она также включает:

• Конвергентную валидность: ваш инструмент сильно коррелирует с другим инструментом, измеряющим то же понятие.
• Дискриминантную валидность: он слабо коррелирует с инструментом, измеряющим другое понятие.

Критериальная валидность {#criterion}

Баллы опросника соотносятся с известным внешним критерием. Например: имеют ли студенты с более высокими баллами по шкале «академической вовлеченности» более высокие оценки? Если критерий измеряется одновременно с опросом, это текущая валидность; если позже — прогностическая валидность.

Как измеряется надежность {#reliability-methods}

Два правила для любого метода:

1. Вычисляйте надежность для каждого конструкта, а не только для всего опросника. Опросник из пяти разных конструктов может показать высокую общую альфу, даже если один из конструктов слаб.
2. Сначала перекодируйте обратно пункты с отрицательной формулировкой. Пункт вроде «Я пропускаю лекции без уважительной причины» в шкале вовлеченности должен быть перекодирован, иначе надежность упадет, хотя с инструментом все в порядке.

Кратко об Исследовательском факторном анализе {#efa}

Исследовательский факторный анализ (EFA) ищет группы пунктов, которые сильно коррелируют друг с другом, и называет каждую группу «фактором». Если дизайн исследования верен, факторы соответствуют вашим конструктам.

Что обычно отражают в диссертации:

1. Подходят ли данные для анализа: показатель KMO, где 0,60 и выше считается приемлемым (чем ближе к 1, тем лучше), и Критерий сферычности Бартлетта, который должен быть значимым.
2. Количество факторов: собственные значения (eigenvalues) выше 1, график «каменистой осыпи» (scree plot) и объясненная дисперсия.
3. Факторные нагрузки после вращения: насколько сильно каждый пункт связан со своим фактором. Многие исследователи используют 0,40 как минимум и перепроверяют пункты, которые имеют схожие нагрузки на два фактора.

Некоторые исследования затем проводят подтверждающий факторный анализ (CFA), который проверяет заранее заданную модель с помощью индексов соответствия, таких как CFI и RMSEA. Обычно это делается в специализированном ПО, например AMOS или пакете lavaan в R.

Примечание: факторный анализ требует адекватной выборки. Исследователи ссылаются на правила вроде 5–10 респондентов на пункт или минимум 200 респондентов, но это лишь грубые ориентиры, зависящие от силы нагрузок. См. нашу статью о размере выборки.

Как оформить результаты {#write-up}

Расположите раздел в главе с методологией в таком порядке:

1. Внешняя и содержательная валидность: сколько экспертов, из каких областей, что они оценивали и что изменилось после проверки (удаленные и переформулированные пункты).
2. Пилотное исследование: размер выборки, источник респондентов, указание на то, что они не входили в основную выборку.
3. Внутренняя согласованность: таблица корреляции каждого пункта с его конструктом.
4. Конструктная валидность (если проводилась): KMO, критерий Бартлетта, количество факторов, объясненная дисперсия и таблица нагрузок.
5. Надежность: таблица с альфой для каждого конструкта и всего инструмента в целом, с указанием количества пунктов в каждом.

Пример формулировки:

"Для оценки надежности была вычислена альфа Кронбаха для каждого конструкта. Значения варьировались от 0,81 до 0,92, а для инструмента в целом составили 0,94, что указывает на высокую внутреннюю согласованность."

Цифры в этом примере приведены для иллюстрации.

Типичные ошибки {#mistakes}

• Использование альфы для доказательства валидности. Альфа измеряет только надежность.
• Вычисление альфы для всего опросника, но не для его конструктов. Слабый конструкт «растворяется» в общем балле.
• Забывчивость при перекодировке отрицательных пунктов. Надежность падает, а некоторые корреляции меняют знак.
• Включение пилотной группы в основную выборку и использование этих ответов в финальном анализе.
• Проведение факторного анализа на очень маленькой выборке и построение на этом выводов.
• Перевод опубликованной шкалы без проверки ее валидности в новых условиях. Для использования опубликованной шкалы нужно разрешение автора, а для перевода — экспертная оценка и пилотное исследование.

Чем помогает Pulseform {#pulseform}

Когда вы создаете опросник как академическое исследование, задайте конструкт для каждого пункта и отметьте обратные пункты. Pulseform автоматически вычислит:

• Альфу Кронбаха для каждого конструкта с четким вердиктом, альфу при удалении пункта и исправленную корреляцию «пункт-общий балл»,
• Исследовательский факторный анализ: KMO, критерий Бартлетта, собственные значения и нагрузки после вращения Varimax,
• Матрицу корреляций между конструктами с рекомендацией использовать Пирсона или Спирмена в зависимости от нормальности распределения.

Подтверждающий факторный анализ намеренно исключен, вы можете экспортировать данные в SPSS для его проведения. Содержательная валидность через экспертную оценку остается вашей задачей и задачей ваших рецензентов. Подробности — в руководстве Академические опросы, а пример с расчетами — в статье Разбор отчета.

Источники {#sources}

Оригинальные источники формул, пороговых значений и правил, упомянутых в статье:

• Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334.
• Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2019). Multivariate data analysis (8th ed.). Cengage Learning.
• Kaiser, H. F. (1974). An index of factorial simplicity. Psychometrika, 39(1), 31–36.
• Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575.
• MacCallum, R. C., Widaman, K. F., Zhang, S., & Hong, S. (1999). Sample size in factor analysis. Psychological Methods, 4(1), 84–99.
• McDonald, R. P. (1999). Test theory: A unified treatment. Lawrence Erlbaum Associates.
• Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). McGraw-Hill.
• Polit, D. F., & Beck, C. T. (2006). The content validity index: Are you sure you know what's being reported? Critique and recommendations. Research in Nursing & Health, 29(5), 489–497.