Как разработать анкету для магистерской диссертации с нуля

Многие проблемы в главе с результатами исследования возникают еще до того, как получен первый ответ: конструкт не связан с исследовательским вопросом, вопрос можно понять двояко, демографический вопрос был задан, но не используется, или, наоборот, нужных для анализа данных не оказалось. В этой статье мы разберем процесс разработки анкеты в порядке, который поможет избежать этих ошибок.

Перед началом: если уже существует опубликованная и валидированная шкала, измеряющая то, что вам нужно, используйте ее, а не создавайте новый инструмент. При необходимости получите разрешение автора и адаптируйте ее под свои условия. Создание инструмента с нуля — это огромная работа, требующая полноценного подтверждения его валидности и надежности.

1. От исследовательского вопроса к конструктам {#constructs}

Начинайте с исследовательских вопросов и гипотез, а не с самих вопросов анкеты. Для каждого вопроса задайте себе: какое понятие мне нужно измерить, чтобы ответить на него?

Пример: вопрос «Как академическая вовлеченность связана с Достижением у студентов университета?» требует измерения:

• Академической вовлеченности, которая, согласно литературе, имеет три измерения: поведенческое, когнитивное и эмоциональное,
• Достижения, которое можно измерить через средний балл (GPA) как один числовой вопрос.

Каждое измерение становится конструктом в анкете. Составьте простую таблицу, связывающую каждый исследовательский вопрос с конструктами, которые на него отвечают, и со статистическим тестом, который вы будете использовать. Конструкт, которого нет в этой таблице, не должен присутствовать в анкете.

Сколько вопросов на один конструкт? Обычно рекомендуется от четырех до шести: конструкт из двух-трех вопросов с трудом достигает хорошей надежности, а одновопросный конструкт вообще не позволяет рассчитать внутреннюю согласованность. Слишком длинная анкета утомляет респондентов, и качество ответов к концу снижается.

2. Формулировка понятных вопросов {#wording}

• Одна идея на вопрос. «Преподаватель знающий и отзывчивый» — это два разных вопроса.
• Язык респондента. Пишите для студента, сотрудника или родителя, а не для коллег-исследователей.
• Краткость и конкретика. «Я прихожу на лекции вовремя» лучше, чем «Я обычно прилагаю усилия, чтобы соблюдать график различных академических мероприятий».
• Никаких наводок. Избегайте формулировок «Не кажется ли вам, что...» и «Важно, что...».
• Никаких двойных отрицаний.
• Один или два обратных вопроса на конструкт, сформулированных в противоположном направлении и инвертируемых перед анализом. Подробности — в нашей статье о шкале Лайкерта.

Затем выберите шкалу ответов, обычно это 5-балльная шкала Лайкерта, и по возможности придерживайтесь ее на протяжении всей анкеты: смена шкал между конструктами сбивает респондентов с толку и затрудняет сравнение.

3. Демография {#demographics}

Собирайте только то, что будете использовать в анализе. Если ваши гипотезы касаются различий по полу, курсу обучения и специальности, это именно то, что вам нужно. Вопрос о доходе, который никогда не появится в таблицах, делает анкету длиннее и снижает доверие респондентов.

Для каждого демографического вопроса:

• Взаимоисключающие и исчерпывающие категории: возраст 30 лет не должен попадать в два диапазона, и для каждого должен быть вариант ответа.
• Категории не должны быть слишком маленькими: сравнение группы из трех человек с группой из двухсот не даст надежных результатов. По возможности объединяйте мелкие категории до начала сбора данных.
• Размещение: в начале, если вопросы короткие и нейтральные, или в конце, если они затрагивают чувствительные темы.

4. Структура анкеты {#structure}

1. Краткое введение: кто вы, тема исследования, сколько времени займет заполнение, добровольность участия, конфиденциальность и использование данных только в научных целях.
2. Демография, если вы решили поставить ее в начало.
3. Конструкты, каждый с четким заголовком или без него, если заголовок может повлиять на ответы.
4. Благодарность в конце.

5. Экспертная оценка {#expert-review}

Отправьте черновик экспертам в вашей области и специалистам по измерениям; многие университеты требуют от пяти до десяти рецензентов. Вместе с анкетой отправьте им название исследования, исследовательские вопросы и определение каждого конструкта. Попросите их оценить каждый вопрос на предмет принадлежности к конструкту, ясности и корректности языка, оставив место для предложений по изменению.

Затем внесите правки, с которыми согласно большинство, и ведите учет того, что было удалено, изменено или добавлено, так как об этом нужно будет отчитаться в главе с методологией. Подробности — в нашей статье о валидности и надежности анкеты.

6. Пилотное исследование {#pilot}

Перед полноценным запуском дайте анкету небольшой выборке из вашей целевой аудитории, не входящей в основную выборку; обычно исследователи рекомендуют около 30 респондентов. Это позволит вам:

• проверить ясность вопросов: спросите нескольких участников, как они поняли наиболее сложные вопросы,
• замерить время заполнения,
• рассчитать предварительную надежность каждого конструкта и выявить слабые вопросы, пока еще есть время,
• протестировать сам метод сбора: ссылку, устройства или бумажные бланки.

Ответы пилотного исследования не включаются в итоговый анализ.

7. Согласования и этика {#ethics}

Большинство университетов требуют одобрения комитета по этике исследований до начала сбора данных, а также разрешения организации, в которой вы проводите опрос (школа, вуз или работодатель). Напишите во введении достаточно информации, чтобы решение об участии было осознанным. Если респонденты — несовершеннолетние, обычно требуется согласие родителей.

8. Публикация и сбор данных {#collect}

• Определите размер выборки до начала и запишите, как вы его выбрали. См. нашу статью о размере выборки.
• Выберите канал, который охватит вашу аудиторию: онлайн-ссылка, сбор данных на устройствах или бумажные анкеты.
• Отслеживайте количество ответов в процессе сбора и их распределение по группам, которые вы будете сравнивать.
• Не меняйте вопросы после начала сбора данных. Любое изменение сделает старые и новые ответы несопоставимыми.

В Pulseform {#pulseform}

• При создании опроса с целью Академические и научно-исследовательские работы вам доступны готовые шаблоны для каждого типа исследования: корреляционного, сравнительного, описательного, до/после и валидации инструмента. В каждом из них по 4–6 вопросов на конструкт и уже отмечены обратные вопросы, поэтому вы адаптируете готовое, а не начинаете с нуля.
• У каждого вопроса есть поле Конструкт / Измерение исследования и переключатель Этот вопрос с обратной шкалой. В академических опросах ответы на оценочные вопросы обязательны, поэтому пропуски не исказят надежность и средние значения конструктов.
• В Настройках → Анализ и тесты вы выбираете дизайн исследования, и нужные тесты активируются автоматически.
• Вы публикуете и распространяете опрос с помощью публичной ссылки и QR-кода, а пилотный опрос можно провести отдельно, чтобы его данные не смешивались с основной выборкой.

Подробности — в разделах Создание опроса, Настройки опроса и Академические опросы.

Литература {#sources}

Первоисточники формул, пороговых значений и эмпирических правил, упомянутых в этой статье:

• DeVellis, R. F. (2017). Scale development: Theory and applications (4th ed.). SAGE Publications.
• Dillman, D. A., Smyth, J. D., & Christian, L. M. (2014). Internet, phone, mail, and mixed-mode surveys: The tailored design method (4th ed.). John Wiley & Sons.
• Johanson, G. A., & Brooks, G. P. (2010). Initial scale development: Sample size for pilot studies. Educational and Psychological Measurement, 70(3), 394–400.
• Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575.
• Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales: Reliability, validity, discriminating power, and respondent preferences. Acta Psychologica, 104(1), 1–15.