Anket geçerliği ve güvenilirliği: lisansüstü araştırmacılar için pratik bir rehber

Yüksek lisans veya doktora tezlerindeki hemen hemen her metodoloji bölümünde "ölçeğin geçerliği ve güvenilirliği" başlıklı bir kısım bulunur. Ancak birçok araştırmacı bu iki kavramı birbirine karıştırır veya sadece bir Cronbach's alpha değeri raporlayıp bunu her ikisinin de kanıtı olarak sunar. Bu rehber, aralarındaki farkı, her birinin temel türlerini ve bir jüri heyetinin sizden neleri görmeyi beklediğini açıklamaktadır.

Geçerlik ve güvenilirlik aynı şey değildir {#difference}

• Geçerlik: Anket, ölçmek için tasarlandığı şeyi mi ölçüyor? Bir "iş tatmini" anketi, maddeleri gerçekten iş tatminini ölçtüğünde geçerlidir; yöneticiye sadakati veya araştırmacıyı memnun etme isteğini değil.
• Güvenilirlik: Anket tutarlı sonuçlar veriyor mu? Aynı kişilere benzer koşullar altında tekrar uygulansaydı veya maddeleri kendi içinde karşılaştırılsaydı, benzer bir tablo ortaya çıkar mıydı?

Bunun için genellikle hedef tahtası örneği kullanılır. Güvenilir bir okçu, okları merkezin uzağında olsa bile birbirine yakın atar. Geçerli bir okçu ise tam merkeze atar. Güvenilirlik, geçerlik için gereklidir ancak tek başına yeterli değildir: bir anket, yanlış bir şeyi çok tutarlı bir şekilde ölçebilir.

Bu nedenle, "Cronbach's alpha 0,89 çıktı, bu da ölçeğin geçerli ve güvenilir olduğunu gösterir" cümlesi doğru bir ifade değildir. Alpha değeri size sadece güvenilirlik hakkında bilgi verir.

Geçerlik türleri {#validity-types}

Görünüş ve kapsam geçerliği {#content}

Görünüş geçerliği, maddelerin okuyan birine konuyla ilgili ve net görünmesi anlamına gelir. Kapsam geçerliği ise daha ileri gider: maddeler, ölçtüğünüz kavramın her bir parçasını, dışına taşmadan kapsıyor mu?

Bunun için kullanılan yaygın yöntem uzman görüşü almaktır: taslak, alanında uzman birkaç kişiye gönderilir. Uzmanlar her bir maddeyi; ait olduğu yapıya uygunluğu, ifade netliği ve dil bilgisi açısından değerlendirir; çıkarılması, eklenmesi veya değiştirilmesi gereken maddeler için önerilerde bulunur. Anket, uzmanların çoğunluğunun üzerinde anlaştığı doğrultuda revize edilir.

Bazı üniversiteler bu mutabakatın sayısal olarak ifade edilmesini ister; örneğin Lawshe'nin kapsam geçerliği oranı (CVR) veya kapsam geçerliği indeksi (CVI) gibi. Üniversitenizin hangisini kullandığını danışmanınıza sorun.

Önemli: kapsam geçerliği uzman yargısına dayalıdır. Hiçbir istatistik programı bunu katılımcıların cevaplarından hesaplayamaz.

İç tutarlılık geçerliği {#internal-consistency}

Birçok tezde bu, her bir maddenin kendi yapısının toplam puanıyla ve her bir yapının anketin toplam puanıyla olan korelasyonu anlamına gelir. Korelasyonu zayıf veya anlamsız olan bir madde, çıkarılmaya veya yeniden ifade edilmeye adaydır.

Daha hassas olan değer düzeltilmiş madde-toplam korelasyonudur: maddenin, kendi yapısındaki diğer maddelerin toplamıyla olan korelasyonu. Maddeyi, karşılaştırıldığı toplamın içine dahil etmek, özellikle kısa yapılarda korelasyonu yapay olarak yükseltir. Birçok araştırmacı 0,30'un altındaki bir değeri zayıf madde işareti olarak kabul eder. Bu bir kural değil, genel bir yaklaşımdır.

Yapı geçerliği {#construct}

Yapı geçerliği şu soruyu sorar: maddeler tasarladığınız yapılara göre gruplanıyor mu? Eğer anketinizin üç boyutu ölçtüğünü söylüyorsanız, veriler gerçekten üç boyutu gösteriyor mu?

Bu durum genellikle aşağıda ele alınan açımlayıcı faktör analizi ile incelenir. Ayrıca şunları da içerir:

• Yakınsak geçerlik: ölçeğinizin, aynı kavramı ölçen başka bir ölçekle güçlü bir şekilde korelasyon göstermesi.
• Ayırt edici geçerlik: farklı bir kavramı ölçen bir ölçekle zayıf korelasyon göstermesi.

Ölçüt geçerliği {#criterion}

Anket puanlarının bilinen bir dış ölçütle ilişkisidir. Örneğin: "akademik bağlılık" ölçeğinden yüksek puan alan öğrencilerin notları da yüksek mi? Ölçüt aynı anda ölçüldüğünde buna uygunluk geçerliği, daha sonra ölçüldüğünde ise yordama geçerliği denir.

Güvenilirlik nasıl ölçülür? {#reliability-methods}

Her yöntem için iki kural geçerlidir:

1. Güvenilirliği tüm anket için değil, her yapı için ayrı ayrı hesaplayın. Beş farklı yapıdan oluşan bir ankette, bir yapı zayıf olsa bile genel alpha değeri yüksek çıkabilir.
2. Ters kodlanmış maddeleri önce tersine çevirin. Bir bağlılık ölçeğindeki "Dersleri sebepsiz yere kaçırırım" gibi bir madde ters kodlanmalıdır; aksi takdirde ölçekte bir sorun olmasa bile güvenilirlik düşer.

Açımlayıcı faktör analizi özeti {#efa}

Açımlayıcı faktör analizi (EFA), birbirleriyle güçlü korelasyon gösteren madde gruplarını arar ve her gruba "faktör" adını verir. Tasarımınız sağlamsa, faktörler yapılarınızla eşleşir.

Bir tezde genellikle şunlar raporlanır:

1. Verilerin analize uygunluğu: 0,60 ve üzerinin kabul edilebilir olduğu, 1'e yaklaştıkça sonucun iyileştiği KMO değeri ve anlamlı olması gereken Bartlett küresellik testi.
2. Faktör sayısı: özdeğerleri (eigenvalue) 1'den büyük olanlar, yamaç birikinti grafiği (scree plot) ve açıklanan varyans.
3. Döndürme sonrası yükler: her maddenin faktöründeki yük değeri. Birçok araştırmacı 0,40'ı minimum değer olarak alır ve iki faktörde benzer yük değerine sahip maddeleri tekrar inceler.

Bazı çalışmalar, CFI ve RMSEA gibi uyum indeksleri ile önceden belirlenmiş bir modeli test eden doğrulayıcı faktör analizi (CFA) de yapar. Bu genellikle AMOS veya R'daki lavaan paketi gibi özel yazılımlarda yapılır.

Not: faktör analizi yeterli örneklem gerektirir. Araştırmacılar madde başına 5 ila 10 katılımcı veya en az 200 katılımcı gibi kurallar belirtir, ancak bunlar yük değerlerinin gücüne bağlı olan kaba rehberlerdir. Örneklem büyüklüğü makalemize bakın.

Nasıl raporlanır? {#write-up}

Metodoloji bölümünüzdeki sırayı şu şekilde oluşturun:

1. Görünüş ve kapsam geçerliği: kaç uzman ve hangi alanlardan, neyi değerlendirdiler ve inceleme sonrası neler değişti (çıkarılan veya yeniden ifade edilen maddeler).
2. Pilot çalışma: örneklem büyüklüğü, kaynağı ve ana örneklemden ayrı olduğu bilgisi.
3. İç tutarlılık: her maddenin kendi yapısıyla korelasyonunu gösteren bir tablo.
4. Yapı geçerliği (eğer yaptıysanız): KMO, Bartlett, faktör sayısı, açıklanan varyans ve faktör yükleri tablosu.
5. Güvenilirlik: her yapının ve tüm ölçeğin alpha değerini, her birindeki madde sayısıyla birlikte gösteren bir tablo.

Örnek bir cümle:

"Güvenilirliği sağlamak amacıyla her yapı için Cronbach's alpha hesaplanmıştır. Değerler 0,81 ile 0,92 arasında değişmiş, ölçeğin bütünü için ise 0,94 olarak bulunmuş olup yüksek iç tutarlılığa işaret etmiştir."

Bu örnekteki rakamlar temsilidir.

Sık yapılan hatalar {#mistakes}

• Geçerliği kanıtlamak için alpha kullanmak. Alpha sadece güvenilirliği ölçer.
• Alpha değerini sadece tüm anket için hesaplayıp yapıları atlamak. Zayıf bir yapı, toplam puan içinde kaybolur.
• Ters maddeleri tersine çevirmeyi unutmak. Güvenilirlik düşer ve bazı korelasyonlar tersine döner.
• Pilot çalışmayı ana örneklemden almak ve bu cevapları nihai analize dahil etmek.
• Çok küçük bir örneklemle faktör analizi yapmak ve buna dayanarak sonuçlar çıkarmak.
• Yayınlanmış bir ölçeği yeni ortamda geçerliğini kontrol etmeden çevirmek. Yayınlanmış bir ölçek yazarının iznini gerektirir; çeviri ise uzman görüşü ve pilot çalışma gerektirir.

Pulseform nasıl yardımcı olur? {#pulseform}

Anketinizi akademik bir çalışma olarak oluşturduğunuzda, her madde için bir yapı belirleyip ters kodlanmış maddeleri işaretlediğinizde, Pulseform cevaplardan doğrudan şunları hesaplar:

• Net bir sonuçla her yapı için Cronbach's alpha, madde silindiğinde alpha değeri ve düzeltilmiş madde-toplam korelasyonu,
• Açımlayıcı faktör analizi: KMO, Bartlett, özdeğerler ve Varimax döndürme sonrası yükler,
• Normalliğe bağlı olarak Pearson veya Spearman öneren, yapılar arası bir korelasyon matrisi.

Doğrulayıcı faktör analizi bilinçli olarak dahil edilmemiştir; bu analiz için verilerinizi SPSS'e aktarabilirsiniz. Uzman görüşü ile kapsam geçerliği sizin ve jürinizin sorumluluğundadır. Detaylar akademik anketler rehberinde, sayılarla tam bir örnek ise Raporu benimle okuyun rehberinde yer almaktadır.

Kaynaklar {#sources}

Bu makaledeki formüllerin, eşik değerlerin ve genel kuralların orijinal kaynakları:

• Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334.
• Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2019). Multivariate data analysis (8th ed.). Cengage Learning.
• Kaiser, H. F. (1974). An index of factorial simplicity. Psychometrika, 39(1), 31–36.
• Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575.
• MacCallum, R. C., Widaman, K. F., Zhang, S., & Hong, S. (1999). Sample size in factor analysis. Psychological Methods, 4(1), 84–99.
• McDonald, R. P. (1999). Test theory: A unified treatment. Lawrence Erlbaum Associates.
• Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). McGraw-Hill.
• Polit, D. F., & Beck, C. T. (2006). The content validity index: Are you sure you know what's being reported? Critique and recommendations. Research in Nursing & Health, 29(5), 489–497.