Bölüm 1 Giriş

Bu kitabın yazılma amacı ölçme değişmezliğine temel bakış açılarının anlaşılması ve uygulama açısından bir kılavuz görevi görmesidir. Ölçme değişmezliği alanında, alanı genel olarak derleyen kitaplar ya da derleme çalışmalar bulunmaktadır (bkz. Millsap, 2011). Bu bağlamda ilk bölümde ölçme değişmezliğinin ne olduğu, önemi, nasıl ve ne şekilde kullanılabileceği, ölçme değişmezliğinin incelendiği çalışmalarda nelere dikkat edilmesi gerektiği üzerinde bir tartışma yürütülmektedir. İkinci bölümde, ölçme değişmezliğinin en çok kullanıldığı teknik olan Çoklu Grup Doğrulayıcı Faktör Analizi (ÇGDFA) ile ölçme değişmezliği aşamaları sunulmuştur. Üçüncü bölümde ÇGDFA tekniği kullanılırken karar verilecek olan durumlar ve çözüm önerileri derlenmiştir. Son bölümde ise ÇGDFA uygulaması, bir örnek durum üzerinden incelenmiştir.

1.1 Ölçme değişmezliği nedir?

Sosyal bilimlerde ele alınan yapılar genellikle doğrudan gözlenemeyen, tutum, görüş, motivasyon, algı, duygu vb. gizil yapılardır. Sosyal bilimler alanı araştırmacıları bu gizil yapıların göstergelerinden oluşan ölçeklerden elde edilen puanları, gruplar bazında karşılaştırmaktadır. Bu tür karşılaştırmalar ülkelere, eyaletlere, bölgelere, kültürel ve sosyoekonomik farklılıklara, cinsiyete, etnik kökene, yaşa, deneysel desen gruplarına, okul türüne, eğitim programına vb. göre yapılmaktadır (Brown, 2015; Jöreskog ve Sörbom, 1993). Bunun için ortalamaların birbirinden farklı olup olmadığı incelenmektedir.

Gruplararası ortalama farkları belirlemek için yapılan bir araştırmada puanlar arasındaki farkın, varsa nedeni açıklanmak istenmektedir. Bu farkın davranışlardan ya da maddelerin psikometrik özelliklerinden kaynaklandığını belirlemek, gruplara göre ölçme değişmezliğinin (eşdeğerliğinin) incelenmesi ile mümkün olmaktadır (Cheung ve Rensvold, 2002; Millsap, 2010). Ölçme değişmezliği, bir gösterge ile gizil değişkenin ilişkisinin farklı gruplar için değişmez olduğunu belirtmektedir (Meredith ve Millsap, 1992). Bir başka tanıma göre ölçme değişmezliği ilgilenilen gizil değişkenin, gruba özgü başka özellikler tarafından etkilenmediği şeklinde tanımlanmaktadır (Gregorich, 2006). Bu tanımlara dayalı olarak ölçme değişmezliğinin özellikle grupların karşılaştırılmasında bir varsayım olarak bırakılmaması, test edilmesi gerektiği görülmektedir.

Bir ölçme aracından elde edilen puanların bireyde var olan bir özelliği hangi düzeyde ölçtüğü geçerliğin bir konusudur (Allen ve Yen, 1979; Lord, Novick ve Birnbaum, 1968). Geçerlik kanıtlarının güçlü olması, birey puanlarının kuramsal yapı tarafından öngörülen şekilde değişmesini ifade etmektedir (Mehrens ve Lehmann, 1991). Madde ve toplam puanların alt gruplar için ne düzeyde karşılaştırılabilir olduğu ise yanlılık kavramı altında incelenebilmektedir. McDonald (1999), geliştirilen testlerin eşitsizlik ve ayrımcılığın kaynağı olmaması gerektiğini belirtmektedir. Bu kapsamda, bilişsel ya da duyuşsal yapıları ölçmek için kullanılan testlerin farklı gruplara avantaj sağlamayacak şekilde kontrol altında tutulması gerekmektedir.

Yanlılık kavramı ele alındığında bir yapının temelde üç farklı şekilde etkilenebildiği görülmektedir (Van de Vijver ve Leung, 1997). Bunlar:

Teorik yapı yanlılığı: Ölçülmek istenen yapının gruplara göre farklı anlam ifade etmesi,
Yöntem yanlılığı: Kültürel etkilerden ya da araştırmadaki yöntemsel süreçlerden kaynaklanması,
Madde yanlılığı: Testte yer alan maddelerin incelenen gruba göre farklı bir anlam ifade etmesini ifade etmektedir (Van de Vijver ve Tanzer, 2004). Yazarlar burada özellikle yöntem yanlılığında test aşinalığı (verilen madde türüne olan alışkanlık) ile sosyal beğenirliğin ortalama puanlardaki bir değişime neden olabileceğini belirtmektedir. Yöntem yanlılığında test puanlarının genelinde bir değişim olduğu dikkate alınmalıdır. Madde yanlılığı ise testin bütününde değil, test maddelerine verilen yanıtlarda oluşan bir farklılıktan kaynaklanmaktadır. Madde yanlılığı, özellikle Madde Tepki Kuramı alanyazını bağlamında Değişen Madde Fonksiyonu (DMF) olarak da adlandırılmaktadır. Madde yanlılığı ve DMF birçok kaynakta benzer anlamlarda kullanılsa da aralarında bir nüans bulunmaktadır: DMF, eşit yetenek düzeyindeki bireylerin grup üyeliğine dayalı olarak bir maddede farklı bir yanıtlama fonksiyonuna sahip olması anlamına gelirken; madde yanlılığı bu DMF’li olarak işaretlenen maddenin uzman görüşü doğrultusunda belirlenmesi anlamına gelmektedir. Diğer bir deyişle, bir maddenin DMF’li olarak belirlenmesi istatistiksel çıkarımlara dayalı iken, bu maddede madde yanlılığı bulunduğunun belirlenmesi uzman görüşüne dayalıdır.

Üç farklı yanlılık türü ile ölçme değişmezliğinin aşamaları örtüşmektedir. Bu konuya Çoklu Grup Doğrulayıcı Faktör Analizi (Bölüm 2.1’de) detaylı olarak yer verilmiştir.

1.2 Ölçme değişmezliğinin önemi

Ölçme değişmezliği, psikolojik bir yapının alt gruplar için aynı doğrulukla ölçülmesi (Sireci, Patsula ve Hambleton, 2005); gruplara ya da zamana göre yapılan karşılaştırmaların anlamlılığı (Cheung ve Rensvold, 2002; Çelik ve Yılmaz, 2013); karşılaştırmalara ilişkin yorumların geçerliliği için (Horn ve McArdle, 2007; Somer vd., 2009) test edilmesi gereken bir özelliktir. Borsboom (2006) karşılaştırma yapılan araştırmalarda çoğu zaman ölçme değişmezliğinin incelenmediğini ve ölçme değişmezliğinin örtülü şekilde varsayıldığını belirtmektedir.

Psikolojik yapıları ölçmek için kullanılan ölçme araçlarından elde edilen puanların gruplar arasında ölçme değişmezliğinin belirlenmesi, gruplar düzeyinde yapılacak karşılaştırmaların geçerli olmasını ve bu gizil yapının alt gruplarda aynı şekilde yorumlanabilmesini sağlayacaktır (Borsboom, 2006; Horn ve McArdle, 2007; Millsap, 2010; Van de Schoot, Lugtig, ve Hox, 2012). Aksi taktirde, yani ölçme değişmezliğinin sağlanamaması durumunda, gruplardan elde edilen puanların geçerli bir çerçevede karşılaştırılması mümkün olmayacaktır. Bir psikolojik yapının değişmezlik niteliğine sahip olmaması, ilgilenilen özelliğe ilişkin puan farklarının, gruplar arasındaki gerçek puan farklarından kaynaklanmayabileceği anlamında gelebilir. Bir diğer deyişle, gözlenen ortalama puan farkları, grupların yapıyı nasıl yorumladığına bağlı olarak değişebilir. Bu da istenen özellik dışında başka özelliklerin bu puan farklılıklarına neden olduğu anlamına gelmektedir, dolayısıyla ölçülen özelliğe farklı bir kaynaktan hata karışmaktadır.

Ölçme değişmezliği önemli problemlere yanıt bulmak için kullanılan bir tekniktir. Bununla beraber, özellikle araştırmacıların bulgularının geçerli olduğuna ilişkin çıkarımlarına ve farklı gruplara genellenebilirliğine ilişkin kanıtlar sunma avantajı sağlamaktadır. Ölçme değişmezliğinin test edilmesini gerektiren bir takım örnek araştırma soruları şu şekildedir:

Kız ve erkek öğrencilerin matematiğe yönelik kaygı düzeylerinin karşılaştırılması
Bir müdahale uygulamasının farklı yaş gruplarındaki etkililiğinin incelenmesi
Tükenmişlik düzeyinin farklı meslek grupları açısından karşılaştırılması

Belirtilmiş olan örneklerde yer alan matematiğe yönelik kaygı, müdahalenin etkililiği ya da tükenmişlik yapılarının ölçme değişmezliğinin sağlanması gerekir. Değişmezliğin sağlanmaması durumunda gruplar arasındaki farkların gerçek puan farklarından değil de yapının gruplar açısından farklı yorumlanmasından kaynaklanabileceği belirtilebilir.

Bir araştırmayı önemli kılan noktalardan biri de araştırmanın hitap ettiği kesimdir. Ölçme değişmezliği, bir araştırmayı inceleyenler için dikkat edilmesi gereken durumlardan biridir. Değişmezliğin sağlanmadığı durumlarda bulguların genellenebilirliği konusunda yapılacak çıkarımların daha düşük düzeyde olacağı ya da daha doğrusu bu çıkarımların ne düzeyde doğru olacağının bilinemeyeceği konusunda dikkatli olmaları gerekir. Örneğin, kız ve erkek öğrencilerin matematiğe yönelik kaygılarının farklı olup olmadığının incelendiği bir araştırmada bir ölçek kullanıldığını düşünelim. Öncelikle Doğrulayıcı Faktör Analizi yapılarak verinin kuramsal yapıya uyum gösterip göstermediğinin belirlenmesi ve sonrasında karşılaştırma gruplarının ölçme değişmezliği incelemesinin yapılması gerekmektedir. Araştırmayı inceleyen kişi, ölçme değişmezliğinin yapılmadığı ya da yapılıp sağlanmadığı durumda, elde edilmiş olan bulguların yapıdaki gerçek farklılıktan kaynaklanmayabileceğinin farkında olmalıdır. Pek tabii ki gruplar arasındaki fark, grupların yapıdaki gerçek farklılığından kaynaklanıyor da olabilir.

Bilindiği üzere özellikle sosyal bilimler alanındaki araştırmalarda genellikle ölçekler kullanılmaktadır. Bir araştırmada kullanılacak ölçme aracının seçim aşamasında verinin elde edileceği grupların özellikleri dikkate alınarak yapılacak seçimde, bu ölçme aracıyla elde edilen puanların güvenirliği ve geçerliği dikkate alınması gereken niteliklerdir. İlgilenilen psikolojik yapıyı ölçmek için geliştirilmiş ya da kültürel uyarlaması yapılmış olan birden fazla ölçme aracının alanyazında kullanılabilir şekilde bulunduğu durumlar bulunmaktadır. Hatta bir ölçme aracının birden fazla kültürel uyarlaması ya da kısa formları da olabilmektedir. Bu durumda ilgilenilen yapıyı ölçmek için kullanılabilecek pek çok form arasından bir tanesini seçmek gerekmektedir. Ölçme aracının seçilmesi aşamasında kullanılabilecek bir çok ölçüt bulunmaktadır. Bunlar, konumuz dışında olduğu için incelenmemiştir. Fakat ilgililer, Robinson, Shaver ve Wrightsman (1991) ya da daha güncel bir tartışma için kitabın yeni baskısını Boyle, Saklofske ve Matthews (2015) inceleyebilir. İlgilenilen yapıyı ölçen bir ölçme aracının seçimi bağlamında, ölçme değişmezliğine ilişkin kanıtların da sunulmuş olduğu bir aracın seçilmesinin daha doğru bir yaklaşım olacağı düşünülmektedir.

Ölçme değişmezliğinin alanyazında kültür, coğrafi bölge, istatistiki bölgeler, cinsiyet, yaş grupları, ülke, azınlık ya da dezavantajlı gruplara göre incelendiği daha önce belirtilmişti. Ölçme değişmezliğinin incelenmesinin araştırmaları geliştirmede nasıl kullanılacağına ilişkin bir takım örnekler verilmiştir.

Boylamsal veriler için test edilebilir. Örneğin ön, son ve izleme testlerinden elde edilen puanların ya da boylamsal olarak yapılan incelemelerde yaş gruplarına göre ölçme değişmezliğinin incelenmesi, bu yapının incelenen grupta zamana göre aynı kalıp kalmadığının belirlenmesi açısından fayda sağlayacaktır.

Ölçeklerin geliştirilme aşamasında gruplar bazında yapılacak bir ölçme değişmezliği çalışması ile maddelerin gruplar bazında nasıl yorumlandığı belirlenebilir ve ölçekte yer alacak maddelerin buna göre revize edilmesi sağlanabilir. Ölçeklerin farklı bir kültüre uyarlanmasında da ölçme değişmezliği kullanılabilir. Uyarlama çalışmalarında genel olarak yalnızca Açımlayıcı Faktör Analizi (AFA) veya DFA yapılmakta ve bir kültürde yapıya ilişkin geçerliğin sağlandığı düşünülmektedir. Burada DFA dışındaki uygulamalar genel olarak tartışmalı olmakla beraber, bu aşamanın sonrasında hedef kültürde elde edilen ölçek formunun, kaynak kültürdekine benzer bir yapıyı ölçtüğü ifade edilebilmektedir. Dolayısıyla araştırmacılar uyarlamanın yapıldığı ve karşılaştırmaların da yapılabileceği çıkarımına ulaşmaktadır. Uyarlama çalışması sonucunda elde edilen puanlar için böyle bir çıkarımın yapılmasında yalnızca DFA yeterli olmamaktadır. Böyle bir çıkarımın yapılmasında ölçme değişmezliğinin incelenmesi, farklı kültürlerde ölçek puanlarının karşılaştırılabilirliğine ilişkin kanıtlar elde edilmesini sağlayacaktır.

Özellikle ölçek geliştirmede, post-hoc yerine a priori hipotezler geliştirmenin daha faydacı bir yaklaşım olacağıdır; diğer bir deyişle, ölçek geliştirme çalışmalarında alt gruplar açısından karşılaştırılabilirliği ilk aşamada kontrol altında tutmanın faydalı olacağıdır. Olanaklar dahilinde, daha sonra ölçek puanlarına göre farkların incelenebileceği düşünülen alt gruplar bakımından rafine edilebilecek bir ölçek, aksi duruma göre daha karşılaştırılabilir bir forma kavuşacaktır.

Ölçme değişmezliği, çoklu grup analizlerinin bir bölümünü oluşturmaktadır. Bagozzi ve Yi (2011, s.29-30) çoklu grup analizlerinin kullanım amaçlarını belirtmektedir. Bu amaçlar maddeler halinde sunulmuştur:

Aynı faktör yapısının iki ya da daha fazla grupta sağlanıp sağlanmadığı,
Faktör yüklerinin gruplar arasında değişmez olup olmadığı,
Faktörlerin güvenirliğinin gruplar arasında eşit olup olmadığı,
Faktör kovaryanslarının gruplar arasında aynı düzeyde olup olmadığı,
Faktör ortalamalarının gruplara göre farklı olup olmadığı

Bagozzi ve Yi’nin (2011) de belirttiği üzere ölçme değişmezliğinin test edilmesi pek çok aşamadan oluşmaktadır ve belirtilen aşamaların hepsinin araştırdığı problemler birbirinden farklıdır. Bu maddelerden ilk üçü ölçme değişmezliğine ilişkin olup, son iki madde popülasyon heterojenliği olarak adlandırılmaktadır. Genel bir ayrıma gidilecek olursa, gizil değişkenlerin göstergelerle ilişkisi üzerinden yapılan incelemelerin ölçme değişmezliğine, yalnızca gizil değişkenler üzerine yapılan incelemelerin popülasyon heterojenliğine ilişkin olduğu söylenebilir. Bu kapsamda, örneğin bir psikolojik yapıda gizil değişkene ilişkin ortalamaların, gizil değişkenler arası kovaryansların ya da bu değişkenlerin varyanslarının gruplar arasında eşitliğinin incelendiği durumların popülasyon heterojenliğine ilişkin olduğu ifade edilebilecektir.