Bölüm 2 Ölçme Değişmezliğinin Belirlenmesi
Ölçme değişmezliğinin test edilmesi için kullanılan birçok istatistiksel teknik bulunmaktadır. Bunların arasında Çoklu Gösterge Çoklu Nedenler modeli, Madde Tepki Kuramına dayalı yöntemler, Hizalama Yöntemi vb. diğer yöntemler bulunmaktadır. Bunlardan en sık kullanılanı ise Çoklu Grup Doğrulayıcı Faktör Analizidir (ÇGDFA). Bu teknik kapsamında ölçme değişmezliği, yapıya ilişkin puanlar üzerinde uygulanan bir dizi modelin karşılaştırılmasına dayalı olarak yani aşamalı bir şekilde incelenmektedir.
2.1 Çoklu Grup Doğrulayıcı Faktör Analizi
ÇGDFA, YEM’in bir uygulamasıdır. Jöreskog (1971), bu tekniğin kullanımı ile parametrelerin gruplara göre değişmez olup olmama durumunun incelenebildiğini; burada temel varsayımın grupların bağımsızlığı olduğunu belirtmektedir. ÇGDFA, teorik olarak belirlenen yapıda yer alan parametrelerin gruplara göre ve ölçme değişmezliği hipotezlerine dayalı olarak aynı anda kestirimine imkan vermektedir. (Brown, 2015; Kline, 2015). ÇGDFA ile yapılacak incelemelerde incelenen parametrelerin gruplara göre ne düzeyde benzerlik gösterdiği belirlenmektedir.
Değişmezlik testleri genel olarak iki ana bölümden oluşur: ölçme değişmezliği ve popülasyon heterojenliği (structural invariance). Popülasyon heterojenliği, faktör varyansları, kovaryanslar, faktörler arasındaki regresyon katsayıları ve gizil ortalamaların farklı gruplar arasında değişmez olup olmadığını araştırır (Muthén ve Muthén, 2010). Brown (2015), popülasyon heterojenliğinin yalnızca ölçme değişmezliği yeterli seviyede sağlandığında test edilebileceğini vurgulamaktadır. Byrne ve Watkins (2003), popülasyon heterojenliğinin, ölçme aracının dayandığı teorik yapıya ilişkin bir durum olduğunu ve oldukça katı bir test olması nedeniyle genelde uygulanmadığını belirtmektedir. Fakar bir araştırmada popülasyon heterojenliği kapsamında bir araştırmacının ele alabileceği bazı araştırma soruları şunlar olabilir:
- Faktörler arasındaki korelasyon katsayıları gruplar için değişmez midir?
- Faktör varyansları gruplar arasında sabit midir?
- Faktörlerin gizil ortalamaları gruplar arasında farklılık göstermekte midir?
Yapısal değişmezlik ve ilgili hipotezlerin test edilmesinin genel olarak ölçme değişmezliği testlerinden sonra yapılabileceği belirtilmişti. Burada araştırmacılar tarafından sıklıkla test edilen ve örneğin t-testi ya da varyans analizi ile gözlenen ortalamaların karşılaştırılmasının, gizil ortalamaların testi ile farklı bir şekilde test edilebileceği belirtilebilir. Bu kapsamda gizil ortalamaların karşılaştırılmasının, faktör yükleri ve regresyon sabitlerinin değişmezliğinin sağlanması koşulu altında ele alınması gerektiği ifade edilebilecektir.
Ölçme değişmezliğinin test edilmesinde dört aşamalı bir yapı vardır. Bu aşamalar sıralıdır ve bir aşamanın sağlanmaması durumunda, bir sonraki aşamanın test edilmesi anlamlı olmamaktadır. Bu aşamalara geçmeden önce ise, incelenecek grupların her birisinde teorik model için ayrı ayrı DFA yapılması önerilmektedir. Bu durum, her bir grup için en iyi çalışan modelin belirlenerek tek bir modelde yani biçimsel modelde bütünleştirilmesi anlamına gelmektedir. Burada dikkat edilmesi gereken noktalardan birisi bu DFA modellerinin birbiriyle tıpatıp aynı olmasının gerekmemesidir (Wang ve Wang, 2012). Bir diğer deyişle modellerin temel olarak aynı faktör yapısını göstermesi gerekmekte, fakat birbirinden farklı olarak maddeler arasında kovaryans tanımlaması ya da çapraz yüklemelerin yapılabileceği anlamına gelmektedir. Maddeler arası kovaryansların tanımlanmasında genel olarak kurama uygun tanımlamaların yapılması gereklidir. Yani birbirinden ayrı olarak tanımlanmış faktörlerin maddelerinin kendi içlerinde kovaryans göstermesi kurama uygun olacaktır. Fakat bir takım durumlarda veri bunun aksini gösterebilir. Böyle bir durumda ise bu tanımlamanın açıklanabilir olması önemli bir durumdur. Bu durum tartışılmalı ve açıklanmalıdır. Çapraz yüklenme durumu da benzer sorulara yanıt aramayı gerektirir. Bir maddenin ait olduğu faktör dışında bir faktörde de manidar bir yük vermesi karşılaşılabilecek bir durumdur. Faktörlerin birbirinden ayrışık olmasına dayalı olarak oluşturulan psikolojik ölçme araçları ile elde edilen verilerde çapraz yüklemenin var olması durumunda bunun kurama dayalı olarak neden oluştuğu tartışılmalı ve modelde düzeltmeler yapılmalıdır. Bu konuda daha detaylı bilgi edinmek için Morin, Arens ve Marsh (2016) veya Cao ve Liang’un (2023) araştırmaları incelenebilir.
2.1.1 Biçimsel değişmezlik (configural invariance)
Biçimsel değişmezlik farklı gruplardaki bireylerin yapıya ilişkin kavramsallaştırmalarının benzer olduğuna ilişkindir (Milfont ve Fischer, 2010). Hambleton (2005), test uyarlamada hata kaynaklarını ve testin farklı kültürde çalışmaması durumunun sebeplerini kültürel farklılıklar, dil farklılıkları, teknik sorunlar ve sonuçların hatalı yorumlanması olarak sınıflamış ve farklı kültürlerin karşılaştırılmasında biçimsel değişmezliğin sağlanmasının bir ön koşul olduğunu belirtmiştir. Biçimsel değişmezlik, ölçme değişmezliğinin en basit (Kline, 2015) ve en az sınırlayıcı formu olmakla beraber, aynı ölçme modelinin karşılaştırılan gruplarda aynı faktör yapısına (eşit faktör sayısı ve bu faktörlere ait gözlenen değişkenler) sahip olup olmadığını belirlemek için kullanılmaktadır (Brown, 2015; Finch ve French, 2015). Diğer bir deyişle, biçimsel değişmezlik test edilirken aranılan özellik, faktör sayılarının ve faktörler altında yüklenen gözlenen değişkenlerin aynı olması durumudur. Biçimsel değişmezlik test edilirken, faktör yükleri, hata varyansları ve regresyon sabitleri serbest şekilde tahminlenirken, “faktör örüntüsü gruplar için değişmezdir” şeklinde oluşturulan yokluk hipotezi test edilmektedir (Kline, 2015). Biçimsel değişmezliğin reddedilmesi, gruplar arasında farklı yapıların ölçüldüğü anlamına gelmektedir (Wu, Li ve Zumbo, 2007). Ancak ve ancak biçimsel değişmezlik sağlandıktan sonra metrik değişmezliğin incelenmesine geçilebilir.
Biçimsel değişmezliğin sağlanıp sağlanmadığı kararı nasıl verilmelidir? Bu kararı verirken, model-veri uyumunun yeterli olup olmadığı incelenmeli ve DFA’da olduğu gibi göstergelerin manidar olup olmadığı incelenmelidir. Yani, bu aşamada modelin bir DFA modeli gibi düşünülmesi gerektiği belirtilebilir. DFA’dan temel farkı, faktöre ilişkin modelin farklı gruplar için eşzamanlı kestirimidir. Analiz çıktılarında gruplara göre ayrı çıktılar yer almaktadır. Dolayısıyla herhangi bir sorunla karşılaşılması durumunda başvurulacak ilk yer ayrı olarak incelenmiş olan modeller olmalıdır.
Biçimsel değişmezliğin karşılanmaması yani gruplar arasında yer alan örüntünün birbirinden farklı olması durumundaysa bir kaç farklı strateji izlenebilir. Bunlardan ilki modelin betimlenmesine ilişkindir. Tüm veri dikkate alınarak yapılan DFA’dan elde edilen model-veri uyumunun yeterli düzeyde olduğu varsayılarak, gruplara göre modifikasyon önerileri incelenebilir. Modelde grup bazında yapılacak incelemede göstergeler arasında kovaryans tanımlamaları yapılabilir. Bu aşamada yapılacak modifikasyonların sonraki analizlerde de modelde yer alması gerekmektedir. İzlenebilecek ikinci strateji grupların sayısı da dikkate alınarak yapılabilir. Eğer grup sayısı ikiden fazla ise, çıktılarda yer alan \(X\)2 (ki-kare) değerleri incelenerek grup sayısı azaltılabilir. Fakat, bu durum her zaman mümkün olmayacaktır. Çünkü alanyazında yer alan pek çok araştırmada ölçme değişmezliği, cinsiyet gibi genel olarak iki kategori altında ele alınan değişkenler açısından incelenmektedir. Üçüncü bir strateji ise faktör sayısının azaltılmasıdır. Bu durum orijinal faktör yapısının sağlanmadığı durumlarda daha kullanışlı olabilir. Xu ve Tracey (2017) kariyer kararı vermeye özgü belirsizlik toleransını ölçmeyi amaçlayan üç faktörlü bir aracın Çin ve ABD’li üniversite öğrencilerinden elde edilen puanların ölçme değişmezliğini belirlemeye yönelik olarak yaptıkları araştırmada üç faktörlü yapıyı incelemişler fakat biçimsel değişmezliği incelerken bir faktörün model-veri uyumunu sağlamadığını belirlemişlerdir. Bu durumda iki faktörlü yapının karşılaştırılmasına devam etmişlerdir. Ölçme değişmezliğinde standart yaklaşım, gruplara göre ayrı ayrı yapılacak DFA incelemesinden sonra biçimsel değişmezliğin test edilmesine yöneliktir ve bu inceleme bir takım öngörüler sağlayabilir. Milfont ve Fischer (2010) biçimsel değişmezliğin ayrı gruplarda DFA incelemesi ile test edilebileceğini fakat daha sonraki aşamalar için temel bir model oluşturduğu için eşzamanlı kestirimin gerekli olduğunu belirtmişlerdir. Bu aşamada yapılacak incelemede, gruplara göre DFA yapılırken model-veri uyum indekslerinin dikkate alınması gerekip gerekmediği ya da hangi standartları sağlaması gerektiği açık değildir ve bu duruma yönelik herhangi bir çalışmaya rastlanmamıştır. Buna karşın, model-veri uyumunun incelenmesi ve modelin doğru tanımlanması için faydalı olabilecek bilgiler olduğu da aşikardır. Bunun dışında, grup sayısının ikiden fazla olduğu çalışmalar da olduğu unutulmamalıdır. Eğer grup sayısı yüksek ise bu durumda yapılacak inceleme oldukça emek yoğun bir çaba gerektirecektir. Daha önce de belirtildiği gibi, gruplara göre ayrı DFA incelemesi biçimsel değişmezliğin eşzamanlı incelemesine geçilmeden önce yapılabilir. Biçimsel değişmezlik testi yapıldıktan ve gerekli olan değerler elde edildikten sonra metrik değişmezlik aşamasına geçilebilir.
2.1.2 Metrik değişmezlik (metric invariance)
Metrik değişmezlik alanyazında zayıf değişmezlik (weak invariance) ya da faktör yüklerinin değişmezliği (factor loading invariance) şeklinde de ifade edilmektedir. Metrik değişmezlikte, örüntülerin benzer olmasının yanında örtük değişkene ait ölçme biriminin gruplar arasında aynı olup olmadığını belirlemek amaçlanır (Somer vd, 2009) ve bunun için “standartlaştırılmamış faktör yükleri gruplar arasında değişmezdir” şeklinde oluşturulan yokluk hipotezi test edilir (Brown, 2015; Finch ve French, 2015; Vandenberg ve Lance, 2000). Metrik değişmezlik test edilirken faktör yükleri ve faktör örüntüsü sınırlandırılır, hata varyansları ve regresyon sabitleri ise serbest şekilde kestirilir. Dolayısıyla metrik değişmezliğin, biçimsel değişmezlik üzerine kurulduğu belirtilebilir.
Metrik değişmezliğin sağlanıp sağlanmadığının belirlenmesi için modelden elde edilen istatistiklerin biçimsel değişmezlikten elde edilen modelden elde edilen istatistikler ile karşılaştırılması gerekmektedir. Bu karşılaştırma iki şekilde yapılabilir. Birincisi, modeller arasındaki \(X\)2 farkının, serbestlik dereceleri arasındaki fark dikkate alınarak manidar olup olmadığı incelenir. Elde edilen manidar fark, modellerin birbirinden farklı olduğu ve metrik değişmezliğin reddedildiği anlamına gelecektir. Fakat alanyazında, örneklem büyüklüğünün \(X\)2 istatistiğini etkilediği bilinmekte ve bu yüzden bu yaklaşım önerilmemektedir. Kullanılabilecek ikinci değerlerlendirme ölçütü ise model-veri uyum istatistiklerindeki değişimlerin dikkate alınmasıdır. Bu konu tartışmalı olmakla beraber, alanyazında genel olarak kabul görmüş olduğu belirtilmelidir.
Metrik değişmezlik sağlandığında, faktör ve maddelere ilişkin regresyon eğimleri grup bazında birbirine eşit olacak ve bu da örtük değişkendeki bir birimlik değişimin gözlenen değişkenlerde eşit miktarda değişim meydana getirdiği anlamına gelecektir (Brown, 2015). Burada yanlış anlamanın önüne geçmek için ifade edilmelidir ki her maddenin faktör yükü birbirine eşit olmayacaktır. Bir örnek vermek gerekirse, bir faktörde yüklenen ikinci ve üçüncü maddenin faktör yüklerinin eşit olmasından değil, herhangi bir maddenin farklı gruplardaki faktör yüklerinin eşit olmasından bahsedildiği belirtilebilir. Byrne ve Watkins (2003), metrik değişmezliğin sağlanmadığı durumlarda madde yanlılığı bulunduğunu belirtmektedirler.
2.1.3 Ölçek değişmezliği (scalar invariance)
Ölçek değişmezliği alanyazında güçlü (strong) değişmezlik ya da regresyon sabitlerinin (intercept) değişmezliği olarak da ifade edilmektedir. Ölçek değişmezliğinde, faktör örüntüsü ve faktör yüklerinin yanında regresyon sabitleri de sınırlandırılmakta; hata varyansları ise serbest tahminlenmektedir. Ölçek değişmezliğinde metrik değişmezlik koşullarına ek olarak “regresyon sabitleri gruplar arasında değişmezdir” şeklinde oluşturulan yokluk hipotezi test edilmektedir (Somer vd., 2009; Vandenberg ve Lance, 2000). Ölçek değişmezliği test edilirken kovaryans analizleriyle beraber ortalamalar da dikkate alınmaktadır (Çelik ve Yılmaz, 2013). Ölçek değişmezliğinin sağlanması, gizil ortalamaların karşılaştırılabilmesi için bir ön şart olup, gözlenen değişkenlerdeki ortalama farklarının gizil değişkenin ortalamasındaki değişimden kaynaklandığı anlamına gelmektedir (Finch ve French, 2015; Steinmetz vd., 2009). Ölçek değişmezliğinin sağlanmadığı durumda ise gözlenen değişkendeki ortalama farklarının gizil değişken ortalamasından kaynaklanmayacağı belirtilmektedir (Meredith ve Teresi, 2006).
2.1.4 Katı değişmezlik (strict invariance)
Katı değişmezlik alanyazında hata varyanslarının (error variance) değişmezliği olarak da ifade edilmektedir. Katı değişmezlikte faktör örüntüsü, faktör yükleri ve regresyon sabitlerinin yanısıra, göstergelere ilişkin hata varyansları da sınırlandırılmaktadır (Vandenberg ve Lance, 2000; Widaman ve Reise, 1997). YEM’de gizil değişkenler arasındaki hatalar düzeltildiği için, katı değişmezliğin test edilmesinin görece daha az önemli olduğu (Steinmetz vd., 2009) ve sağlanmasının ise güç olduğu belirtilmektedir (Byrne ve Stewart, 2006).
Ölçme değişmezliği incelemelerinde hangi aşamada hangi parametrelerin sınırlandırılarak ve hangilerinin serbest biçimde kestirildiğine ilişkin özet Tablo 1’de sunulmuştur.
Tablo 1.
Ölçme değişmezliği aşamaları
| Model Türü | Faktör Yükleri | Regresyon Sabitleri | Hata Varyansları |
|---|---|---|---|
| Biçimsel Değişmezlik | Serbest | Serbest | Serbest |
| Metrik Değişmezlik | Sabit* | Serbest | Serbest |
| Ölçek Değişmezliği | Sabit | Sabit* | Serbest |
| Katı Değişmezlik | Sabit | Sabit | Sabit* |
Not: Serbest: Gruplarda serbest kestirilen parametrelerdir. Sabit: Gruplar arasında eşit olarak tahminlenen parametrelerdir. *: Bu aşamada bir önceki aşamaya göre test edilen kısıtlamayı belirtir.
Bölüm 3 Uygulamada Karar Verilecek Durumlar ve Karşılaşılabilecek Sorunlar
Ölçme değişmezliği yapılmasına ilişkin planlamanın sonrasında karar verilmesi gereken ilk durum hangi tekniğin işe koşulacağıdır. Alanyazında en sık kullanılan teknik ÇGDFA olarak karşımıza çıkmaktadır. Ölçme değişmezliği için kullanılan diğer teknikler arasında Çoklu Gösterge Çoklu Nedenler (MIMIC), Açımlayıcı Faktör Analizi, Açımlayıcı Yapısal Eşitlik Modelleri, Bifaktör modeller vb. bulunmaktadır. Bu teknikler ve alanyazındaki gelişmeler için Leitgöb ve diğerleri (2023) incelenebilir. ÇGDFA tekniği için ise iki farklı yaklaşım ele alınabilmektedir. Bunlardan ilki ileriye dönük sınırlayıcı ve geriye dönük serbestlik yaklaşımlarıdır. İleriye dönük yaklaşımda en az sınırlayıcı modelden başlanıp sırasıyla maddelerin faktör yükleri, regresyon sabitleri ve hata varyansları sınırlanırken, geriye dönük yaklaşımda test edilmek istenen parametrelerin hepsinin sınırlı olduğu ve bu parametrelerin sırayla serbest tahminlendiği modeller test edilir. Brown (2015), geriye dönük yaklaşımda (sınırlandırılmış parametrelerle) ve ikiden fazla grubun test edildiği modellerde model-veri uyumunun sınırlandırılmamış duruma göre daha kötü olacağını, bu yüzden ileriye dönük yaklaşımla değişmez olmayan parametrelerin daha kolay belirlenebileceğini belirtmektedir. Ölçme değişmezliği incelenirken gruplar arasında sabitlenen bir tür parametreden hangilerinin değişmez olmadığını belirlemek, diğer yaklaşıma göre daha pratik bir yoldur. Alanyazın incelendiğinde de ileriye dönük yaklaşımın hakim bir kullanım alanı bulduğu görülmektedir. Bu kitap kapsamında da ileriye dönük yaklaşım dikkate alınmaktadır.
3.1 Örneklem büyüklüğü
Örneklem büyüklüğü normallik varsayımının da gerekli görüldüğü birçok parametrik teknikte önemli bir yer kapsamaktadır. Özellikle verinin planlanması aşamasında araştırmacılar analizlerini yapabilmek için ne kadar veriye ihtiyaçları olduğunu bilmek istemektedir.
DFA yapılırken elde edilen \(X\)2 istatistiğinin örneklem büyüklüğünden etkilendiği bilinmektedir. Kline (2015) yayımlanan çok sayıda YEM çalışmalarında kullanılan örneklemlerin çok küçük olduğunu belirtmektedir. Dolayısıyla, yeterli örneklem büyüklüğünün ne kadar olduğu, önemli bir konu haline gelmektedir.
Alanyazında örneklem büyüklüğüne ilişkin olarak pek çok öneri yer almaktadır. Faktör analizinde örneklem büyüklüğü için çeşitli görüşler bulunmaktadır. Örneğin, en küçük örneklem büyüklükleri için Comrey ve Lee (1992) ile Gorsuch (1974) 200, Cattell (1978), 40-80 madde için 250, Kline (1994) ise 100’ün yeterli düzeyde olduğunu belirtmektedir. Alanyazında, faktör analizi için en küçük örneklem büyüklüğünün ne olması gerektiği konusunda görüş birliği bulunmamasına (Wang ve Wang, 2020) karşın genel olarak 100’ün altında olmaması gerektiği ve örneklem büyüklüğü arttıkça kestirimlerin daha stabil hale geldiği belirtilmektedir.
Çokluk, Şekercioğlu ve Büyüköztürk (2014) örneklem büyüklüğü seçiminde alanyazında yer alan en az iki yöntemin dikkate alınması gerektiğini belirtmektedirler. Brown (2015), Monte-Carlo ve Satorra-Saris yöntemlerine göre örneklem büyüklüğünün en az 125 olmasını önermekte; bu durumda doğrulayıcı faktör analiziyle test edilen bir modelin reddedilebilmesi için analizlerin yeterli istatistiksel güce sahip olacağını belirtmektedir. Örneklem büyüklüğüne ilişkin bir altın kural bulunmadığını belirtmek gerekir. Yapıya ilişkin gösterge sayısı, faktör sayısı, faktörde bulunan madde sayısı, faktör yüklerinin büyüklüğü, normallik varsayımı, güvenirlik, kullanılan kestirim yöntemi ve benzeri durumlar gerekli örneklem büyüklüğünü etkileyen çeşitli faktörlerdir. Burada belki de en önemli durum, modelin yakınsaması ve elde edilen parametrelerin doğruluk düzeyidir. Küçük bir örneklem kullanıldığında (örneğin N<100) bile model yakınsayabilir fakat elde edilen sonuçları başka bir örneklem ile tekrarlamak mümkün olmayabilir. Kestirilen parametrelerin stabil hale gelmesi için büyük örneklemlerin tercih edilmesi daha doğru olacaktır.
Alanyazında önerilen çeşitli kesme noktaları örneklem büyüklüğüne önemli bir bakış açısı sunmaktadır. Yapılan simülasyon çalışmaları ya da mantıksal ve deneyimlere dayalı olarak yapılan önerilerin tüm durumlara genellenemeyeceği ise dikkate alınması gereken bir durumdur. Bir çok öneri alanyazında aşırı genellemeye doğru gitmektedir. Örneklem büyüklüğünün en küçük değerinin ne olabileceğine ilişkin farklı ve mantıklı bir bakış açısı ise istatistiksel güç analizlerinin yapılmasıdır.
Ölçme değişmezliği incelemesinde örneklem büyüklüğü gruplar bazında da önemlidir. Ölçme değişmezliğinin, farklı DFA’ların eşzamanlı kestirimlerinin bir fonksiyonu olduğu dikkate alındığında, yapılacak kestirimlerin doğruluğu için, her grupta DFA’ya ilişkin örneklem büyüklüğü gereksinimlerinin karşılanmasının önemli olduğu görülebilmektedir. Millsap (2011) bu duruma yönelik net kılavuzların olmadığını belirtmektedir.
Genel olarak özetlemek gerekirse, DFA’nın ve DFA’nın özel bir uygulaması olan ve ölçme değişmezliği incelemesinde kullanılan ÇGDFA’nın, büyük örneklemler için daha uygun olduğu çıkarımı yapılabilir. Modelin yakınsaması ve RMSEA için %90 güven aralıkları gibi çeşitli model-veri uyum indeksleri incelemeleri sayesinde modelin istatistiksel gücü için birtakım çıkarımlar yapılabilir. Grup başına 100 örneklem büyüklüğünün altına düşmenin alanyazınla ters düşeceği ise belirtilebilir.
3.2 Varsayımların kontrolü
ÇGDFA tekniği, Doğrulayıcı Faktör Analizi’nin (DFA) bir uzantısıdır. Dolayısı ile ölçme değişmezliği test edilmek istenildiğinde DFA varsayımlarını test etmek de gereklidir. Bu konu detaylı bir inceleme gerektirmektedir. Konuyla ilgilenenler için Brown (2015), Çokluk, Şekercioğlu ve Büyüköztürk (2014), Tabachnick ve Fidell (2013) ve Kline (2015) bu konuda detaylı açıklamalar sunmaktadır. Burada değinilmek istenen konu ise bu teknik detayların dışındadır. Varsayımların test edilmemesi ya da bunlara ilişkin bilgilerin ihmal edilmesi durumunda değişmezliğe ilişkin sonuçların yanlış şekilde yorumlanması ile karşılaşılabilir. Ölçme değişmezliğinin test edilmesinden önce varsayımların test edilmesi bu bakımdan önemlidir. Burada ayrıca belirtilmelidir ki DFA varsayımları olarak ifade edilen kavramlar, örneğin tek değişkenli normallik yani her değişkenin ayrı ayrı normalliğe sahip olması ya da çok değişkenli normallik ya da bir diğer deyişle ortak normallik, DFA kestirim yöntemlerinden En Çok Olabilirlik “EÇO” (Maximum Likelihood) için gerekli varsayımlardır.
Değişmezlik aşamalarına geçilmeden önce incelenen verinin kuramsal yapıya uyumunun yani geçerliğinin DFA ile incelenmesi gereklidir. Bu aşamada, tüm grupların yer aldığı veri seti ile DFA yapılmalıdır. Bu aşamada model-veri uyumunun yeterli düzeyde sağlanmasından sonra gruplar için doğru modellerin belirlenmesi gerekmektedir. Burada doğru modelden kasıt modelin betimlenmesidir. İlgilenilen yapı her grup için aynı şekilde çalışmayabilir ya da verinin yapısı ile kuramsal yapı uyuşmayabilir. Bu noktada iki tür yaklaşımın ele alınabileceği düşünülmektedir. Bunlardan ilki, kuramsal yapının farklı kültürlerde nasıl çalıştığı alanyazın taranarak belirlenebilir. Bu kapsamda, incelenen modele ilişkin farklı açıklamaların derlenerek karşılaştırması ve değerlendirilmesi sağlanabilir. Kullanılabilecek ikinci yaklaşım ise ampiriktir.
İkinci olarak, model-veri uyumunun yeterli düzeyde sağlanmadığı durumlarda keşfedici çalışmalar da yapılabilir. Örneğin, Açımlayıcı Faktör Analizi bu noktada çok kullanılan yöntemlerden biridir. Bunun dışında, doğrulayıcı yaklaşımlar dikkate alınabilir. Bir diğer deyişle, çok faktörlü yapılarda kuramsal olarak tanımlanan yapıya karşı tek faktör modeli, açımlayıcı yapısal eşitlik modelleri, bifaktör model ya da bunlara ilişkin diğer modeller test edilebilir. Ayrıca grup bazında modifikasyon indeksleri incelenebilir ve hatalar arası kovaryans terimleri tanımlanabilir. Faktör yapısının alt gruplar açısından netleştirilmesinden sonra analizlere başlamak daha doğru bir yaklaşım olarak düşünülebilir. Veriye dayalı kararlar verilmesi, her araştırmada olduğu gibi ölçme değişmezliği incelemelerinde de önemli bir yer tutmaktadır.
3.3 Kestirim yönteminin belirlenmesi
Kestirim yönteminin belirlenmesinde maddelerin kategori sayısı ve normallik varsayımı rol almaktadır.
- Maddelerin Yapısı
Testlerde kullanılan maddeler, ikili ya da çoklu puanlanabilmektedir. Duyuşsal özellikleri belirlemek için kullanılan ölçeklerde ise genel olarak çok kategorili maddelerin kullanıldığı bilinmektedir. Leung (2011), duyuşsal özelliklerin ölçüldüğü maddelerin genel olarak 5 kategorili olduğunu belirtmektedir. Bununla beraber maddenin yanıt kategorilerinin sayısının çok az olması, bireylerin gerçek duyuş düzeylerini yansıtamamalarına, çok olması ise kategorilere yüklenen anlamın muğlaklaşmasına neden olabilmektedir. Cox (1980), yanıt kategorilerinin 5 olarak yapılandırılmasının birey-merkezli ölçekler için yeterli düzeyde olabileceğini belirtmektedir.
Bu kapsamda kestirim yöntemi belirlenirken, maddelerin sürekli olup olmadığı önemli bir konu olarak öne çıkmaktadır. Sürekli maddelerin olduğu bir ölçeğin DFA incelemesi yapılırken EÇO tahminleme yöntemi kullanılabilmektedir. Ancak maddelerin kategorik olduğu durumlarda ise EÇO tahminleme yöntemi yerine en küçük kareler “EKK” temelli tahminleme yöntemleri kullanılabilmektedir. EKK’ye dayalı tahminleme yöntemleri, maddelerin sıralı kategorik olduğu durumlarda daha doğru sonuçlar verebilmektedir. Bu nedenle maddelerin yapısının bilinmesi kestirim yönteminin belirlenmesinde önemli bir konu olarak karşımıza çıkmaktadır. Bu kapsamda, maddelerin yanıt kategorilerinin sayısı ve hangi kestirim yöntemi kullanacağı hakkında farklı görüşler bulunmaktadır (Örneğin, Kline, 2015; Rhemtulla, Brosseau-Liard ve Savalei, 2012; Robitszch, 2020). Yapılan çalışmalarda, örneğin Preston ve Colman (2000) 5’ten 9’a kadar yanıt kategorisi bulunan maddelerde güvenirlik ve geçerlik düzeylerinin, kategori sayısı daha az olan maddelere göre daha yüksek düzeyde olduğunu belirtmektedir.
- Normallik Varsayımı
DFA’da çok değişkenli normallik varsayımı EÇO kestirim yöntemi için önemlidir. Örneğin Jaccard ve Wan (1996, s.75-76) normallik varsayımının sağlanmaması durumunda farklı yöntemler önermişlerdir. Bunlar: uç değerlerin belirlenmesi, bazı değişkenlerin dönüştürülmesi, normalliğe dirençli farklı kestirim yöntemlerinin kullanılması ve son olarak standart hataların tahmininde bootstrap yönteminin kullanılmasıdır. Finney ve DiStefano (2006) ise, değişkenlerin normal dağılımdan sapma düzeylerinin yüksek olmaması durumunda en çok olabilirlik ya da Satorra-Bentler düzeltmeli En Çok Olabilirlik (SB-EÇO) tahminleme yönteminin kullanılmasını; normallikten aşırı sapma durumunda ise (çarpıklık>2, basıklık>7) SB-EÇO ya da bootstrap tahminleme yöntemlerinin kullanılmasını önermektedirler. Bu kapsamda Brown (2015) ise normalliğin sağlanmaması durumunda mlm (SB-EÇO) ya da mlr (Yuan-Bentler EÇO) kestirim yöntemlerinin kullanılabileceğini belirtmektedir. Bu kapsamda, kullanılabilecek kestirim yönteminin lavaan içinde de yer alan ml ya da normalliğin sağlanmaması durumunda mlr olarak ele alınabileceği belirtilebilir. Bu konudaki kısa bir tartışma için Brown (2015, s.64-65) incelenebilir.
3.4 Referans Değişkenler
Doğrulayıcı Faktör Analizi’nde faktörün ölçek biriminin tanımlanması için iki farklı yöntem bulunmaktadır. Bunlardan ilki her faktörde, faktör yüklerinden birinin 1 değerine; ikincisi ise faktör varyansının 1’e eşitlenmesini gerekmektedir. Faktör yüklerinden birinin 1’e eşitlenmesi durumunda bu değişken referans değişken (reference/marker indicator) adını alır. Referans değişkenlerin gruplar arasında değişmez olması ya da bir diğer deyişle, en az düzeyde değişen değişken olması gerekir. Çünkü ölçme değişmezliği incelemelerinde genellikle bir varsayım olarak kabul edilen bu durumun ihlal edilmesi durumunda, gruplar arasında değişmez olmayan maddelerin belirlenmesi güçleşmektedir (French ve Finch, 2008). Referans değişkenlerin değişmezliğini test etmek için Wang ve Wang (2012) bir yöntem tanımlamaktadır. Bu yönteme göre, yalnızca referans değişken olarak seçilen değişkenlerin faktör yükleri gruplar arasında sabitlenerek ve serbest kestirilerek, iki kestirim ile elde edilen \(X\)2 farkları incelenmektedir. Bu analizler her gösterge için yapılarak, en küçük düzeyde \(X\)2 farklarına sahip olan gösterge referans değişken olarak kullanılmaktadır. Bu yöntem birçok analiz yapmayı gerektirmektedir. Burada bütün değişkenlerin referans değişken olarak tanımlanabillmesi, örneğin 20 maddelik bir ölçekten elde edilen puanlar incelenirken oldukça fazla sayıda analiz yapmayı gerektirebilir. Yazarlar tarafından bilindiği üzere bu süreci otomatik olarak yürüten bir fonksiyon bulunmamaktadır. Bu yüzden, bu aşama için tavsiye edilen durum, her grup için ayrı yapılacak analizlerde en yüksek faktör yüküne sahip değişkenlerden başlayarak, referans değişkenler için yeterli düzeyde değişmezliğin sağlanması ve analizlere belirlenen bu referans değişkenler ile devam edilmesi olacaktır. Yürütülen bu tartışmalardan sonra bir ÇGDFA ile ölçme değişmezliği uygulamasına yer verilmektedir.