Bölüm 4 Otomatik Madde Üretim Yöntemleri

Otomatik madde üretiminin tarihçesi incelendiğinde madde üretiminin öncelikle madde kabuğu ile başladığı, ardından madde modelleriyle devam ederek bilişsel modellerle bütünleştiği bir sürece dönüştüğü görülür. Günümüzce otomatik madde üretimi, NLP ve yapay zekâ teknolojileriyle birlikte form değiştirirek yeni bir yaklaşımla da devam etmektedir. Bu doğrultuda da OMÜ yöntemleri temele aldıkları yaklaşım doğrultusunda genel olarak iki şekilde sınıflandırılır: model tabanlı (template-based) ve model tabanlı olmayan (non-template-based) OMÜ yöntemleri. Her iki yöntemin de kendi içinde avantajları ve dezavantajları bulunmaktadır. Bu nedenle OMÜ sürecinde her iki yöntemi de birleştiren -model tabanlı ve model tabanlı olmayan yaklaşımları bir araya getiren- yöntemler de kullanılmaktadır.

4.1 Model Tabanlı Otomatik Madde Üretim Yöntemi

Otomatik madde üretim fikrinin ortaya çıkışından beri gelişmiş model tabanlı otomatik madde üretim yönteminde üretimler modeller aracılığıyla sağlanır. Bu modeller öncelikle bilişsel, daha sonra da madde modelinin geliştirilmesi sürecini kapsar. Model tabanlı otomatik madde üretim yönteminde öncelikle üretilecek maddenin özellikleri tanımlanır. Örneğin çoktan seçmeli bir madde türünün üç temel bölümü vardır: madde gövdesi, soru cümlesi ve seçenekler. Doğru-yanlış madde türü için bu madde ifadesi ile D-Y seçenekleri olacaktır. Üretilecek madde türüne karar verdikten ve maddenin bölümleri incelendikten sonra maddenin ölçmek istediği özelliğe odaklanılır. Maddenin çözümü için gerekli tüm bilgi, beceri ve içerikler tanımlanır. Daha sonra içerikte yer alan temel bileşenler tanımlanır ve yeni maddeler oluşturmak için mantıklı ve makul bir şekilde manipüle edilerek yeni maddeler üretilir. OMÜ’nün gelişim sürecinde de söz edildiği gibi ilk gelişim sürecinde önerilen ilk modeller çok basit düzeyde ve birbirine çok benzer maddeler üretmiştir (Bejar, 2002; Haladyna, 1995). Gierl ve Lai (2013) daha sistemli ve karmaşık maddelerin üretebileceği model yaklaşımını önermiştir. Bu yaklaşım; bilişsel modelin ve madde modelinin ayrı bir şekilde geliştirilmesine dayanır. Önce içerikler tanımlarak bilişsel model oluşturulur ve bu bilişsel modele karşılık gelen bir madde modeli geliştirilir. Buradaki madde modeli, OMÜ’nün ilk örneklerindeki madde kabuğu ya da madde şablonlarının karşılığı gibi düşünülebilir. Bilişsel model ve madde modeli geliştirildikten sonra da bilişsel modelde tanımlanan özellikler, madde modeline yerleştilir. Bu aşamada hatalı madde üretmemek, ölçeklenebilir ve kalibrasyonu sağlanmış maddeler üretebilmek için de madde modelindeki kombinasyonlar kısıtlamalarla bir araya getirilir ve otomatik madde üretimi gerçekleştirilir.

Model tabanlı otomatik madde üretimi ile farklı madde türlerinde ve alanlarda madde üretimi gerçekleştirilebilir. Örneğin tıp (Falcão vd., 2022; Gierl ve Lai, 2012) ve diş hekimliği (Lai ve diğerleri, 2016) gibi sağlık alanlarında model tabanlı OMÜ’ye dayalı olarak üretim yapıldığı görülmektedir. Ayrıca matematik (Adji vd., 2018; Embretson & Kingston, 2018), fizik (Gierl & Haladyna, 2015), kimya (Gierl ve diğerleri, 2008), biyoloji (Timm ve diğerleri, 2020), edebiyat (Sayin ve Gierl, 2023) alanlarında model tabanlı OMÜ yöntemi kullanılarak madde üretimleri gerçekleştirilmiştir. Bununla birlikte sözel ifade içermeyen görsel akıl yürütme maddelerinin de model tabanlı OMÜ ile üretilebildiği görülmektedir (Gierl & Lai, 2015; Ryoo ve diğerleri, 2022; Sayın ve diğerleri, 2023). Benzer şekilde Türk dilindeki ilk çalışmalarda da model tabanlı yönteme göre üretimler gerçekleştirilmiştir (Sayin & Gierl, 2023a, Sayin & Gierl, 2023b).

Model tabanlı otomatik madde üretimi, madde üretiminde bilişsel ve madde modellerinin geliştirilmesi aşamalarından sonra gerçekleştirilir. Oluşturulan modeller, üretilen maddelerin güçlü bir teorik ve mantıksal arka plana sahip olmasını sağlar. Doğru cevap ve çeldiricilerin de modeller aracılığıyla üretildiği bu süreç sonrunda sınava katılan kişilerin maddelere verdikleri cevaplar doğrultusunda kavram yanılgıları ve eksikleri sistematik bir şekilde belirlenebilir; bu sayede etkili bir geri bildirim sistemi de oluşturulabilir. Ayrıca, model tabanlı modeller tek tek madde üretmek yerine madde-modelleri geliştirmeye odaklandığı için oluşturma süreci zaman ve maliyet açısından oldukça verimlidir. Günümüzde hâlâ yaygın olarak kullanılmasına karşın model tabanlı OMÜ’nün bazı sınırlılıkları bulunmaktadır. Örneğin model tabanlı OMÜ’nün ilk iki aşamasını oluşturan bilişsel ve madde modelleri uzmanlar tarafından geliştirilir. Bu nedenle sürecin başarısı büyük ölçüde uzmanın deneyimi ile ilişkilidir. Bu süreçte madde yazarından model geliştirici rolüne geçiş yapan uzmanlara eğitim verilmesi gerekir. Bu da bir maliyet gerektirir. Model tabanlı OMÜ, içeriğin özelliklere dayandığı maddelerde oldukça verimli sonuçlar verirken içeriğin yapısal olduğu durumlarda uzmanlar model oluştururken zorlanabilmektedir. Esasında bu sorun, geleneksel madde yazımı için de geçerlidir, üst düzey düşünme becerilerini ölçen madde oluşturmak kolay bir iş değildir. Otomatik madde üretiminde de madde çözümü için gerekli içerikler arasında derin anlamsal bağlantılar var ise uzmanların bilişsel modeli oluşturması oldukça zordur. Bu sorunla baş edebilmek için de model tabanlı ve model tabanlı olmayan yaklaşımları bir araya getiren yöntemler geliştirilmektedir (Sayın & Gierl, 2024; Shin & Gierl, 2022). Bu sayede modeller; uzmanlar ve NLP ve LLM gibi algoritmalarla bir arada geliştirilmektedir. Kısacası farklı alanlarda, çeşitli madde türlerinde ve dillerde hâlâ yaygın kullanım alanı bulan model tabanlı otomatik madde üretimine dayalı uygulamalar yapacak araştırmacıların ilgili potansiyel üstünlükleri ve sınırlılıkları göz önünde bulundurması önerilir.

4.2 Model Tabanlı Olmayan Otomatik Madde Üretimi

Model tabanlı otomatik madde üretimi, geleneksel madde yazımına kıyasla tartışılmaz avantajları olsa da özellikle bilişsel olmayan madde envanterlerinin (örneğin kişilik anketlerinin) oluşturulması gibi özelliklerin ölçülmesinde sınırlı çözümler üretmektedir. Örneğin model tabanlı OMÜ yaklaşımı ile eğitimde ve psikolojide sıklıkla kullanılan ölçekler için maddeler üretmek oldukça güçtür çünkü ölçekte yer alan ifadedeki her bir kelime önemlidir. Dolayısıyla bir ölçek maddesindeki herhangi bir kelimenin yerine kullanılabilecek anlamlı alternatif kelime kümesi oldukça sınırlıdır. Eş anlamlı veya yakın anlamlı kelimelerin kullanılması da büyük olasılıkla maddeyi önemsiz hâle getirecek ve bu durum, ölçeğin açıkladığı varyansı doğrudan etkileyecektir. Bu nedenle söz konusu maddelerin üretimi için model tabanlı olmayan otomatik madde üretim yöntemleri geliştirilmiştir.

Model tabanlı olmayan otomatik madde üretimi, maddelerin önceden tanımlanmış bir şablona dayanmadan üretilmesi sürecidir. Bu yöntemde maddenin üretilmesi için gereken madde bileşenleri; modellerden ve dolayısıyla da uzmanlardan bağımsız olarak tanımlanır. Bu yaklaşım, belirli öğrenme hedefine ve istenen bilişsel düzeyde madde üretmek için hesaplamalı algoritmalar ve teknikler kullanır. Derin öğrenme ve doğal dil işleme (NLP) alanındaki gelişmelerin otomatik madde üretimine entegre edilmesiyle özellikle model tabanlı OMÜ’nün bir sınırlılığını oluşturan kişilik testleri gibi psikolojik test maddeleri üretilmeye başlanmıştır. Bu alandaki ilk çalışmalardan birini gerçekleştiren von Davier (2018), uzun kısa süreli bellek ağı olarak bilinen bir tür tekrarlayan sinir ağını, bir dizi yerleşik kişilik ifadesi üzerinde eğiterek kişilik maddelerinin oluşturulabileceğini göstermiştir. von Davier’in modeli, söz dizimsel olarak anketlerde yer alan ifadelere benzer ifadeler içeren maddeler üretmiş ancak belirli bir yapıya özgü maddelerin oluşturulmasına izin vermemiştir. İlk denemelerin sonuçları sınırlı olsa da bu alandaki gelişmeler için öncü niteliği taşımıştır. von Davier (2018) ile başlayan süreç sonunda söz dizimsel tabanlının yanı sıra; anlamsal tabanlı, dil bilimsel kural tabanlı, dizi sinir sistemi tabanlı vb birçok model tabanlı olmayan otomatik madde üretim yaklaşımlarının gelişmesine öncülük etmiştir. Model tabanlı olmayan otomatik madde üretiminde her bir yaklaşımda temele alınan özellikler farklılık gösterse de ulaşılması gereken nihai amaç aynıdır. Örneğin söz dizimsel tabanlı yaklaşımda doğal bir dildeki sözcük dizilerinin dağılımının göze çarpan istatistiksel özelliklerini yakalayan ve tipik olarak önceki sözcükler göz önüne alındığında bir sonraki sözcüğün olasılıksal tahminlerini yapmaya olanak tanıyan bir algoritma geliştirilir. Anlamsal tabanlı yaklaşımda ise metnin anlamsal özünü yakalayan, anlamı güçlü bir şekilde temsil eden başka metinler üretilmesine yönelik algoritmalar geliştirilir. Benzer şekilde dizi sinir sistemi ve dil bilimsel kural yaklaşımında da geliştirilen algoritmalar doğrultusunda metin ve daha sonra da madde geliştirilmeye odaklanılır. Söz konusu algoritmaların geliştirilme sürecinde doğal dil işleme tekniklerinden yararlanılır. Ayrıca yapay zekânın otomatik madde üretimine entegre edilmesiyle tüm bu süreçlerde büyük dil modellerinden de yararlanılmaya başlanmış, özellikle okuduğunu anlama sorularında okuma metninin üretilmesi sürecinde umut vaad edici sonuçlar ortaya konmaya başlanmıştır.

Model tabanlı olmayan otomatik madde üretimi yönteminin birçok avantajı vardır. İlk olarak madde üretim süreci için gereken zaman ve çabadan tasarruf edilmesini sağlar. Ayrıca madde üretimi için gerekli model, doğal dil işleme gibi teknikler yardımıyla oluşturulur ve uzmanlar süreçte aktif bir rol oynamaz. Bu durum da sürecin tam olarak otomatikleşmesini ve aynı anda çok fazla madde üretilmesini sağlar. Bununla birlikte model tabanlı olmayan otomatik madde üretimi yönteminin bazı sınırlılıkları bulunmaktadır. Özellikle madde üretim sürecinde henüz model tabanlı OMÜ kadar başarılı sonuçlar elde edilmiş değildir. İnsana olan bağlılığı azaltması nedeniyle kullanılsa da üretilen maddelerin dil bilgisel hatalar içermesi, ölçeklenebilir özellikte olmaması nedeniyle model tabanlı yaklaşıma göre daha fazla revizyon -insan gücü- gerektirir. Bununla birlikte model tabanlı yaklaşıma göre çok kısa bir geçmişi olan bu yaklaşımdaki dezavantajların da kısa sürede giderileceği ve yakın zamanda çok daha verimli sonuçlar üreteceği öngörülebilir.

4.3 Köprü Yaklaşımına Dayalı Otomatik Madde Üretim Yöntemi

Model tabanlı otomatik madde üretimi, bilişsel ve madde modellerinin geliştirilmesini içeren aşamalardan sonra gerçekleşir. Bu modeller, üretilen maddelerin güçlü bir teorik temele sahip olmasını sağlar ve doğru cevaplar ile çeldiricileri modeller aracılığıyla üretir. Sınav katılımcılarının verdiği cevaplar üzerinden kavram yanılgıları ve eksiklikleri sistemli bir şekilde belirlenerek etkili bir geri bildirim sistemi oluşturulabilir. Model tabanlı yaklaşım, madde-modelleri geliştirmeye odaklandığı için zaman ve maliyet açısından oldukça verimlidir. Ancak bilişsel özellikleri ölçmek için geliştirilen maddeleri üretmek için daha uygundur, Madde çözümü için gerekli içerikler arasında derin anlamsal bağlantılar var ise uzmanların bilişsel modeli oluşturması oldukça zor olabilir ve uzmanlara eğitim verme süreci uzun ve maliyetli olabilir. Model tabanlı olmayan otomatik madde üretimi ise önceden tanımlanmış bir şablona dayanmayan bir süreci ifade eder. Bu yöntemde madde bileşenleri modellerden ve uzmanlardan bağımsız olarak tanımlanır. Bu sayede uzmanlara olan bağımlılığı azaltır ve maddelerdeki öznelliği giderebilir. Psikolojik testler gibi kişilik testlerinde kullanılmaya başlanmış olsa da günümüzde farklı alanlarda uygulama örneklerine rastlanılabilir. Ancak model tabanlı yaklaşıma göre daha fazla hata içeren maddeler ürettiği için denetim süreci uzundur. Üretilen maddeler ölçeklenebilir özellikte olmayabilir, saha uygulamalarındaki madde kalitesi model tabanlı yaklaşım kadar iyi değildir. Ayrıca bilgisayar algoritmalarını geliştirmek ve farklı dillerde uygulamak zordur. Buradan da anlaşılacağı gibi her bir OMÜ yönteminin üstün yönleri olduğu gibi sınırlılıkları da mecvuttur. Bu nedenle alan yazında model tabanlı OMÜ ile model tabanlı olmayan OMÜ arasında köprü görevi gören bir yaklaşım da bulunmaktadır (Shin & Gierl, 2022; Sayın & Gierl, 2024). Köprü görevi gören bu yaklaşım, her iki yöntemi birleştiren, model tabanlı ve model tabanlı olmayan yaklaşımları entegre eden bir yöntem olarak kullanılmaktadır.