Bölüm 2 Otomatik Madde Üretimine İlişkin Genel Bilgiler

Eğitimde ve psikolojide genellikle kişilik, ilgi, zekâ, yetenek, akademik başarı gibi özellikler, ölçmeye konu edilir. Bu özellikler doğrudan gözlemlenemediği için özelliğin işaretçisi olan davranışların gözlemlemlenerek açığa çıkarılması gerekir. Bu açığa çıkarma sürecinde objektifliği sağlamak için de ölçme araçlarından yararlanılır. Eğitim ve psikolojide kullanılan ölçme araçları genellikle “test” olarak ifade edilir ve kullanılan test ne kadar doğru sonuç üretirse bireyler hakkında o derece doğru kararlar verilebilir. Bu nedenle de test puanlarına ilişkin yorumlar için geçerlik ve güvenirlik kanıtları toplanır. Bir test puanının yorumunun geçerliği, birçok faktöre bağlı olsa da testi oluşturan maddelerin psikometrik özellikleri bu konuda temel belirleyicidir. Bu nedenle nitelikli test maddelerinin tasarlanması ve geliştirilmesi, eğitim ve psikoloji alanının temel hedeflerden birini oluşturur. Test maddelerinin psikometrik özelliklerini belirleyen çalışmalarla, test maddelerinin yazılma sürecine ilişkin oluşturulan kriter ve rehber çalışmalarıyla testlerde yer alan madde niteliklerinin artırılması ve geniş madde havuzlarının oluşturulması amaçlanır. Özellikle bilgisayar tabanlı test uygulamaları, izleme ve biçimlendirmeye dayalı ölçme ve değerlendirmelerin önem kazanması, bireye uyarlanmış test uygulamaları gibi gelişmeler, geniş bir madde havuzuna duyulan ihtiyacı artırmıştır. Ayrıca sınıf ortamında öğrencinin bireysel farklılıklarının ön plana alındığı, akademik başarı yanında öğrenci motivasyonunun artırıldığı, grup çalışmasının ve iletişimin desteklendiği bir ölçme ve değerlendirme sistemi için de geniş bir madde havuzu gereklidir. Ancak istenilen nitelikte madde yazımı oldukça maliyetli ve zaman alıcı bir süreci gerektirir. Bununla beraber madde yazarlarının (test geliştiriciler, akademisyenler, öğretmenler vb.) madde geliştirme sürecinde oldukça zorlandıkları göz önüne alındığında geniş madde havuzları oluşturmanın oldukça zahmetli, zaman alıcı ve maliyetli bir süreç gerektirdiği görülmektedir.

Geleneksel madde yazma sürecinde her madde benzersizdir ve bu nedenle her madde ayrı ayrı yazılmalı, düzenlenmeli ve gözden geçirilmelidir. Örneğin bir sınav için 500 maddeden oluşan bir madde havuzu gerekiyorsa eğitim materyallerinde ve madde yazma yönergelerinde açıklanan uygun kalite standartlarını karşıladığından emin olmak için 500 madde tek tek yazılmalı, düzenlenmeli ve yenilenmelidir. Ayrıca bu süreç, öznel bir uygulama olarak kabul edilir çünkü konu uzmanları her maddeyi öznel görüşleri, uzmanlıkları ve deneyimleri ile tasarladığından geleneksel yaklaşımda maddelerin kalitesi ve ölçme amaçlarına uygunluğu tamamen uzmanların deneyimine bağlıdır. Bir diğer sorun ise geleneksel yaklaşım ile üretilen madde içeriklerinin sabit olmasıdır. Oysa günümüz çağında bilgi sürekli değişir ve güncellenir, bu durum da maddelerde düzenleme yapılmasını gerektirir. İçerik değiştiğinde daha önce geliştirilmiş maddeler değişiklik yapılmadan kullanılamaz. Bu nedenle genellikle maddelerin yeniden yazılması yoluna gidilir ve önceki maddeler havuzdan çıkarılır. Bu da yeni bir iş yükünü beraberinde getirir. Teknolojinin hızla geliştiği günümüz dünyasında test geliştirme sürecinde yaşanan bu sorunlarla başa çıkabilmek için madde yazım ve test geliştirme sürecinde teknolojik yeniliklerden yararlanılması gerektiği belirtilmiş; bilgisayar tabanlı test sistemlerinin testlerin içeriğine, uygulama ortamlarına ve değerlendirme yöntemlerine getirdiği yeniliklerden yararlanılması gerektiği düşüncesi hız kazanmıştır. Bu yeniliklerden biri olan otomatik madde üretimi (OMÜ), test geliştirmede uzman ve bilgisayar teknolojisini bir araya getirmeyi başarmıştır. Bu kitapta kısa bir geçmişe sahip olmasına rağmen yenilikçi ve dikkate değer sonuçlar üreten OMÜ ile ilgili genel bilgilere, tarihçesine, yöntemlerine, aşamalarına ve uygulama örneklerine ilişkin bilgilere yer verilmiştir.

2.1 Otomatik Madde Üretimi

Otomatik madde üretimi (OMÜ), madde geliştirme sürecini ölçeklendirmek için tasarlanmış teknoloji tabanlı yenilikçi bir test geliştirme yöntemidir. Bilgisayar teknolojisini kullanarak test maddeleri oluşturmak için insan ya da bilgisayar algoritmaları tarafından oluşturulmuş modellerin kullanılması sürecidir. Ortaya çıkışı model tabanlı modellere dayandığı için otomatik madde üretiminin genel olarak; “alan uzmanlığı ile bilgisayar teknolojisinin bir araya getirilerek maddelerin otomatik olarak üretilmesi” olarak tanımlandığı görülür. Bununla beraber son yaklaşımlarla bilgisayar algoritmaları ile madde yazım süreci olarak da nitelendirilebilir. Ancak her iki yöntemde de insan uzmanlar süreçte önemli roller edinir. Yapılan çalışmalar sonucunda; diş hekimliği, matematik, okuduğunu anlama, fizik, biyoloji gibi farklı alanlardaki bilgi ve becerilerin ölçümü, yetenek testi ve çok dilli değerlendirmeler dâhil olmak üzere çeşitli alanlarda çok sayıda test maddesi verimli bir şekilde üretilebilmiştir. Bu süreçte bilgisayar teknolojisinden ve alan uzmanlığından yararlanıldığı için otomatik madde üretimi, madde geliştirmeye yönelik arttırılmış zekâ yaklaşımı olarak adlandırılabilir. Artırılmış zekâ, insan ve makine arasındaki etkileşimi geliştirmeyi amaçlayan bir yaklaşımdır. Otomatik madde üretimi de insanın yaratıcılık, karmaşıklık ve esneklik karakteristik özellikleriyle bilgisayarların normalleştirme, tekrarlanabilirlik ve mantıksallık karakteristik özelliklerini birleştirir.

Otomatik madde üretimi yönteminin gelişmesi ve kullanım alanının yaygınlaşmasında test geliştirme sürecine sağladığı avantajlar etkili olmuştur. Bu avantajlar temel olarak şu şekilde sıralanabilir: i) Madde üretimi için gerekli zamanı kısaltması, ii) madde üretim maliyetini azaltması, iii) büyük test bankaları oluşturmak için sürekli ve hızlı madde geliştirme desteği sağlaması, iv) eş değer ve farklı güçlükte ölçeklenebilir maddeler üretmesi, v) madde havuzlarında otomatik güncelleme yapması, vi) maddeleri özelleştirilmiş ölçüm ve öğrenme ihtiyaçlarına göre uyarlayarak verimli öğrenme ortamları oluşturması, vii) etkili bir geri bildirim sistemine olanak sağlaması, viii) madde havuzu güvenliğini sağlaması.

Otomatik madde üretimiyle ilgili sıralanan avantajların daha iyi anlaşılabilmesi için geleneksel yöntemle karşılaştırılması verimli olacaktır. Geleneksel yöntemde yazılan her madde, uzmanların bakış açısıyla şekillendiği için benzersizdir. Bir madde, o maddeyi oluşturan içerik uzmanlarının bilgi, beceri ve yetkinliklerinin ifadesi olarak görülür. Bu süreç her ne kadar yaratıcılığın ön planda olduğunu gösterse de maddelere karışan öznellik söz konusudur. Otomatik madde üretiminin kurucusu da sayılan Bormuth, 1969 yılında madde geliştirme sürecinin otomatikleştirilmesini önermiştir. Bu öneri sonrasında hız kazanan çalışmaları ve yaklaşımlarıyla günümüzde OMÜ yöntemiyle madde üretimi, belirli standartlara ve kriter setine dayandırılarak oluşturulur. Bu standartlar genellikle belirli bir öğrenme hedefi veya değerlendirme kriterlerini içerir. Bu da sadece sürecin otomatik olmasını sağlamaz, aynı zamanda ölçeklenebilir bir madde geliştirme yaklaşımı sağlar. Böylece Bormuth’un öngördüğü şekilde aynı içeriği kullanan iki farklı uzman, benzer psikometrik özelliklere sahip maddeler üretebilir. Otomatik madde üretimi ile günümüzde gelişmiş üretim standartları ve işlemleri takip edilerek eş değer ve/veya farklı güçlükte ölçeklenebilir maddeler üretilebilir. Maddelerin standartlaşması, adil değerlendirme ortamları oluşturarak ön güvenirlik ve geçerlik uygulamaları için kanıt sağlar. Böylece farklı yetenek düzeylerindeki öğrencileri ölçmek için tasarlanan büyük ölçekli sınavlar veya ulusal değerlendirme araçlarının daha tutarlı sonuçlar üretmesine olanak tanır.

Test geliştirmenin tarihsel süreci incelendiğinde madde yazımı, her zaman test geliştirmenin en pahalı ve zaman alan yönünü oluşturmuştur. Geleneksel madde yazma süreci; her maddenin tek tek yazılmasını, yazılan maddelerin uzmanlar tarafından gözden geçirilmesini ve maddelerin uzman görüşleri doğrultusunda yeniden düzenlenmesini içeren yinelemeli bir işlem ağını gerektirir. Öte yandan geleneksel yaklaşımda madde ihtiyacı arttıkça gerekli uzman sayısı da buna bağlı artmaktadır. Örneğin herhangi bir branşta 50 madde hazırlamak için iki uzman yeterliyken 500 madde hazırlamak için uzmanlardan oluşan bir panel kurmak gerekebilir. Geleneksel yöntemle büyük test bankaları yaratmak istediğimizde uzman ihtiyacının artması daha fazla insanın emek harcamasını gerektirirken maliyeti de artırır. Anlaşılacağı gibi geleneksel yaklaşım geniş madde havuzu ihtiyacını karşılamak için pahalı, zaman alıcı ve çok fazla emek gerektirir. Otomatik madde üretimi, test geliştirme sürecine sunduğu pek çok faydanın yanında temelde bu pahalılığın üstesinden gelmeyi amaçlamaktadır. Kosh vd. (2019), otomatik madde üretimi ile geleneksel yöntemi maliyet-fayda analizi açısından kıyasladıkları çalışmalarında 250 ve daha fazla maddeye ihtiyaç duyulduğunda otomatik madde üretiminin maliyet açısından daha avantajlı olduğunu ortaya koymuştur.

Geleneksel yaklaşım ile oluşturulan maddelerin içerik açısından sabitliği, zamanla değişen bilgi dinamikleri karşısında ortaya çıkan bir diğer sorundur. Geleneksel yaklaşımda üretilen maddeler, geliştirildiği zamana ait bilgileri kullandığı için döneme özgüdür. Bu durum, bilginin sürekli değiştiği günümüzde test geliştirme sürecini kısıtlayan bir faktör olarak karşımıza çıkmaktadır. Eski bilgilerle oluşturulan maddelerde değişiklik yaparak bu maddeleri tekrar kullanmak çok zordur ve genellikle süreç, maddelerin yeniden yazılmasını gerektirir. Oysaki çağımızda bilgi sürekli değişim göstermekte ve bu da test geliştiricileri, gerektiğinde güncellemeler yapabilecekleri daha esnek yaklaşımlara yönlendirmektedir. Otomatik madde üretimi yönteminde, yeni bilgiler ve öğrenme hedefleri ortaya çıktığında madde havuzunda kısa sürede güncelleme yapılabilir. Çünkü geleneksel yaklaşımla maddeler, madde düzeyinde yönetilirken otomatik madde üretiminde model düzeyinde yönetilir. Bu doğrultuda da maddelerin üretilmesine kaynaklık eden modeller ve algoritmalar güncellenerek buna dayalı gerçekleştirilen maddeler de hızlı bir şekilde güncellenebilir. Böylece otomatik madde üretimi ile geliştirilen testler, güncel bilgileri ve öğrenme hedeflerini yansıtan testler içine yerleştirilebilir. Otomatik madde üretimi sonucunda oluşturulan geniş madde havuzlarının yönetimi ve kullanım alanları -bu kitap kapsamında ele alınmamış olsa da-, yeniliğin ortaya çıkmasında ve sonuçlarının değerlendirilmesinin anahtarı rolündedir.

Kısacası otomatik madde üretimi, öngörülebilir zorluk seviyelerine sahip çok sayıda test maddesinin geliştirilmesine olanak tanıdığı için testlerin verimliliğini ve yapı geçerliliğini artırma potansiyeline sahiptir. Ayrıca bilgisayar algoritmaları veya modeller kullanılarak madde oluşturulmasını sağlayarak geleneksel madde yazımı için gereken zaman ve kaynakları azaltabilir. Ayrıca çok dilli test maddelerinin geliştirilmesine yönelik uygulamalarla aynı anda farklı dillerde üretim gerçekleştirebilir. Ancak sağladığı bu avantajlara rağmen otomatik madde üretimi bazı zorlukları da beraberinde getirmektedir. Otomatik madde üretimine dayalı maddelerin kalitesinde yönelik saha çalışmaları yapılmış olsa da bu konuda henüz kesin bir bilgieye ulaşılmış değildir. Model tabanlı yaklaşımında modellerin geliştirilmesi için uzmanların bu konuda eğitim alması ve model oluşturulması karmaşık ve zor bir süreci ifade eder. Benzer durum model tabanlı olmayan yaklaşımlarda bilgisayar algoritmalarının oluşturulması ve eğitilmesi için geçerlidir. Bu nedenle de henüz ortaya konmuş en iyi yöntem bulunmamaktadır. Ayrıca otomatik madde üretimine dayalı olarak üretilen maddelerin yönetimi de bir zorluğu beraberinde getirmektedir. Madde havuzunun ve test güvenliğini sağlamak için ek önlemler alınması gerekir. Benzerliği çok yüksek olan üretilen maddelerin seçim süreci için yeni bir yaklaşım ortaya konmasına ihtiyaç duyulur. Bilgisayar algoritmalarının eğitim süreci, insan uzmanlar tarafından gerçekleştirildiği için insanlar tarafından sunulan mevcut bilgiye yönelik üretimler gerçekleştirilir. Bu nedenle üretilen maddeler, insan uzmanların sağlayabileceği orijinallik ve yenilikçi madde formatları açısından sınırlı olabilir. Günümüzde hâlen belli bir grup tarafından eğitim ortamında yapay zekâ kullanımına yönelik endişeler bulunmaktadır. Bu endişeler de otomatik madde üretimi yöntemine olan yaklaşımı olumsuz etkileyebilir. otomatik madde üretim yöntemlerinin doğru bir şekilde kullanılmaması, 1970’li yıllardaki yaklaşıma dayalı üretimler gerçekleştirilmesi, kalibrasyon çalışmaları yapılmadan klonlanmış maddeler üretilmesi, madde havuzunun yönetilememesi gibi araştırmacılardan kaynaklı durumlar da yöntemin yanlış anlaşılmasına ve değersizleşmesine neden olmaktadır. Bu nedenle otomatik madde üretimi teknolojisini kullanırken avantajlarının yanı sıra potansiyel dezavantajlarının da farkında olmak ve bunları minimize etmek için önlemler alarak süreci yönetmek önemli görülmektedir.