Bölüm 8 Çok Boyutlu Madde Tepki Kuramına Giriş

Dr. Sebahat Gören

Madde tepki kuramı (MTK) modellerinin önemli varsayımlarından biri tek boyutluluktur. Tek boyutlu testlerde, tek bir gizil özellik ya da yapı ölçülür ve bireyin yeteneği tek bir yetenek (\(\theta\)) parametresiyle tanımlanır. Eğer bir testte yer alan maddeler birden fazla gizil özelliği ya da yapıyı ölçüyorsa o test çok boyutludur. Bu durumda testte yer alan maddeleri, tek boyutlu MTK modelleri kullanarak analiz etmek doğru olmayacaktır.

Eğitim ve psikolojide testler, genellikle birden fazla boyutu ölçme eğiliminde olduğundan çok boyutlu MTK (ÇBMTK) modelleriyle ölçme ve değerlendirmede daha etkili sonuçlar elde edilebilmektedir. Çünkü bu modellerde bireyin maddeyi doğru yanıtlama olasılığı tek bir gizil özelliğin fonksiyonu değildir. ÇBMTK, test içinde yer alan tüm maddelerin boyutları ile bireylerin bu boyutlardaki performanslarının etkileşimine dayanır. Daha açık bir ifadeyle ÇBMTK, bireyin çok boyutlu uzaydaki yeri ile o bireyin herhangi bir maddeyi doğru yanıtlama olasılığı arasındaki ilişkiyi tanımlayan matematiksel bir modele dayanır (Reckase, 2009).

Çeşitli sınıflandırmalar içeren ÇBMTK modelleri, temelde her boyut için kestirilen yetenek (\(\theta\)) değerlerinin birleştirilme yöntemlerine göre telafi edici (compensatory) ve telafi edici olmayan (noncompensatory) modeller olmak üzere ikiye ayrılır (Sijtsma ve Junker, 2006). Telafi edici modeller, bireyin bir boyuttaki düşük yeteneği diğer boyuttaki yüksek yeteneği tarafından telafi edilerek bireyin farklı yeteneklerini daha bütünsel bir şekilde değerlendirme olanağı tanır. Telafi edici olmayan modeller ise her bir gizil yeteneği bağımsız bir şekilde inceleyerek her boyutu ayrı olarak değerlendirir. ÇBMTK sınıflandırması, kestirilen yetenek değerlerinin birleştirilme yöntemleri dışında madde düzeyinde boyutluluğa göre de maddeler-arası boyutluluk (between-item dimensionality) ve madde-içi boyutluluk (within-item dimensionality) olmak üzere ikiye ayrılır (W. C. Wang, Chen ve Cheng, 2004). Bir test maddeler arası çok boyutluluğa sahip ise o testte yer alan maddelerin her biri tek bir boyutu ölçer. Örneğin iki boyutlu maddeler arası boyutluluğa sahip bir testte, maddelerin bir kısmı sadece F1 boyutunu ölçerken bir kısmı da F2 boyutunu ölçer. Ayrıca bu yapıda yer alan boyutların ilişkili olduğu varsayılır. Eğer bir testte birden fazla boyutu ölçen madde ya da maddeler varsa o test madde-içi çok boyutluluk yapısına sahiptir. İki farklı boyutu ölçen bir test için madde düzeyinde boyutluluk modellerinden maddeler-arası ve madde-içi boyutluluk modellerinin diyagramının Şekil 8.1’deki gibi olması beklenir.

Şekil 8.1: Madde Düzeyinde Boyutluluk Örneği

Maddeler arası model (basit yapı) oldukça basittir ve bu modellerde yetenek kolaylıkla yorumlanabilir. Bu modelle kestirilen puanlar, doğrudan ilgili boyuttaki test maddelerindeki performansın ölçüsünü verir. Madde içi model (karmaşık model), farklı yetenek boyutlarının ve farklı görevler arasındaki etkileşimin modellenmesine uygundur ve daha karmaşıktır.

İki kategorili verileri modellemek için Rasch model, bir-parametreli lojistik model (1PLM), iki-parametreli lojistik model (2PLM) ve üç-parametreli lojistik model (3PLM); çok kategorili verileri modellemek için ise kısmi puan modeli (KPM), genelleştirilmiş kısmi puan modeli (GKPM), aşamalı tepki modeli (ATM), dereceleme ölçeği modeli (DÖM) ve sınıflamalı tepki modeli (STM) kullanılır. Çok boyutlu verilerin analizlerinde ise bu iki ve çok kategorili modellerin çok boyutlu versiyonları (ÇB-2PLM, ÇB-KPM gibi) kullanılır.

Bu bölümde özellikle madde takımlarından oluşan testlerin analizlerine odaklanılmış olup her bir madde takımı ayrı bir boyut olarak ele alınmıştır. Fakat madde takımları ile ilgili bilgi ve analizlere geçilmeden önce çok boyutluluk ve ÇBMTK modelleri hakkında genel bilgilere yer verilmiştir, yaygın olarak kullanılan bir ÇBMTK modeline ilişkin örnek bir analiz gerçekleştirilmiştir. ÇBMTK ile ilgili kapsamlı bilgiler elde etmek için bu konuyla ilgili kaynaklar detaylı bir şekilde incelenebilir (Embretson ve Reise, 2000; Reckase, 2009). Örnek teşkil etmesi amacıyla en yaygın kullanılan karmaşık yapıdaki telafi edici çok boyutlu iki parametreli lojistik (2PL) modeline ilişkin temel analizler R paketleri yardımıyla incelenmiştir.

8.1 Çok Boyutlu İki Parametreli Lojistik (2PL) Model

Çok boyutlu 2PL modelinde, tek boyutlu 2PL modelinden farklı olarak çok boyutlu bir testin madde ve yetenek parametreleri hesaplanır. Bir j bireyinin bir i maddesini doğru yanıtlama olasılığının eşitliği Eşitlik (8.1)’de verilmiştir.

\[ P(x_{ji}=1|\theta_j,\alpha_i,b_i)=\frac{\exp(\alpha_i\theta_j'+d_i)}{1+\exp(\alpha_i\theta_j'+d_i)} \tag{8.1} \]

Eşitlikte; \(\theta_j\): j bireyinin yetenek vektörü, \(\alpha_i\): i maddesinin eğim vektörüdür. Bu vektörler, M boyut sayısı olmak üzere 1 x M boyutludur. \(d_i\): i maddesinin kesişim (yer) parametresidir ve bir sayıyı ifade eder. Madde eğim vektörünün uzunluğu, \(A_i\), çok boyutlu madde ayırt ediciliğini verir. Çok boyutlu madde ayırt ediciliği, çok boyutlu bir maddenin genel ayırt edicilik düzeyini temsil eder. \(A_i\) eşitliği Eşitlik (8.2)’de verilmiştir.

\[ A_i=\sqrt{\sum_{m=1}^{M}\alpha_{im}^2} \tag{8.2} \]

\(d_i\) parametresi madde güçlüğü anlamı taşımaz. Bu parametrenin işareti, maddenin göreli güçlüğünü ifade eder. Negatif değerler daha kolay maddeleri temsil ederken pozitif değerler daha zor maddeleri temsil eder. \(d_i\) parametresi, çok boyutlu bir maddenin genel madde güçlüğünü elde etmek için bir dönüşümde kullanılır. Çok boyutlu madde güçlüğü, \(B_i\), \(d_i\) parametresinin çok boyutlu madde ayırt ediciliği ile birlikte ele alınmasıyla hesaplanır. \(B_i\), \(d_i\)’nin negatif değerinin \(A_i\)’ye bölünmesiyle elde edilir. \(B_i\) eşitliği Eşitlik (8.3)’te verilmiştir.

\[ B_i=\frac{-d_i}{\sqrt{\sum_{m=1}^{M}\alpha_{im}^2}} \tag{8.3} \]

Bu bölümde yer alan ÇBMTK modeline ilişkin analizlerde tek boyutlu MTK analizlerinde olduğu gibi mirt paketi (Chalmers, 2012) kullanılmıştır. Paket fonksiyonlarının ÇBMTK modeli analizinde kullanımını göstermek için veriCB.xls veri dosyası kullanılmıştır. Veri seti, 500 bireyin iki kategorili puanlanan beş maddeden oluşan dört madde takımına verdiği yanıtlardan oluşmaktadır. Bu bölümdeki tüm uygulamalarda pratiklik açısından madde takımlarından oluşan bu örnek veri seti kullanılmıştır. Veri setinin R ortamına aktarılması için readxl paketinin aktif hale getirilmesi gerekmektedir. readxl paketindeki read_excel() fonksiyonu kullanılarak veri seti veri nesnesine aktarılmıştır. Veri setinin ilk dört satırı ve ilk dört sütunu yazdırılmıştır.

library(readxl)
veri <- read_excel("import/veriCB.xls")
veri[1:4, 1:4]
#> # A tibble: 4 × 4
#>   Madde_1 Madde_2 Madde_3 Madde_4
#>     <dbl>   <dbl>   <dbl>   <dbl>
#> 1       1       1       1       1
#> 2       1       0       0       1
#> 3       1       0       0       0
#> 4       0       0       1       0

Veri setinin okutulmasının ardından çok boyutlu model aşağıdaki kodla tanımlanmıştır. Veri setinde yer alan maddelerden 1-10 ve 16-20 birinci faktörde (F1’de), 1-5 ve 11-15 ikinci faktörde (F2’de) olacak şekilde model tanımlanmıştır. Paket içerisinde olağan (default) olarak faktörler arası kovaryans 0’a eşitlenmiştir. Dolayısıyla faktörlerin ilişkisiz olduğu varsayılmıştır. Ancak burada F1 ve F2 arasındaki kovaryansı kestirmek için “COV = F1 * F2” komut satırı eklenmiştir. Model tanımlaması için, her boyutun yetenek dağılımının ortalaması ve varyansı sırasıyla 0 ve 1 olarak ayarlanmıştır. Dolayısıyla, buradaki kovaryans iki boyut arasındaki korelasyona eşittir. Tanımlanan model cb2pl_mod nesnesine atanmıştır.

cb2pl_mod <- 'F1=1-10, 16-20
              F2=1-5, 11-15
              COV=F1*F2'

Çok boyutlu 2PL modelin analizi mirt paketindeki mirt() fonksiyonu kullanılarak yapılmıştır. Çok boyutlu 2PL modelin analizinin yapılabilmesi için önce mirt paketinin aktif hale getirilmesi gerekmektedir. Paket aktif hale getirildikten sonra mirt() fonksiyonu aşağıdaki örnek kodla çalıştırılarak çok boyutlu 2PL modelin analizi gerçekleştirilmiştir. mirt() fonksiyonunun data argümanı için analiz edilecek veriadlı veri seti, model argümanı için tanımlanan cb2pl_mod modeli girilmiştir. mirt() fonksiyonunda data ve model argümanlarının yanı sıra itemtype, method ve SE argümanları da kullanılmıştır. Model türünün belirlendiği itemtype argümanı, kestirimlerin çok boyutlu 2PL modele göre gerçekleştirilmesi için 2PL değeriyle kullanılmıştır. Kestirim algoritmasının belirlendiği method argümanı, beklenti maksimizasyon algoritmasına göre kesitirimlerin yapılması için argümanın olağan değeri olan EM değeriyle kullanılmıştır. Boyut sayısı fazla olduğunda beklenti maksimizasyonu algoritması etkili kestirimler yapamayabilir. Bu durumda MHRM gibi farklı kestirim algoritmaları kullanılabilir. Kestirimlere ilişkin standart hataların elde edilmesi için SE argümanı TRUE değeriyle kullanılmıştır.

library(mirt)
cb2pl_uyum <- mirt(data = veri, model = cb2pl_mod,
                   itemtype = "2PL", method = "EM", SE = TRUE)

mirt() fonksiyonunun çalıştırılması sonucunda oluşturulan cb2pl_uyum nesnesi, parametre kestirimleri başta olmak üzere kestirim sürecine ilişkin ek bilgileri içermektedir. coef() fonksiyonuyla cb2pl_uyum nesnesinden parametre kestirimleri aşağıdaki kodla çalıştırılmıştır. coef() fonksiyonunun çalıştırılması sonucunda oluşturulan cb2pl_par nesnesinin items bileşeninden çok boyutlu 2PL modele göre kestirilen madde parametre değerleri elde edilmiştir ve madde parametre değerleri round() fonksiyonuyla binde birler basamağına yuvarlanmıştır.

cb2pl_par <- coef(cb2pl_uyum, simplify = TRUE)
round(cb2pl_par$items, 3)
#>             a1    a2      d g u
#> Madde_1  0.658 0.332  0.068 0 1
#> Madde_2  0.697 0.706 -0.261 0 1
#> Madde_3  1.141 0.643 -0.110 0 1
#> Madde_4  0.577 0.276  0.212 0 1
#> Madde_5  1.058 0.349 -0.363 0 1
#> Madde_6  1.467 0.000 -0.600 0 1
#> Madde_7  1.157 0.000  0.451 0 1
#> Madde_8  0.972 0.000 -0.221 0 1
#> Madde_9  1.213 0.000  0.052 0 1
#> Madde_10 0.998 0.000 -0.291 0 1
#> Madde_11 0.000 1.549  0.589 0 1
#> Madde_12 0.000 1.516 -0.231 0 1
#> Madde_13 0.000 1.084 -0.336 0 1
#> Madde_14 0.000 2.014 -0.438 0 1
#> Madde_15 0.000 1.932 -0.804 0 1
#> Madde_16 1.133 0.000 -0.406 0 1
#> Madde_17 1.292 0.000 -0.815 0 1
#> Madde_18 1.193 0.000 -0.382 0 1
#> Madde_19 1.036 0.000  0.069 0 1
#> Madde_20 1.516 0.000  0.080 0 1

Elde edilen çıktıda tek boyutlu MTK modelinden farklı olarak her madde için bir ayırt edicilik parametresi yerine her madde için her boyuta ilişkin ayırt edicilik parametresi yer almaktadır. Bu modelde boyutları temsilen F1 ve F2 olmak üzere iki faktör bulunduğundan \(a_1\) ve \(a_2\) olmak üzere iki ayırt edicilik parametresi kestirilmiştir. Bazı maddeler sadece tek bir faktörle ilişkili olduğundan bu maddelerin ayırt edicilik parametrelerinden biri sıfırdan farklı bir değerken diğeri sıfırdır. Her madde her iki faktörle de ilişkili ise iki ayırt edicilik parametresi de sıfırdan farklıdır. Örneğin her iki faktörle de ilişkili olan Madde 5’in hem \(a_1\) hem de \(a_2\) için sıfırdan farklı bir madde ayırt edicilik değeri vardır. Sadece F1 faktörüyle ilişkili olan Madde 6’nın ise sadece \(a_1\) için sıfırdan farklı bir madde ayırt edicilik değeri vardır. Çıktıda d kesişim parametresini, g alt asimptot parametresini, u ise üst asimptot parametresini temsil etmektedir. Bu örnek uygulamada ÇB-2PL modeli analiz edildiğinden tüm maddeler için alt asimptot parametresi (g) sıfıra, üst asimptot parametresi (u) ise 1’e sabitlenmiştir. coef() fonksiyonunun simplify argümanı TRUE değeriyle kullanıldığından parametreler liste yerine matris olarak elde edilmiştir.

Çok boyutlu MTK modellerinde belli dönüşümler uygulanarak çok boyutlu ayırt edicilik ve çok boyutlu güçlük parametre kestirimleri elde edilebilir. Bunun için mirt paketindeki MDISC() ve MDIFF() fonksiyonları kullanılmıştır ve elde edilen kestirimler veri çerçevesi olarak cb2pl_maddeler nesnesine atanmıştır. Çok boyutlu madde parametre değerleri round() fonksiyonuyla binde birler basamağına yuvarlanmıştır.

cb2pl_maddeler <- data.frame(MDISC(cb2pl_uyum), MDIFF(cb2pl_uyum))
colnames(cb2pl_maddeler) <- c("CB2PL_A", "CB2PL_B")
round(cb2pl_maddeler, 3)
#>          CB2PL_A CB2PL_B
#> Madde_1    0.737  -0.093
#> Madde_2    0.992   0.263
#> Madde_3    1.309   0.084
#> Madde_4    0.639  -0.331
#> Madde_5    1.114   0.326
#> Madde_6    1.467   0.409
#> Madde_7    1.157  -0.390
#> Madde_8    0.972   0.227
#> Madde_9    1.213  -0.043
#> Madde_10   0.998   0.292
#> Madde_11   1.549  -0.380
#> Madde_12   1.516   0.152
#> Madde_13   1.084   0.310
#> Madde_14   2.014   0.217
#> Madde_15   1.932   0.416
#> Madde_16   1.133   0.358
#> Madde_17   1.292   0.631
#> Madde_18   1.193   0.320
#> Madde_19   1.036  -0.066
#> Madde_20   1.516  -0.053

Elde edilen çıktıda çok boyutlu madde ayırt edicilikleri “CB2PL_A” sütununda, çok boyutlu madde güçlükleri “CB2PL_B” sütununda verilmiştir. Testteki en kolay maddenin yaklaşık -0.39 değeriyle madde 7, en zor maddenin yaklaşık 0.631 değeriyle madde 17 olduğu görülmektedir.

coef() fonksiyonunun çalıştırılması sonucunda oluşturulan cb2pl_par nesnesinin cov bileşeninden faktörler arası varyans-kovaryans matrisi elde edilmiştir ve matristeki değerler round() fonksiyonuyla binde birler basamağına yuvarlanmıştır.

cb2pl_par <- coef(cb2pl_uyum, simplify = TRUE)
round(cb2pl_par$cov, 3)
#>       F1    F2
#> F1 1.000 0.748
#> F2 0.748 1.000

Elde edilen çıktıda ana köşegende yer alan varyans değerlerinin 1, iki faktörün kovaryansının ise yaklaşık 0.748 olarak kestirildiği görülmektedir. Bu kovaryans değeri, iki boyut arasındaki korelasyon değerine eşittir.

Birey yetenek parametre kestirimleri, mirt paketindeki fscores() fonksiyonu kullanılarak elde edilmiştir. Yetenek kestirim yöntemi fscores() fonksiyonunun method argümanıyla berlirlenmiştir. EAP (expected a posteriori) yöntemiyle yetenek kestirimi için argüman EAP değeriyle, MAP (maximum a posteriori) yöntemiyle yetenek kestirimi için argüman MAP değeriyle kullanılmıştır. Ayrıca fonksiyonun full.scores.SE argümanı TRUE değeriyle kullanılarak yetenek kestirimlerinin standart hataları da elde edilmiştir. fscores() fonksiyonunun çalıştırılması sonucunda oluşturulan sırasıyla cb2pl_eap ve cb2pl_map matrislerindeki değerler round() fonksiyonuyla binde birler basamağına yuvarlanarak matrislerin head() fonksiyonuyla ilk 6 satırı yazdırılmıştır.

cb2pl_eap <- fscores(cb2pl_uyum, method = "EAP", 
                     full.scores = TRUE, full.scores.SE = TRUE)
head(round((cb2pl_eap), 3))
#>          F1     F2 SE_F1 SE_F2
#> [1,]  1.092  0.769 0.444 0.470
#> [2,] -0.671 -0.957 0.445 0.522
#> [3,] -0.977 -0.177 0.458 0.456
#> [4,]  0.264  0.455 0.402 0.442
#> [5,] -0.235 -0.195 0.410 0.449
#> [6,] -0.906 -1.008 0.466 0.532

cb2pl_map <- fscores(cb2pl_uyum, method = "MAP", 
                     full.scores = TRUE, full.scores.SE = TRUE)
head(round((cb2pl_map), 3))
#>          F1     F2 SE_F1 SE_F2
#> [1,]  1.045  0.716 0.433 0.452
#> [2,] -0.619 -0.881 0.433 0.511
#> [3,] -0.927 -0.137 0.448 0.439
#> [4,]  0.256  0.436 0.394 0.426
#> [5,] -0.213 -0.165 0.401 0.434
#> [6,] -0.842 -0.925 0.454 0.521

Elde edilen çıktılarda “F1” ve “F2” sütunları yetenek parametre kestirimleridir, “SE_F1” ve “SE_F2” sütunları ise bu yetenek kestirimlerinin standart hatalarıdır.

EAP ve MAP yöntemlerinden elde edilen yetenek kestirimleri veri çerçevesi olarak cb2pl_yetenek nesnesine atanmıştır. cb2pl_yetenek veri çerçevesindeki değerler round() fonksiyonuyla binde birler basamağına yuvarlanarak veri çerçevesinin head() fonksiyonuyla ilk 6 satırı yazdırılmıştır.

cb2pl_yetenek <- data.frame(EAP1=cb2pl_eap[,1], EAP2=cb2pl_eap[,2],
                            MAP1=cb2pl_map[,1], MAP2=cb2pl_map[,2])
head(round(cb2pl_yetenek, 3))
#>     EAP1   EAP2   MAP1   MAP2
#> 1  1.092  0.769  1.045  0.716
#> 2 -0.671 -0.957 -0.619 -0.881
#> 3 -0.977 -0.177 -0.927 -0.137
#> 4  0.264  0.455  0.256  0.436
#> 5 -0.235 -0.195 -0.213 -0.165
#> 6 -0.906 -1.008 -0.842 -0.925

EAP ve MAP yöntemleriyle elde edilen yetenek kestirimleri arasındaki korelasyonlar cor() fonksiyonuyla elde edilmiştir. Oluşturulan korelasyon matrisindeki değerler round() fonksiyonuyla binde birler basamağına yuvarlanmıştır.

korelasyon <- cor(cb2pl_yetenek)
round(korelasyon, 3)
#>       EAP1  EAP2  MAP1  MAP2
#> EAP1 1.000 0.880 1.000 0.876
#> EAP2 0.880 1.000 0.876 1.000
#> MAP1 1.000 0.876 1.000 0.872
#> MAP2 0.876 1.000 0.872 1.000

EAP ve MAP yöntemlerinden elde edilen yetenek kestimleri arasındaki korelasyonlar incelendiğinde, bu kestirimlerin yüksek derecede ilişkili olduğu görülmektedir.

Bu bölümde telafi edici çok boyutlu 2PL modele göre analizler gerçekleştirilmiştir. Bireyin bir yetenek boyutundaki düşük yeteneği diğer boyuttaki yüksek yeteneği tarafından telafi edilmediği durumlarda telafi edici olmayan çok boyutlu 2PL modeli kullanılır. Bu modelde itemtype argümanı PC2PLdeğeriyle kullanılarak benzer şekilde analizler gerçekleştirilir. Ancak bu analizlerde maddeler, iki boyutun her biri için ayrı bir eğim ve kesişim parametresine sahip olacaktır (Desjardins ve Bulut, 2018).

8.2 Bifaktör Model

Çok boyutlu modellerden olan bifaktör modelde, her madde ölçtüğü faktörle ilişkilendirilirken tüm maddeler genel bir faktörle de ilişkilendirilir (Gibbons ve Hedeker, 1992). Genel faktör bir ölçme aracının ölçmeyi amaçladığı temel yapıyı temsil ederken, özel faktörler kavramsal olarak daha spesifik alt yapıları temsil eder. Diğer bir ifadeyle bifaktör modellerde, tüm maddelerin altında yatan ortak bir varyans kaynağı olan “genel faktör” bulunur. Örneğin bir İngilizce yeterlik sınavının genel faktör olarak İngilizce dil becerilerini, özel faktör olarak da dinleme, okuma ve yazma becerilerini ölçtüğünü düşünelim. Bu durumda her madde dinleme, okuma veya yazma faktörlerinden birini ölçerken tüm maddeler genel faktörü de ölçer. Sonuç olarak her madde genel boyuta ve tek bir özel boyuta yüklenir, bu da her madde için iki boyutlu bir yapıyla sonuçlanır.

Örnek bifaktör yapısı Şekil 8.2’de verilmiştir.

Şekil 8.2: Bifaktör Model Örneği

Şekil 8.2 incelendiğinde her maddenin genel bir faktör dışında özel bir faktörü de ölçtüğü görülmektedir. Ayrıca özel faktörlerin genel faktöre ve birbirlerine dik (ortogonal) olduğu görülmektedir. İki kategorili puanlanan maddeler için bifaktör 2PL model Eşitlik (8.4)’teki gibi ifade edilebilir.

\[ P(X_{ij}=1\mid\theta_{jp},\theta_{js})=\frac{\exp(a_{ip}\theta_{jp}+a_{is} \theta_{js}+d_i)}{1+\exp(a_{ip}\theta_{jp}+a_{is}\theta_{js}+d_i)} \tag{8.4} \]

Eşitlikte; \(\theta_{jp}\): j bireyinin p genel faktörü için yetenek vektörü, \(\theta_{js}\): j bireyinin s özel faktörü için yetenek vektörü, \(\alpha_{ip}\): i maddesinin p genel faktörü için eğim vektörü, \(\alpha_{is}\): i maddesinin s özel faktörü için eğim vektörü, \(d_i\): i maddesinin kesişim (yer) parametresidir.

Bifaktör modelde, model tanımlamasını sağlamak için genel ve özel faktörler ilişkisiz olacak şekilde kısıtlanır. Bifaktör model ile genel faktör ve özel faktörler hakkında daha detaylı bilgiler elde edilir. Aslında bu yapı, madde içi çok boyutluluğun özel bir halidir. Özel faktörler arasında korelasyon olmadığı ve bu faktörlerin genel faktörden bağımsız olduğu varsayılır. Diğer bir ifadeyle özel faktörlerin birbirlerine ve genel faktöre ortogonal olduğu kabul edilir. Sonuç olarak bu modelde her bir madde hem tek bir genel baskın faktöre hem de özel faktöre yüklenir ve çok boyutluluk dikkate alınarak genel yetenek kestirilebilir.

Bifaktör modelin analizinde de mirt paketi kullanılmıştır. Paket fonksiyonlarının bifaktör model analizinde kullanımını göstermek için veri nesnesi kullanılmıştır. veri nesnesinin ilk 10 sütunu seçilerek analizde kullanılacak veri seti dat nesnesine atanmıştır. Böylece dat veri seti 500 bireyin 10 maddeye verdiği yanıtlardan oluşmaktadır. Veri setinde yer alan maddelerden 1-5 birinci özel faktörle, 6-10 ikinci özel faktörle ilişkilendirilerek iki faktörlü bir yapı elde edilmiştir. Veri setindeki tüm maddelerin ayrıca genel bir faktöre yüklendiği varsayılmıştır. Her maddenin hangi özel faktörle ilişkili olduğunu gösteren bir mod sayısal değer vektörü oluşturulmuştur. İki faktörlü yapı, tüm maddelerin genel faktörle ilişkili olduğu varsayımına dayandığından, genel faktör için herhangi bir spesifikasyona gerek yoktur. Model rep() fonksiyonuyla tanımlanmıştır. rep() fonksiyonunun ilk argümanına tekrar edilecek değerler girilmiştir. Bu değerlerden 1 birinci özel faktörü, 2 ikinci özel faktörü temsil etmek üzere kullanılmıştır. Her faktörle ilişkilendirilen beş madde bulunduğundan bu sayıların beş kere tekrarlanması için fonksiyonun each argümanı 5 değeriyle kullanılmıştır.

dat <- veri[,1:10]
mod <- rep(c(1,2), each = 5)

Bir genel ve iki özel faktöre sahip bifaktör 2PL modelin analizi mirt paketindeki bfactor() fonksiyonu kullanılarak yapılmıştır. bfactor() fonksiyonu temel olarak data ve model olmak üzere iki argümanla çalışmaktadır. Oluşturulan dat veri seti ile mod nesnesi sırasıyla data ve model argümanlarının girdisi olarak kullanılarak bifaktör 2PL modele göre analiz gerçekleştirilmiştir.

bfactor_uyum <- bfactor(data = dat, model = mod)

bfactor() fonksiyonunun çalıştırılması sonucunda oluşturulan bfactor_uyum nesnesi, parametre kestirimleri başta olmak üzere kestirim sürecine ilişkin ek bilgileri içermektedir. coef() fonksiyonuyla bfactor_uyum nesnesinden parametre kestirimleri aşağıdaki kodla çalıştırılmıştır. coef() fonksiyonunun SE argümanı, kestirimlere ilişkin standart hataların elde edilmesi için TRUE değeriyle kullanılmıştır. itemtype argümanı tanımlanmadığından, iki kategorili veriler için varsayılan olarak 2PL modeli uygulanmıştır. coef() fonksiyonunun çalıştırılması sonucunda oluşturulan bfactor_par nesnesinin items bileşeninden bifaktör 2PL modele göre kestirilen madde parametre değerleri elde edilmiş ve madde parametre değerleri round() fonksiyonuyla binde birler basamağına yuvarlanmıştır.

bfactor_par <- coef(bfactor_uyum, SE = TRUE, simplify = TRUE) 
round(bfactor_par$items, 3)
#>             a1    a2    a3      d g u
#> Madde_1  0.953 0.213 0.000  0.067 0 1
#> Madde_2  2.447 2.811 0.000 -0.527 0 1
#> Madde_3  1.863 0.710 0.000 -0.135 0 1
#> Madde_4  0.801 0.320 0.000  0.214 0 1
#> Madde_5  1.712 0.057 0.000 -0.413 0 1
#> Madde_6  1.614 0.000 0.779 -0.665 0 1
#> Madde_7  1.146 0.000 0.318  0.458 0 1
#> Madde_8  1.019 0.000 0.324 -0.227 0 1
#> Madde_9  1.202 0.000 0.742  0.057 0 1
#> Madde_10 0.990 0.000 1.224 -0.349 0 1

Elde edilen çıktıda “a1” sütunu maddelerin genel (birincil) boyutla ilişkisine karşılık gelen eğim parametresinin kestirimlerini içermektedir. “a2” sütunu maddelerin birinci özel boyutla, “a3” sütunu maddelerin ikinci özel boyutla ilişkisine karşılık gelen eğim parametrelerinin kestirimlerini içermektedir. Madde_1-Madde_5 birinci özel faktörle ilişkili olduklarından \(a_2\) kestirimleri sıfırdan farklı bir değere sahiptir ancak ikinci özel faktörle ilişkili olmadıklarından \(a_3\) kestirimleri 0’dır. Madde_6-Madde_10 birinci özel faktörle ilişkili olmadıklarından \(a_2\) kestirimleri 0’dır ancak ikinci özel faktörle ilişkili olduklarından \(a_3\) kestirimleri sıfırdan farklı bir değere sahiptir. Genel olarak birincil boyut, tüm maddelerdeki madde yanıtlarını en güçlü şekilde etkileyen boyuttur. “d” sütunu altında madde kolaylığını gösteren kesişim parametre değerleri yer almaktadır. coef() fonksiyonunun simplify argümanı TRUE değeriyle kullanıldığından parametreler liste yerine veri seti olarak elde edilmiştir.

Bifaktör modelde, model tanımlanırken özel faktörler arasındaki korelasyonlar sıfır olarak sınırlandırılmıştır. Bu sınırlama, gizil özelliklerin kovaryans matrisi yazdırılarak görülebilir. coef() fonksiyonunun çalıştırılması sonucunda oluşturulan bfactor_par nesnesinin cov bileşeninden faktörler arası varyans-kovaryans matrisi elde edilmiştir.

bfactor_par$cov 
#>    G S1 S2
#> G  1  0  0
#> S1 0  1  0
#> S2 0  0  1

Elde edilen çıktıda ana köşegende yer alan varyans değerlerinin 1, ana köşegen dışındaki tüm elemanların 0 olduğu görülmektedir. Bu da model tarafından tanımlanan genel ve özel faktörlerin dik yani ilişkisiz olduğunu göstermektedir.

Genel ve iki özel faktör için bireylerin yetenek parametre kestirimleri, mirt paketindeki fscores() fonksiyonu kullanılarak elde edilmiştir. Bifaktör modelde sırasıyla EAP ve MAP yetenek kestirim yöntemleri kullanılmıştır.fscores() fonksiyonunun full.scores.SE argümanı, kestirimlere ilişkin standart hataların elde edilmesi için TRUE değeriyle kullanılmıştır.fscores() fonksiyonunun çalıştırılması sonucunda oluşturulan bfactor_eap ve bfactor_map matrislerindeki değerler round() fonksiyonuyla binde birler basamağına yuvarlanarak matrislerin head() fonksiyonuyla ilk 6 satırı yazdırılmıştır.

bfactor_eap<- fscores(bfactor_uyum, method = "EAP", 
                   full.scores = TRUE, full.scores.SE = TRUE)
head(round(bfactor_eap, 3)) 
#>           G     S1     S2  SE_G SE_S1 SE_S2
#> [1,]  1.111  0.525 -0.382 0.574 0.848 0.850
#> [2,] -0.378 -0.374 -0.820 0.543 0.796 0.875
#> [3,] -0.794 -0.410 -0.421 0.580 0.846 0.880
#> [4,] -0.325 -0.336 -0.127 0.529 0.784 0.849
#> [5,] -0.021  0.672  0.226 0.511 0.746 0.836
#> [6,] -0.517 -0.664  0.179 0.548 0.844 0.849

bfactor_map <- fscores(bfactor_uyum, method = "MAP", 
                     full.scores = TRUE, full.scores.SE = TRUE)
head(round((bfactor_map), 3))
#>           G     S1     S2  SE_G SE_S1 SE_S2
#> [1,]  1.002  0.367 -0.364 0.553 0.857 0.832
#> [2,] -0.294 -0.241 -0.788 0.521 0.766 0.866
#> [3,] -0.675 -0.264 -0.395 0.559 0.854 0.870
#> [4,] -0.258 -0.205 -0.116 0.509 0.747 0.832
#> [5,] -0.031  0.570  0.240 0.493 0.691 0.818
#> [6,] -0.430 -0.515  0.176 0.528 0.858 0.832

Elde edilen çıktılarda ilk üç sütun (“G”, “S1”, ve “S2”) sırasıyla genel, birinci ve ikinci faktör için yetenek kestirimlerini vermektedir. Geri kalan sütunlar (“SE_G”, “SE_S1”, “SE_S2”) ise yetenek kestirimlerinin standart hatalarını göstermektedir.

8.3 Madde Takımı Tepki Kuramı (MTTK) Modelleri

Madde takımı (testlet); okuma parçası, senaryo, tablo, grafik, şekil, görsel gibi ortak uyarana bağlı maddelerden oluşan madde grubu ya da madde kümesi olarak tanımlanır (Wainer ve Kiely, 1987). Çoktan seçmeli testlerde ortak uyarana bağlı maddeler, “ortak köklü maddeler” olarak ifade edilir. Ortak uyarana bağlı olarak bir testin alt kümesi şeklinde değerlendirilen bu maddeler birlikte uygulanır. Uygulanma şekilleri bireylerin madde takımında yer alan her maddeye verdiği yanıtlara göre hiyerarşik bir dallanmayı içerebilirken herkesin aynı maddeyi aldığı Şekil 8.3’deki gibi yalnızca tek bir doğrusal yolu da içerebilir. Bu bölümde doğrusal (lineer) madde takımları üzerine odaklanılmıştır.

Şekil 8.3: Doğrusal Madde Takımı

Bireylere ortak bir uyaran ile bir soru yerine birden fazla soru sorulması, zaman ve emek açısından ekonomiklik sağlamaktadır, bu da madde takımlarının en önemli avantajlarından biridir (Ho ve Dodd, 2012; Wainer ve Wang, 2000). Bu nedenle madde takımları özellikle okuduğunu anlama ve analitik muhakeme gibi bilişsel yeterlikleri ölçmek için yaygın olarak kullanılmaktadır. Ancak çok fazla sayıda sorunun, birey hakkında yeterli bağımsız bilgi üretemeyeceği görülmüştür yani maddeler arasındaki madde takımı içi bağımlılığın ortak uyarandan elde edilen bilgiyi sınırlayabileceği bilgisine ulaşılmıştır. 1980’lerde bilgisayarda bireyselleştirilmiş testlerin (BBT) teknik ve ekonomik olarak mümkün hale gelmesiyle bu durum değişmiştir. BBT, bireyin yetenek düzeyine uygun maddeler alabildiği uyarlanmış bir testtir. Bir test maddesi, sınava giren aday hakkında en fazla bilgiyi madde güçlüğünün sınava giren adayın yeteneği ile aynı olduğu durumlarda vermektedir (Lord ve Novick, 1986). Sınava giren birey zor maddeleri yanlış, kolay maddeleri doğru yaparak düzenli bir şekilde yanıt verirse doğru bir yetenek kestirimine yakınsama hızlı bir şekilde yapılabilir. Verilen yanıtlar daha düzensizse yetenek kesitirimine yakınsama daha yavaş olur ve elde edilen kestirimin kesinliği azalır. Wainer ve Kiely (1987) tarafından, tek bir içerikle ilişkili maddeler grubu olarak ifade edilen madde takımları sayesinde BBT uygulamalarında yaşanan bağlam etkisi (content effects) ya da madde sırası (item ordering) gibi konulardaki sorunlara çözüm üretilebilir.

Madde takımları bağlamsal bilgi ve bilişsel süreçler gibi öğrenci yanıtlarını etkileyen faktörlerin daha detaylı bir şekilde modellenmesine olanak tanımaktadr. Koziol (2016) bir testte madde takımı kullanmanın amacının, ilgilenilen örtük yapı tarafından açıklananın ötesindeki performansı yakalamak olduğunu belirtmiştir. Ayrıca madde takımlarının kullanılmasıyla üst düzey becerilerin daha iyi ölçülmesi hedeflenmektedir (DeMars, 2012; Wainer ve Wang, 2000). Sağladığı bu avantajlar nedeniyle madde takımları gerek ulusal gerekse uluslararası alanda sıklıkla tercih edilmektedir. Son yıllarda standartlaştırılmış testlerde madde takımı kullanımının artış gösterdiği bilinmektedir.

Madde takımlarının kullanımındaki artış, test puanlarının güvenirlik ve geçerliğinin incelenmesi açısından, MTK’ye dayalı çeşitli yöntemleri kullanmayı da gerekli kılmıştır. Ortak uyaran temelli maddeler, farklı maddelerin aynı madde takımında toplanması durumunda ölçülmeye çalışılan gizil özelliğin etkisinin ötesinde birbirleriyle ilişkili olabilir. Bu durumda bireyin madde takımı içerisindeki bir maddeye verdiği tepki, aynı madde takımı içerisinde yer alan diğer maddelere verdiği tepkiyi etkileyebilmektedir (Wainer ve Kiely, 1987). Dolayısıyla aynı madde takımında yer alan maddeler MTK’nın yerel bağımsızlık varsayımını ihlal etmektedir. Yerel bağımsızlık, bireyin yeteneğine bağlı olarak, bir maddeye doğru yanıt verme olasılığının diğer herhangi bir maddeye doğru yanıt verme olasılığından istatistiksel olarak bağımsız olması anlamına gelir (Hambleton ve Swaminathan, 1985). Yerel bağımlılık, maddeler arasında özel bir bağımlılık olduğunda ortaya çıkmaktadır ve madde takımlarının önemli bir sorunudur (Wilson, 1988). Madde takımlarından kaynaklanan yerel bağımlılığa madde takımı etkisi denir (Wainer ve Kiely, 1987). Madde takımının varyansı, yerel bağımlılık derecesini ifade eder. Bu varyans değeri sıfıra eşit olduğunda MTK’nın yerel bağımsızlık varsayımı sağlanır. Ancak varyans ne kadar artarsa, madde takımının içerdiği etki de o derece artar yani maddelerin yerel bağımlılık derecesi artar (Wainer ve Wang, 2000). Bu nedenle madde takımlarındaki bu yerel bağımlılık durumu detaylı bir şekilde incelenmelidir.

Ortak bir uyarana dayalı madde takımlarından oluşan testlerde, yerel bağımlılık uygun şekilde ele alınmazsa, teste bağlı psikometrik sonuçlar olumsuz etkilenebilir (DeMars, 2012; Keller, Swaminathan ve Sireci, 2003; Li, Li ve Wang, 2010). Yerel bağımlılık derecelerini belirten madde takımı etkilerinin göz ardı edilmesi; test bilgisinin ve güvenirliğin yüksek kestirilmesine (Braeken, 2010; C.-T. Chen ve Wang, 2007; S. G. Sireci, Thissen ve Wainer, 1991; Thissen, Steinberg ve Mooney, 1989; Yen, 1993), madde parametre ve yetenek kestirimlerinde yanlılığa (Tuerlinckx ve De Boeck, 2001; Wainer ve Wang, 2000; Yen, 1993), geçti-kaldı gibi kararlarda sınıflama hatalarına (Keller ve diğerleri, 2003) neden olabilir. Bu sorunun üstesinden gelmek amacıyla alan yazında birkaç çözüm önerisi yer almaktadır. Bunlardan biri madde takımlarındaki tüm maddelerin bağımsız birer madde olarak ele alınması olmakla beraber bu ekonomiklik ve pratiklik açısından pek uygun değildir. Yerel bağımlılık sorununun çözümlenmesine yönelik önerilerden diğeri madde takımlarında yer alan maddeleri birleştirmek ve her bir madde takımını çok kategorili tek bir madde olarak ele almaktır. Madde takımlarının tek bir ölçü birimi olarak kullanılmasıyla “süper maddeler” oluşturulur (Thissen ve Wainer, 2001) ve bu durumda, her süper madde tek bir çok kategorili puanlanan madde olarak ele alınabilir. Bu durumda ATM veya KPM gibi çok kategorili MTK modelleri uygulanabilir. Ancak madde takımlarına bu modelleri uygulayarak çok kategorili puanlama kullanmak nihai çözüm değildir. Toplam puan yaklaşımının kullanılması kalibrasyon sürecini kolaylaştırsa da maddelerin madde takımlarında birleştirilmesi bilgi kaybına neden olabilmektedir. Çok kategorili MTK modellerinin madde takımlarındaki maddeler arasındaki bağımlılığı ele almada çok etkili bir çözüm olmadığı anlaşıldığından ek bir madde takımı etki parametresini içeren bir madde takımı tepki kuramı (MTTK) modeli önerilmiştir (Wainer, Bradlow ve Wang, 2007; Wainer ve Wang, 2000; X. Wang, Bradlow ve Wainer, 2002) Genel olarak, MTTK modeli bifaktör modelin kısıtlı bir versiyonu olarak görülebilir (Li, Bolt ve Fu, 2006). MTTK modellerine geçmeden önce yerel bağımlılık kavramına ilişkin detaylı bilgiler verilmiştir.

8.3.1 Madde Takımlarında Yerel Bağımlılık

MTK’nın önemli varsayımlarından biri olan yerel bağımsızlık, belli bir yetenek düzeyinde bir maddeye verilen tepkinin yani maddeyi yanıtlama olasılığının aynı testte yer alan diğer maddeyi yanıtlama olasılığından istatistiksel olarak bağımsız olması durumudur (Embretson ve Reise, 2000). Burada dikkat edilmesi gereken nokta, maddeye doğru yanıt verme olasılığı yetenek düzeyinde tanımlandığından testle ölçülen yetenek sabit tutularak yerel bağımsızlığın incelenmesidir. Bu varsayım sağlanmazsa maddeler yerel bağımlı kabul edilir.

Yerel bağımsızlık, geleneksel MTK modellerinde kritik bir varsayımdır. Ancak pratikte, bir madde takımı içindeki maddeler, gizil yetenek kontrol edildikten sonra bile ilişkili yanıtlar sergileyebilir (Koziol, 2016). Diğer bir ifadeyle madde takımlarında tek bir uyarana (okuma metni, tablo, grafik, şekil vb.) bağlı birden fazla madde yer aldığından yerel bağımsızlık varsayımı kolaylıkla ihlal edilebilir. Çünkü bu tür maddeler ortak bir uyarana bağlı olduğundan, herhangi bir maddeye verilen yanıt diğerlerini etkileyebilir. Bu nedenle madde takımları için yerel bağımsızlık varsayımı kontrolü dikkatli bir şekilde yapılmalı ve uygun MTK modelleriyle analizlere devam edilmelidir.

Hem madde takımları hem de bağımsız maddeler içeren testlerde yerel bağımlılık incelemeleri dört faklı şekilde yapılmaktadır (D. Kim, De Ayala, Ferdous ve Nering, 2007): (i) bağımsız maddeler arası (ii) bir bağımsız madde bir madde takımında yer alan maddeler arası (iii) iki farklı madde takımları arası (iv) aynı madde takımı içinde yer alan herhangi iki madde arası yerel bağımlılık dereceleri. Madde takımlarındaki yerel bağımlılık incelenirken ise dördüncü maddede yer alan aynı madde takımı içindeki madde çiftleri arasındaki yerel bağımlılık incelenmelidir. Madde çifti düzeyinde yerel bağımsızlık varsayımını ele almak için yaygın olarak \(Q_3\) istatistiği (Yen, 1984), yerel bağımlılık (LD) χ2 istatistiği (W.-H. Chen ve Thissen, 1997) kullanılmaktadır.

Madde takımları içindeki yerel bağımlılık durumunu incelemek için veri veri seti kullanılmıştır. Yerel bağımsızlık varsayımını incelemek amacıyla 2PL MTK modelinin analizi mirt paketindeki mirt() fonksiyonu kullanılarak yapılmıştır.

ikipl_model <- "F = 1 - 20"
ikipl_uyum <- mirt(data = veri, model = ikipl_model, itemtype = "2PL", SE = TRUE)

residuals() fonksiyonu kullanılarak χ2 istatistiği ile yerel bağımsızlık varsayımı incelenmiştir.

x2 <- residuals(ikipl_uyum, type = 'LD', method = 'ML')

x2[upper.tri(x2,diag = TRUE)] <- NA
sum(abs(x2)>4, na.rm = TRUE)
#> [1] 14

Sonuç olarak toplam 14 madde çiftinin yerel bağımlı olduğu bulunmuştur (χ2>4). Örnek olarak birinci madde takımına ait yerel bağımlılık dereceleri incelenmiştir.

x2 <- x2[,1:5]
sum(abs(x2)>4, na.rm = TRUE)
#> [1] 2

Birinci madde takımı beş maddeden oluşmakta olup toplam 10 madde çiftinden iki tanesinin yerel bağımlılığa sahip olduğu bulunmuştur.

Q3 <- residuals(ikipl_uyum, type = 'Q3', method = 'ML')

Q3[upper.tri(Q3, diag = TRUE)] <- NA
sum(abs(Q3)>0.2, na.rm = TRUE)
#> [1] 2

\(Q_3\) istatistiğine göre yerel bağımlılık dereceleri incelendiğinde ise iki madde çiftinin yerel bağımlı olduğu sonucuna ulaşılmıştır. Bu yerel bağımlılık dereceleri tek boyutlu 2PL MTK modeline göre incelenmiştir. Madde takımlarında yerel bağımlılık derecesi, MTTK modelinden elde edilen madde takımı etki parametresiyle hesaplanır. Bu konu ile ilgili bilgilere “2PL Madde Takımı Tepki Kuramı (MTTK) Modeli” başlığı altında detaylı olarak yer verilmiştir.

8.3.2 2PL Madde Takımı Tepki Kuramı (MTTK) Modeli

Yerel madde bağımlılığını hesaba katan MTTK modellerinde, madde ayırt edicilik (a) ve güçlük parametreleri (*b) ile MTK modellerinden farklı olarak bireye özgü madde takımı parametresi (\(γ_{jd}\)) yer alır. 2PL MTTK modeli olasılık eşitliği Eşitlik (8.5)’te verilmiştir.

\[ P(x_{ji}=1\mid\theta_j,a_i,b_i)=\frac{e^{\alpha_i(\theta_j- b_i-\gamma_{jd}(i))}}{1+e^{\alpha_i(\theta_j-b_i-\gamma_{jd}(i))}} \tag{8.5} \]

Eşitlikte; \(a_i\): i maddesinin madde ayırt edicilik parametresi, \(b_i\): i maddesinin madde güçlük parametresi, \(γ_{jd}\)(i)∶ j bireyinin d madde takımına yuvalanmış i maddesinin madde takımı etki parametresidir.

Yerel bağımsızlık varsayımı sağlandığında madde takımı etki varyansı sıfır yani tüm bireyler için \(γ_{jd}(i)\)=0 olur. Bu durumda MTTK modeli tek boyutlu MTK modeline dönüşür. Bireye özgü madde takımı etki parametresi, gizil özellik ve madde parametrelerinden bağımsızdır. Burada dikkat edilmesi gereken nokta, madde takımı etki parametresinin (\(γ_{jd}(i)\)), bireye ve madde takımına özgü bir parametre olduğudur. Dolayısıyla belli bir madde takımı içindeki maddelerin yerel bağımlılıkları, sınava giren her birey için değişmektedir. Bu nedenle, \(γ_{jd}(i)\)’nin varyansı tipik olarak her madde takımı için kestirilir ve her madde takımı içindeki maddelerin yerel bağımlılık derecesinin bir göstergesi olarak kullanılır.

2PL MTTK modeli analizi için veri veri seti kullanılmıştır. 2PL MTTK modelinin analizi mirt paketindeki bfactor() fonksiyonu kullanılarak yapılmıştır.

modelt <- "G=1-20 
           CONSTRAIN=(1,a1,a2), (2,a1,a2), (3,a1,a2), (4,a1,a2), (5,a1,a2), 
                     (6,a1,a3), (7,a1,a3), (8,a1,a3), (9,a1,a3), (10,a1,a3), 
                     (11,a1,a4), (12,a1,a4), (13,a1,a4), (14,a1,a4), 
                     (15,a1,a4), (16,a1,a5), (17, a1, a5), (18, a1, a5),
                     (19, a1, a5), (20, a1, a5), 
           COV=S1*S1, S2*S2, S3*S3, S4*S4, S5*S5"
testlet <- rep(1:4, each = 5)
simmod <- bfactor(veri, itemtype = "2PL", testlet, model2 = modelt)

coef(simmod, simplify = TRUE) 
#> $items
#>             a1    a2    a3    a4    a5      d g u
#> Madde_1  0.924 0.924 0.000 0.000 0.000  0.070 0 1
#> Madde_2  1.511 1.511 0.000 0.000 0.000 -0.295 0 1
#> Madde_3  1.987 1.987 0.000 0.000 0.000 -0.133 0 1
#> Madde_4  0.821 0.821 0.000 0.000 0.000  0.218 0 1
#> Madde_5  1.401 1.401 0.000 0.000 0.000 -0.389 0 1
#> Madde_6  1.614 0.000 1.614 0.000 0.000 -0.657 0 1
#> Madde_7  1.132 0.000 1.132 0.000 0.000  0.468 0 1
#> Madde_8  0.976 0.000 0.976 0.000 0.000 -0.226 0 1
#> Madde_9  1.291 0.000 1.291 0.000 0.000  0.060 0 1
#> Madde_10 1.043 0.000 1.043 0.000 0.000 -0.303 0 1
#> Madde_11 1.297 0.000 0.000 1.297 0.000  0.590 0 1
#> Madde_12 1.293 0.000 0.000 1.293 0.000 -0.230 0 1
#> Madde_13 0.923 0.000 0.000 0.923 0.000 -0.336 0 1
#> Madde_14 1.742 0.000 0.000 1.742 0.000 -0.440 0 1
#> Madde_15 1.669 0.000 0.000 1.669 0.000 -0.812 0 1
#> Madde_16 1.101 0.000 0.000 0.000 1.101 -0.476 0 1
#> Madde_17 1.266 0.000 0.000 0.000 1.266 -0.974 0 1
#> Madde_18 0.930 0.000 0.000 0.000 0.930 -0.406 0 1
#> Madde_19 0.897 0.000 0.000 0.000 0.897  0.070 0 1
#> Madde_20 1.669 0.000 0.000 0.000 1.669  0.090 0 1
#> 
#> $means
#>  G S1 S2 S3 S4 
#>  0  0  0  0  0 
#> 
#> $cov
#>    G   S1    S2    S3    S4
#> G  1 0.00 0.000 0.000 0.000
#> S1 0 0.22 0.000 0.000 0.000
#> S2 0 0.00 0.232 0.000 0.000
#> S3 0 0.00 0.000 0.416 0.000
#> S4 0 0.00 0.000 0.000 1.103

Elde edilen çıktıda items bileşeni altında madde parametre kestirimleri yer almaktadır. 20 maddeden oluşan veri setinde her bir madde takımı birer boyut olarak ele alındığından dört madde takımı için beş ayırt edicilik parametresi kestirilmiştir. Tüm maddelere ait genel eğim parametre kestirimleri “a1” sütununda, birinci madde takımı eğim parametre kestirimleri “a2” sütununda, ikinci madde takımı eğim parametre kestirimleri “a3” sütununda, üçüncü madde takımı eğim parametre kestirimleri “a4” sütununda ve dördüncü madde takımı eğim parametre kestirimleri “a5” sütununda verilmiştir. Güçlük parametresi yerine geçen yer parametresi ise tüm maddeler için birer tane olacak şekilde kestirilmiştir ve “d” sütununda yer almaktadır. Modelde alt asimptot parametresi (g) ve üst asimptot parametresi (u) yer almadığından ilgili sütunlarda yer alan değerler 0’dır.

Elde edilen çıktıda cov bileşeni altında madde takımı etki parametresi kestirimleri yer almaktadır. Madde takımı etki parametresi birinci madde takımı için 0.22, ikinci madde takımı için 0.232, üçüncü madde takımı için 0.416, dördüncü madde takımı için 1.103 olarak kestirilmiştir. Dördüncü madde takımı (madde 16–20) önemli miktarda (\(\sigma\)>1) madde takımı etkisi göstermiştir.

Ek olarak fonksiyonun full.scores.SE argümanı TRUE değeriyle kullanılarak standart hatalar da hesaplanabilir. Standart hata türü için varsayılanı kullanmak yerine, hesaplama açısından oldukça verimli bir alternatif olan “crossprod” yöntemi seçilebilir (Yilmaz-Kogar ve Kogar, 2022; Yuan, Cheng ve Patton, 2014). Bunun için SE.type argümanı crossprod ile yazılır.

Bireylerin yetenek parametre kestirimleri, mirt paketindeki fscores() fonksiyonu kullanılarak elde edilmiştir. Genel faktöre ilişkin yetenek kestirimleri ile her bir madde takımına ilişkin yetenek kestirimleri elde edilmiştir. Ayrıca fonksiyonun full.scores.SE argümanı TRUE değeriyle kullanılarak yetenek kestirimlerinin standart hataları da elde edilmiştir. Bifaktör modelde entegrasyon için quasi Monte Carlo seçeneğiyle (QMC=TRUE) EAP yetenek kestirim yöntemi kullanılmıştır. fscores() fonksiyonunun çalıştırılması sonucunda oluşturulan testlet_EAP matrisindeki değerler round() fonksiyonuyla binde birler basamağına yuvarlanarak matrisin head() fonksiyonuyla ilk 6 satırı yazdırılmıştır.

testlet_EAP <- fscores(simmod, method = "EAP", 
                       full.scores = TRUE, full.scores.SE = TRUE, QMC = TRUE)
head(round(testlet_EAP, 3))
#>           G     S1     S2     S3     S4  SE_G SE_S1 SE_S2 SE_S3 SE_S4
#> [1,]  1.008  0.273 -0.067 -0.178  0.499 0.471 0.427 0.437 0.527 0.765
#> [2,] -0.874  0.267 -0.285 -0.415  0.230 0.481 0.427 0.452 0.549 0.752
#> [3,] -0.696 -0.144 -0.112  0.522 -0.873 0.475 0.428 0.441 0.531 0.841
#> [4,]  0.200 -0.231 -0.117  0.398  0.910 0.432 0.414 0.423 0.512 0.725
#> [5,] -0.149  0.070  0.098 -0.123 -0.646 0.441 0.415 0.428 0.519 0.747
#> [6,] -0.879 -0.262  0.328 -0.167 -0.796 0.497 0.429 0.438 0.551 0.832

EAP kestirim yöntemine göre yetenek kestiriminden sonra MAP kestirim yöntemine göre yetenek kestirimi yapılmıştır. fscores() fonksiyonunun çalıştırılması sonucunda oluşturulan testlet_MAP matrisindeki değerler round() fonksiyonuyla binde birler basamağına yuvarlanarak matrisin head() fonksiyonuyla ilk 6 satırı yazdırılmıştır.

testlet_MAP<-fscores(simmod, method = "MAP", 
                     full.scores = TRUE, full.scores.SE = TRUE, QMC = TRUE)
head(round(testlet_MAP, 3))
#>           G     S1     S2     S3     S4  SE_G SE_S1 SE_S2 SE_S3 SE_S4
#> [1,]  0.924  0.262 -0.061 -0.169  0.446 0.458 0.426 0.431 0.517 0.747
#> [2,] -0.773  0.263 -0.280 -0.402  0.231 0.471 0.418 0.440 0.556 0.717
#> [3,] -0.610 -0.137 -0.113  0.505 -0.791 0.458 0.421 0.434 0.514 0.811
#> [4,]  0.189 -0.221 -0.115  0.382  0.854 0.424 0.407 0.423 0.506 0.712
#> [5,] -0.109  0.064  0.092 -0.113 -0.579 0.427 0.407 0.424 0.510 0.720
#> [6,] -0.775 -0.255  0.321 -0.145 -0.720 0.480 0.429 0.432 0.545 0.826

Elde edilem çıktılarda “G”, “S1”, “S2”, “S3” ve “S4” sütunları yetenek kestirimlerini vermektedir. Geri kalan sütunlar (“SE_G”, “SE_S1”, “SE_S2”, “SE_S3” ve “SE_S4”) ise yetenek kestirimlerinin standart hatalarını göstermektedir.

EAP ve MAP yöntemlerinden elde edilen genel yetenek kestirimleri veri çerçevesi olarak yetenek_testlet nesnesine atanmıştır. yetenek_testlet veri çerçevesindeki değerler round() fonksiyonuyla binde birler basamağına yuvarlanarak veri çerçevesinin head() fonksiyonuyla ilk 6 satırı yazdırılmıştır.

yetenek_testlet <- data.frame(map = testlet_MAP[, 1], 
                              eap = testlet_EAP[, 1])
head(round(yetenek_testlet, 3))
#>      map    eap
#> 1  0.924  1.008
#> 2 -0.773 -0.874
#> 3 -0.610 -0.696
#> 4  0.189  0.200
#> 5 -0.109 -0.149
#> 6 -0.775 -0.879

EAP ve MAP yöntemleriyle elde edilen yetenek kestirimleri arasındaki korelasyonlar cor() fonksiyonuyla elde edilmiştir.

cor(yetenek_testlet)
#>           map       eap
#> map 1.0000000 0.9999328
#> eap 0.9999328 1.0000000

EAP ve MAP yöntemlerinden elde edilen yetenek kestimleri arasındaki korelasyonlar incelendiğinde bu kestirimlerin yüksek derecede ilişkili olduğu görülmektedir.

8.3.3 3PL MTTK Modeli

3PL MTTK modelinde 2PL MTTK modeli eşitliğine her bir maddenin alt asimptot/şans/tahmin parametresi eklenir. 3PL MTTK olasılık eşitliği Eşitlik (8.6)’de verilmiştir.

\[ P(x_{ji}=1\mid\theta_j,a_i,b_i,c_i)=\frac{c_i+(1-c_i)e^{\alpha_i(\theta_j-b_i- \gamma_{jd}(i))}}{1+e^{\alpha_i(\theta_j-b_i-\gamma_{jd}(i))}} \tag{8.6} \]

Eşitlikte; \(a_i\): i maddesinin madde ayırt edicilik parametresi, \(b_i\): i maddesinin madde güçlük parametresi, \(c_i\): i maddesinin asimptot/şans/tahmin parametresi, \(γ_{jd}(i)\)∶ j bireyinin d madde takımına yuvalanmış i maddesinin madde takımı etki parametresidir.

3PL MTTK modelinde yer alan madde alt asimptot parametresiyle düşük yetenek düzeyine sahip bireylerin bir maddeyi doğru yanıtlama olasılığı hesaplanır.

3PL MTTK modeli analizi için veri veri seti kullanılmıştır. 3PL MTTK modelinin analizi mirt paketindeki bfactor() fonksiyonu kullanılarak yapılmıştır. Model türünün belirlendiği itemtype argümanı, kestirimlerin 3PL MTTK modeline göre gerçekleştirilmesi için 3PL değeriyle kullanılmıştır.

modelr <- "G=1-20
           CONSTRAIN=(1,a1,a2), (2,a1,a2), (3,a1,a2), (4,a1,a2), (5,a1,a2), 
                     (6,a1,a3), (7,a1,a3), (8,a1,a3), (9,a1,a3), (10,a1,a3), 
                     (11,a1,a4), (12,a1,a4), (13,a1,a4), (14,a1,a4), 
                     (15,a1,a4), (16,a1,a5), (17, a1, a5), (18, a1, a5),
                     (19, a1, a5), (20, a1, a5), 
           COV=S1*S1, S2*S2, S3*S3, S4*S4, S5*S5"
testlet <- rep(1:4, each = 5)
simmod<- bfactor(veri, itemtype = "3PL", testlet, model2 = modelr)

coef(simmod, simplify = TRUE)
#> $items
#>             a1    a2    a3    a4    a5      d     g u
#> Madde_1  1.033 1.033 0.000 0.000 0.000 -0.139 0.078 1
#> Madde_2  1.510 1.510 0.000 0.000 0.000 -0.305 0.000 1
#> Madde_3  1.975 1.975 0.000 0.000 0.000 -0.152 0.000 1
#> Madde_4  0.839 0.839 0.000 0.000 0.000  0.215 0.000 1
#> Madde_5  1.992 1.992 0.000 0.000 0.000 -0.915 0.095 1
#> Madde_6  2.169 0.000 2.169 0.000 0.000 -1.124 0.064 1
#> Madde_7  1.126 0.000 1.126 0.000 0.000  0.460 0.000 1
#> Madde_8  0.990 0.000 0.990 0.000 0.000 -0.232 0.000 1
#> Madde_9  1.302 0.000 1.302 0.000 0.000  0.051 0.000 1
#> Madde_10 1.056 0.000 1.056 0.000 0.000 -0.309 0.000 1
#> Madde_11 1.321 0.000 0.000 1.321 0.000  0.581 0.000 1
#> Madde_12 1.597 0.000 0.000 1.597 0.000 -0.572 0.080 1
#> Madde_13 0.936 0.000 0.000 0.936 0.000 -0.343 0.000 1
#> Madde_14 2.713 0.000 0.000 2.713 0.000 -1.196 0.097 1
#> Madde_15 1.701 0.000 0.000 1.701 0.000 -0.849 0.003 1
#> Madde_16 1.295 0.000 0.000 0.000 1.295 -0.742 0.053 1
#> Madde_17 1.474 0.000 0.000 0.000 1.474 -1.239 0.032 1
#> Madde_18 0.938 0.000 0.000 0.000 0.938 -0.412 0.000 1
#> Madde_19 0.898 0.000 0.000 0.000 0.898  0.066 0.000 1
#> Madde_20 1.649 0.000 0.000 0.000 1.649  0.075 0.000 1
#> 
#> $means
#>  G S1 S2 S3 S4 
#>  0  0  0  0  0 
#> 
#> $cov
#>    G   S1    S2    S3    S4
#> G  1 0.00 0.000 0.000 0.000
#> S1 0 0.19 0.000 0.000 0.000
#> S2 0 0.00 0.222 0.000 0.000
#> S3 0 0.00 0.000 0.397 0.000
#> S4 0 0.00 0.000 0.000 1.097

Elde edilen çıktıda 2PL MTTK modelinden farklı olarak her madde için tahmin parametre değerleri (g sütununda) elde edilmiştir. Özet olarak 2PL modelin en genel hali 3PL modeldir. \(c_i\)=0 olduğunda, 2PL MTTK model elde edilir. 2PL MTTK modele \(a_i\) değerlerinin eşit olduğu varsayımı eklenirse, 1PL MTTK model elde edilir. Tüm maddelerin ayırt edicilikleri 1’e eşitlenirse de Rasch MTTK model elde edilir.

Yerel madde bağımlılığını hesaba katan MTTK modellerinin en basiti Rasch MTTK modelidir (W. C. Wang ve Wilson, 2005). Bu modelde de MTK modellerindeki gibi b parametresi olup \(a_i\)=1 ve \(c_i\)=0 olarak kabul edilir. Fakat burada MTK modellerinden farklı olarak bireye özgü madde takımı parametresi, \(γ_{jd}(i)\), yer almaktadır. Rasch MTTK modeli olasılık eşitliği Eşitlik (8.7)’de verilmiştir.

\[ P(x_{ji}=1\mid\theta_j,b_i)=\frac{e^{(\theta_j-b_i-\gamma_{jd}(i))}}{1+ e^{(\theta_j-b_i-\gamma_{jd}(i))}} \tag{8.7} \]

Eşitlikte; \(b_i\): i maddesinin madde güçlük parametresi, \(γ_{jd}(i)\)∶ j bireyinin d madde takımına yuvalanmış i maddesinin madde takımı etki parametresidir.

8.4 Rasch MTTK Modeline Göre Veri Üretimi

R’da MTTK modellerinin analiz edildiği birden fazla paket (mirt, sirt paketleri gibi) yer almaktadır. Bu bölümde madde takımı etkisinin hesaplanmasında mirt paketi (Chalmers, 2012) kullanılmıştır. İlk olarak Rasch MTTK modeline uygun olacak şekilde her biri iki kategorili puanlanan üç maddeden oluşan üç madde takımı verisi üretmek amacıyla bu maddelerin ayırt edicilik parametreleri üretilmiştir. Üç maddeden oluşan üç farklı madde takımına ait ayırt edicilik parametreleri 1’e eşitlenmiştir. Bu durumda bir tanesi genel olmak üzere üç madde takımının ayırt edicilik değerlerine ait matris oluşturulmuş ve print() fonksiyonuyla yazdırılmıştır.

a <- matrix(0, 9, 4)
a[,1] <- rep(1, 9)
ind <- 1
for(i in 1:3){
  a[ind:(ind+2), i+1] <- a[ind:(ind+2), 1]
  ind <- ind+3
}
print(a)
#>       [,1] [,2] [,3] [,4]
#>  [1,]    1    1    0    0
#>  [2,]    1    1    0    0
#>  [3,]    1    1    0    0
#>  [4,]    1    0    1    0
#>  [5,]    1    0    1    0
#>  [6,]    1    0    1    0
#>  [7,]    1    0    0    1
#>  [8,]    1    0    0    1
#>  [9,]    1    0    0    1

İlk sütun tüm ayırt edicilik değerlerinin 1 olduğu genel ayırt ediciliktir. İkinci sütun birinci madde takımına, üçüncü sütun ikinci madde takımına ve dördüncü sütun üçüncü madde takımına ait ayırt edicilikleri vermektedir. Burada görüldüğü üzere her bir madde takımına ait maddelerin ayırt edicilikleri 1’e eşitken diğerleri 0’a eşittir.

a parametresi oluşturulduktan sonra b parametresine bağlı d parametresi rnorm() fonksiyonuyla oluşturulmuştur. Ortalaması 0, standart sapması 0.5 olacak şekilde toplam 9 maddenin d parametresi elde edilmiştir. Daha sonra dağılıma ait 4 X 4 varyans kovaryans matrisi sigma sırasıyla 1 (genel), 0.3 (madde takımı 1), 0.6 (madde takımı 2) ve 0.9 (madde takımı 3) olacak şekilde üretilmiştir. Varsayılan olarak sigma değeri birim matristir fakat burada madde takımı etkisi mevcut olduğundan 4 X 4 varyans kovaryans matrisi birim matristen farklı olacak şekilde üretilmiştir. set.seed() fonksiyonu ise her seferinde aynı parametrelerin üretilmesi amacıyla kullanılmıştır.

set.seed(1234)
d <- rnorm(9, 0, 0.5)
d
#> [1] -0.6035329  0.1387146  0.5422206 -1.1728489  0.2145623  0.2530279 -0.2873700
#> [8] -0.2733159 -0.2822260
sigma <- diag(c(1, 0.3, 0.6, 0.9))
sigma
#>      [,1] [,2] [,3] [,4]
#> [1,]    1  0.0  0.0  0.0
#> [2,]    0  0.3  0.0  0.0
#> [3,]    0  0.0  0.6  0.0
#> [4,]    0  0.0  0.0  0.9

Elde edilen a, d ve sigma değerleriyle Rasch MTTK modeline göre 1-0 yanıtlarından oluşan 1000 kişilik veri seti üretilmiştir. Üretilen veri seti data nesnesine aktarılmıştır. Veri setinin head() fonksiyonuyla ilk 6 satırı yazdırılmıştır.

data <- simdata(a, d, 1000, itemtype = rep('dich', 9), sigma = sigma)
head(data)
#>      Item_1 Item_2 Item_3 Item_4 Item_5 Item_6 Item_7 Item_8 Item_9
#> [1,]      0      1      1      0      0      0      0      0      0
#> [2,]      0      1      1      0      0      0      0      0      1
#> [3,]      0      1      1      0      1      0      0      0      0
#> [4,]      0      0      0      1      0      0      0      0      0
#> [5,]      1      0      1      1      1      1      1      0      1
#> [6,]      1      1      0      0      1      1      1      0      0

Rasch MTTK modeline göre üretilen veri seti, istenilen MTTK modeline göre analiz edilebilir. MTTK, bifaktör modelin sınırlandırılmış hali olduğundan analizler madde takımı etki parametresini içerecek şekilde bfactor() fonksiyonu üzerinden yapılır. Veri setlerinin hangi modelle analiz edileceği gerekli sayıltıların incelenmesi, model veri uyumu ölçütlerinin değerlendirilmesi, parametre kestirimlerinin amacının belirlenmesi aşamalarından sonra gerçekleştirilmelidir.

• Bölüm atıf bilgisi: Gören, S. (2025). Çok boyutlu madde tepki kuramına giriş. N. Güler, B. Atar & K. Atalay-Kabasakal (Ed.), R ile psikometri içinde. Pegem Akademi.

Kaynaklar

Braeken, J. (2010). A boundary mixture approach to violations of conditional independence. Psychometrika, 76(1), 57-76. doi:10.1007/s11336-010-9190-4

Chalmers, R. P. (2012). mirt: A multidimensional item response theory package for the R environment, 48. doi:10.18637/jss.v048.i06

Chen, C.-T. ve Wang, W.-C. (2007). Effects of ignoring item interaction on item parameter estimation and detection of interacting items. Applied Psychological Measurement, 31(5), 388-411. doi:10.1177/0146621606297309

Chen, W.-H. ve Thissen, D. (1997). Local dependence indexes for item pairs using item response theory. Journal of Educational and Behavioral Statistics, 22(3), 265-289. doi:10.2307/1165285

DeMars, C. E. (2012). Item Response Theory. Oxford University Press.

Desjardins, C. D. ve Bulut, O. (2018). Handbook of educational measurement and psychometrics using R. Chapman; Hall/CRC. doi:10.1201/b20498

Embretson, S. E. ve Reise, S. P. (2000). Item response theory. London, UK: Erlbaum Publishers.

Gibbons, R. D. ve Hedeker, D. R. (1992). Full-information item bi-factor analysis. Psychometrika, 57(3), 423-436. doi:10.1007/bf02295430

Hambleton, R. K. ve Swaminathan, H. (1985). Item response theory: Principles and applications. Springer.

Ho, T.-H. ve Dodd, B. G. (2012). Item selection and ability estimation procedures for a mixed-format adaptive test. Applied Measurement in Education, 25(4), 305-326. doi:10.1080/08957347.2012.714686

Keller, L. A., Swaminathan, H. ve Sireci, S. G. (2003). Evaluating scoring procedures for context-dependent item sets. Applied Measurement in Education, 16(3), 207-222. doi:10.1207/s15324818ame1603_3

Kim, D., De Ayala, R. J., Ferdous, A. A. ve Nering, M. L. (2007). Assessing relative performance of local item dependence (LID) indexes. Paper presented at the Annual Meeting of the National Council on Measurement in Education içinde. Chicago, IL.

Koziol, N. A. (2016). Parameter recovery and classification accuracy under conditions of testlet dependency: a comparison of the traditional 2PL, testlet, and bi-factor models. Applied Measurement in Education, 29(3), 184-195.

Li, Y., Bolt, D. M. ve Fu, J. (2006). A Comparison of alternative models for testlets. Applied Psychological Measurement, 30(1), 3-21. doi:10.1177/0146621605275414

Li, Y., Li, S. ve Wang, L. (2010). Application of a general polytomous testlet model to the reading section of a large-scale English language assessment ( No: 2). ETS Research Report Series (C. 2010, ss. i-34). Wiley Online Library. https://doi.org/10.1002/j.2333-8504.2010.tb02228.x adresinden erişildi.

Lord, F. M. ve Novick, M. R. (1986). Statistical theories of mental test scores (1nd bs.). Addison-Wesley, Menlo Park.

Reckase, S. E. (2009). Multidimensional item response theory. Psychology Press.

Sijtsma, K. ve Junker, B. W. (2006). Item response theory: Past performance, present developments, and future expectations. Behaviormetrika, 33(1), 75-102.

Sireci, S. G., Thissen, D. ve Wainer, H. (1991). On the reliability of testlet based tests. Journal of Educational Measurement, 28(3), 237-247. doi:10.1111/j.1745-3984.1991.tb00356.x

Thissen, D., Steinberg, L. ve Mooney, J. A. (1989). Trace lines for testlets: A use of multiple categorical response models. Journal of Educational Measurement, 26(3), 247-260. doi:10.1111/j.1745-3984.1989.tb00331.x

Thissen, D. ve Wainer, H. (2001). Test Scoring. Routledge.

Tuerlinckx, F. ve De Boeck, P. (2001). The effect of ignoring item interactions on the estimated discrimination parameters in item response theory. Psychological Methods, 6(2), 181-195. doi:10.1037/1082-989x.6.2.181

Wainer, H., Bradlow, E. T. ve Wang, X. (2007). Testlet response theory and its applications. Cambridge University Press.

Wainer, H. ve Kiely, G. L. (1987). Item clusters and computerized adaptive testing: A Case for testlets. Journal of Educational Measurement, 24(3), 185-201. doi:10.1111/j.1745-3984.1987.tb00274.x

Wainer, H. ve Wang, X. (2000). Using a new statistical model for testlets to score TOEFL. Journal of Educational Measurement, 37(3), 203-220. doi:10.1111/j.1745-3984.2000.tb01083.x

Wang, W. C., Chen, P. H. ve Cheng, Y. Y. (2004). Improving measurement precision of test batteries using multidimensional item response models. Psychological Methods, 9(1), 116-136. doi:10.1037/1082-989x.9.1.116

Wang, W. C. ve Wilson, M. (2005). The rasch testlet model. Applied Psychological Measurement, 29(2), 126-149. doi:10.1177/0146621604271053

Wang, X., Bradlow, E. T. ve Wainer, H. (2002). A general bayesian model for testlets: Theory and applications. Applied Psychological Measurement, 26(1), 109-128. doi:10.1177/0146621602026001007

Wilson, A. G. (1988). Applied research and development. Environment and Planning A: Economy and Space, 20(7), 849-849. doi:10.1068/a200849

Yen, W. M. (1984). Effects of local item dependence on the fit and equating performance of the three-parameter logistic model. Applied Psychological Measurement, 8(2), 125-145. doi:10.1177/014662168400800201

Yen, W. M. (1993). Scaling performance assessments: Strategies for managing local item dependence. Journal of Educational Measurement, 30(3), 187-213. doi:10.1111/j.1745-3984.1993.tb00423.x

Yilmaz-Kogar, E. ve Kogar, H. (2022). MPLUS ve R ile ileri düzey psikometri uygulamaları. Pegem Akademi.

Yuan, K. H., Cheng, Y. ve Patton, J. (2014). Information matrices and standard errors for MLEs of item parameters in IRT. Psychometrika, 79, 232-254.