Content Balancing

۶۰

۱۷

ROP_17

MRP

۲/۰

Exposure control

Content Balancing

۶۰

۱۸

ROP_18

MTI

۲/۰

Exposure control

Content Balancing

۶۰

طراحی خزانه سؤال بهینه‌ی شبیه‌سازی شده برای آزمون انطباقی ریاضی بر اساس مدل تک پارامتری راش، بدون وارد کردن قیود تعادل محتوایی و بدون در نظر گرفتن کنترل مواجهه‌ بیش از حد سؤال، پهنای b-bin= 0.2

در این قسمت یافته‌های مربوط به شبیه‌سازی خزانه‌ی سؤال بهینه برای آزمون CAT ریاضی ۲۰ سؤالی در یک جمعیت ۶۰۰۰ نفری گزارش خواهد شد، سپس توزیع و اندازه‌ی خزانه‌ی بهینه‌ی ایجاد شده بر اساس روش bin-and-union مورد بررسی قرار خواهد گرفت. از آنجایی که هیچ یک از سؤالات در خزانه‌ی عملیاتی طراحی شده با مدل تک پارامتری برازش نداشتند، مبنایی برای مقایسه نتایج بدست آمده از این شبیه‌سازی با خزانه‌ی عملیاتی وجود نداشت. ولی به منظور تعمیم این روش به مدل دو و سه پارامتری، لازم است که در پژوهش حاضر اصول به کار رفته در شبیه سازی روش bin-and-union توسط ریکیسی ابتدا اجرا شود و سپس مبانی آن به مدل دو و سه پارامتری تعمیم داده شود.
نحوه‌ی شبیه‌سازی
ابتدا، یک آزمودنی به طور تصادفی از جمعیت موردنظر با میانگین صفر و انحراف معیار ۱ انتخاب شد. در این شبیه‌سازی فرض بر این بود که توانایی واقعی آزمودنی‌ها معلوم است. این توانایی‌ها در بازه ۴- تا ۴ با فواصل ۱/۰ از توزیع نرمال نمونه‌گیری شد. از آنجا که هیچ گونه اطلاعی در مورد عملکرد این آزمودنی وجود نداشت، توانایی اولیه‌ی او برابر با  قرار داده شد، بنابراین، پارامتر دشواری سؤال اولی که برای اجرا انتخاب شد برابر با  بود، زیرا سؤالی بود که بیشترین میزان آگاهی را در برآورد اولیه‌ی  در مدل راش ایجاد می‌کرد. در مجموع، فرایند انتخاب سؤال در شبیه‌سازی، با انتخاب سؤالی با پارامتر  شروع شد. و در واقع، برای همه‌ی آزمودنی‌ها در این شیوه‌ی CAT سؤال اول یکسان بود و با  و  شروع شد. اگر پاسخ اول آزمودنی صحیح بود، ۷۰/۰ به برآورد قبلی توانایی او اضافه می‌شد، و اگر پاسخ غلط بود، از برآورد قبلی توانایی او ۷۰/۰ کم می‌شد. به همین نحو، سؤالات برای این آزمودنی اجرا شد و پس از مشاهده‌ی پاسخ صحیح یا غلط در الگوی پاسخ او، روش برآورد توانایی، بر اساس بیشینه‌ی درست نمایی قرار گرفت و این فرایند ادامه یافت تا ۲۰ سؤال برای این آزمودنی اجرا شد. در مرحله‌ی بعد، سؤالات اجرا شده به bin های مربوطه اختصاص یافت. از آنجا که در این آزمون هدف این بود که ۹۹% بیشینگی آگاهی یا بهینگی برقرار شود، یعنی یک خزانه‌ی سؤال p-optimal با ملاک ۹۹% بیشینه‌ی آگاهی ایجاد ‌شود و دامنه‌ی متناظر در r-optimal برابر با ۲/۰ ‌باشد، بنابراین، پهنای bin برابر با ۲/۰ قرار داده شد و در این گام مقیاس پارامتر b به فواصلی با پهنای ۲/۰ تقسیم شد، و سپس تعداد سؤالاتی که برای هر فرد اجرا شد، در هر فاصله محاسبه شد.
اجرای شبیه‌سازی برای یک آزمودنی
برنامه برای نفر دوم از ۶۰۰۰ آزمودنی (در اینجا نفر اول گزارش نمی‌شود، چون برنامه به شکلی تعبیه شده که همیشه به صورت ثابت یک نفر از مرکز توزیع توانایی را به عنوان آزمودنی اول انتخاب کند، بنابراین ما از گزارش آزمودنی اول صرف ‌نظر خواهیم کرد)، توانایی واقعی برابر با  انتخاب کرد. فرض بر این بود که این آزمون CAT دارای یک خزانه‌ی سؤال نامتناهی است که شامل هر نوع سؤالی با پارامتر ممکن b می‌باشد. از آنجا که، از نحوه‌ی عملکرد آزمودنی هیچ اطلاعی در دسترس نبود، پارامتر b سؤال اول برابر با صفر قرار داده شد. چون، (  ) واقعی این آزمودنی در شبیه‌سازی معلوم بود، (  ) برای سؤال اولی (  ) که برای او اجرا شد، برای برنامه‌ی شبیه‌ساز قابل محاسبه بود. به دلیل اینکه، عدد تصادفی (  ) که از یک توزیع یکنواخت (  ) استخراج شد، از مقدار (  ) بدست آمده بزرگتر بود، پاسخ برابر با صفر درنظر گرفته ‌شد. و بنابراین، چون هنوز هیچ پاسخ صحیحی در الگوی پاسخ مشاهده نشده بود، از برآورد توانایی این آزمودنی، ۷۰/۰ کم شد. پارامتر b سؤال دومی که اجرا شد، برابر با  بود،  سؤال دوم نیز از عدد یکنواخت تصادفی کوچکتر بود، بنابراین، پاسخ این سؤال نیز صفر شد و پارامتر b سؤال سوم برابر با  شد. پس از اجرای سؤال سوم،  نیز از عدد تصادفی یکنواخت کوچکتر شد و پاسخ این سؤال نیز صفر شد. بنابراین، پارامتر b سؤال چهارم برابر با  شد. پس از اجرای سؤال چهارم،  از عدد تصادفی یکنواخت بزرگتر شد و پاسخ این سؤال ۱ شد. بنابراین، از این به بعد برای برآورد توانایی آزمودنی از روش بیشینه‌ی درست نمایی استفاده شد و پارامتر b سؤال پنجم برابر با  شد. این فرایند، تا پایان سؤال ۲۰ ادامه یافت. تا اینکه، فرایند اجرای CAT اتمام داده شد و نمره پایانی فرد، همان برآورد توانایی او به روش بیشینه‌ی درست نمایی قرار داده شد که برابر با  شد. در جدول ۴-۲، برآوردهای  و پارامترهای b بعد از هر پاسخ صحیح و غلط به آزمون، برای آزمودنی دومی که برنامه شبیه‌سازی کرده است، نشان داده شده است. این مجموعه از سؤالات با این پارامترهای b، مجموعه‌ای سؤال بهینه برای این آزمودنی در این طرح CAT می‌باشد. پس از این مرحله، چون، در این پژوهش قصد داشتیم که، یک خزانه‌ی p-optimal با ملاک ۹۹% بیشینه‌ی آگاهی طراحی کنیم، که دامنه‌ی متناظر آن در تعریف r-optimal برابر با (۰.۲-optimal) ‌‌باشد، یعنی، پهنای bin برابر با ۲/۰ ‌باشد- این مقادیر در اغلب تحقیقات نتایج بهینه‌ای ایجاد کرده است (ریکیسی، ۲۰۰۴، ۲۰۰۵؛ ریکیسی و هی؛ ۲۰۰۴، ۲۰۰۹) و گو (۲۰۰۷)-، پس از اینکه شبیه سازی ۲۰ سؤال برای این آزمودنی به اتمام رسید، مقیاس پارامترهای b ، که در این برنامه بازه‌ی آن از ۴- تا ۴ تعریف شد، به فواصل ۲/۰ تقسیم بندی شد، یعنی، مقیاس b به فواصلی با پهناهای ۲/۰ تقسیم شد. به این دامنه‌ها روی مقیاس “item bins” گفته می‌شود. یعنی، برای هر آزمودنی سؤالاتی که برایش اجرا شد بر اساس مقادیر پارامترهای b در این فواصل قرار گرفت، و تعداد سؤالات مورد نیاز برای او در هر فاصله شمرده شد. توزیع فراوانی سؤالاتی که برای آزمودنی با  اجرا شد، در جدول ۴-۳ و نمودار ۴-۱ آورده شده است. نتایج نشان می‌دهند که، دو سؤال در دامنه‌ی ۲- تا ۸۱/۱-، سه سؤال در دامنه‌ی ۶۰/۱- تا ۴۱/۱- ، ۴ سؤال در دامنه‌ی ۴۰/۱- تا ۲۱/۱- ، هفت سؤال در دامنه‌ی ۲۰/۱- تا ۰۱/۱- و دو سؤال در دامنه‌ی ۰۰/۱- تا ۸۱/۰- ، یک سؤال در ۸۰/۰- تا ۶۱/۰- و یک سؤال هم در توانایی صفر، برای این آزمودنی مورد نیاز می‌باشد. که این سؤالات از این لحاظ که توانایی واقعی آزمودنی برابر با  بود، معقول است، زیرا، برای این آزمودنی ۷ سؤال در دامنه‌ی توانایی واقعی‌اش قرار ‌می‌گرفت. برای این‌که این آزمودنی در آزمون CAT به ‌خوبی مورد اندازه‌گیری قرار گیرد، خزانه‌ی سؤال باید شامل این تعداد سؤالات تعیین شده در دامنه‌ی معین باشد.
جدول ۴-۲: توزیع پارامترهای b, a, c برای خزانه‌ی سؤال ایده‌آل برای آزمودنی با (  )

شماره سؤال

b-parameter /  - estimate

نمره‌ی سؤال (Item score)

a-parameter

c-parameter

۱

۰

۰

۰۰۰۰/۱

۰

۲

۷۰۰۰/۰-

۰

۰۰۰۰/۱