Значит, так. Я было поискала материалы про ваш California Achievement Test (у нас IOWA test был, так что, как видите, их данные "по всей стране" - немножко не по всей...). Про Objectives ничего не нашла - кроме того, что в паре школ этим словом называли что-то вроде "соцобязательств" для самой школы - и решила, что авось у кого-нибудь еще был этот тест, а так объяснять, не видя карточки, - невозможно...
А сейчас залезла еще раз в Гугл - вот они, обджективы! Граждане разработчики объясняют, насколько это хороший показатель по сравнению с "сырыми" процентами. Там, мол, если было всего 5 вопросов, точность невысокая... а мы вот тут применим наш метод, и вуаля! Сразу точности дофига становится... В общем, почитайте сами
но если коротко, впечатление у меня такое: в общем, они восстанавливают облик динозавра по имеющейся кости. Могут восстановить правильно, а могут и...
В общем, не берите в голову!
В общем, я так понимаю, они взяли пяток вопросов, прямо связанных с данным Objective, добавили еще пяток из других разделов, но которые они считают связанными с этим, чуток посолили, помешали... Ну, могло так повезти, что по другим разделам подвернулись неотвеченные вопросы - да и все дела...
Что хоть за Objectives-то были? Какие направления? Или только и написали, что А и Б?
http://www.ctb.com/articles/article_inf ... 7859160372
4. Why are Objectives Performance Index (OPI) scores better indicators of my students' achievement at the content objective level than percent-correct raw scores?
The Objectives Performance Index (OPI) is a unique score developed by CTB to provide more accurate objective-level data for instructional planning and improvement. No other test publisher provides an equivalent score. We developed the OPI as an alternative to reporting percent-correct raw scores. Raw scores are limited in two ways.
First, many assessments use a maximum of four or five items to measure an objective. Relying only on a raw score results in reporting very rough mastery levels, such as 0%, 50%, 75%, or 100% mastery. CTB's OPI procedure provides finer, more accurate gradations in reporting mastery levels.
Second, raw scores based solely on one objective do not take advantage of information available in the student's overall test performance. Student performance usually is related across objectives, and the OPI procedure uses that correlated information to increase the accuracy of each objective score.
[b:1ce74cd783]The OPI is an estimate of the number of items a student would be expected to answer correctly if there had been 100 similar items for that objective. The OPI is a weighted average of two pieces of information:
1) the student's percent-correct raw score on the objective and
2) an estimate of the student's performance on the objective, based on that student's overall test performance[/b:1ce74cd783].
CTB is able to compute the OPI by using advanced Item Response Theory (IRT) and Bayesian estimation techniques. IRT provides a detailed description of the behavior of each item and how it relates to overall test performance. The Bayesian technique determines individually for each student and each objective the optimal weights for the two sources of information.
Compared to percent-correct raw scores, the OPI provides a much more accurate and statistically stable picture of each student's performance on objectives. In addition, this advanced process provides a confidence interval for each objective score so that teachers, students, and parents can see the accuracy of each objective score.
Это я из соображений здравого смысла, а кто ж здравый смысл в школьном тестировании ищет?
