Главная страница

общение

Перейти на форум

Написать автору

события

Расписание

Приветствия

Пленарные заседания

"Круглые столы"

Мастерские

Участники конференции

Экспоненты выставки

Фотогалерея

секции

Оглавление

I.1, I.2, I.3

II.1, II.2, II.3, II.4

III.1, III.2

- IV -

- V -

- VI -

Непрошедшие экспертизу

Алфавитный список авторов

статистика
Рейтинг@Mail.ru Rambler's Top100 AllBest.Ru Яндекс цитирования

Вид доклада: [стендовый доклад и публикация]

ИТО-2001/Секция VI

ХАРАКТЕРИСТИКИ ДЛЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ ПРИМЕНЕНИЯ ОБРАЗОВАТЕЛЬНЫХ ТЕСТОВ

Моисеев Василий Борисович, Таранцева Клара Рустемовна, Пятирублевый Леонид Георгиевич

Пензенский технологический институт (ПТИ), г.Пенза

Предлагается набор вероятностных характеристик для оценки эффективности и сравнительного анализа образовательных тестов на этапе их разработки.

При реализации образовательных услуг исходными документами выступают государственный образовательный стандарт, учебный план и образовательная программа по учебной дисциплине, а одним из важных составляющих элементов образовательной услуги является оценивание знаний обучаемых (текущее, рубежное, итоговое и др.), которое может осуществляться традиционными и нетрадиционными методами. К последним относится образовательное тестирование.

В соответствии с современными представлениями образовательное тестирование возможно только тогда, когда образовательная информация по дисциплине может быть преобразована в образовательную статистическую совокупность с обязательным выделением такого элемента как единица образовательной совокупности. Наши исследования показывают, что далеко не всякая образовательная информация может быть преобразована в статистическую совокупность по причине сложности представления ее минимально допустимой дробной части в виде единицы совокупности. Это относится в большей части к гуманитарным учебным дисциплинам.

Задание теста невозможно составить без использования понятия единицы совокупности, обладающей достаточно четким количеством статистической образовательной информации. Только количество информации может объективно определять уровень сложности задания. В связи с этим теоретические исследования в этой области являются весьма актуальными.

Примем условие, что такая единица образовательной информации существует, а сами задания теста содержат в среднем W таких единиц с отклонениями от среднего на 1-2 единицы, поскольку специфика образовательной информации не позволяет выдержать в каждом задании их равное и точное значение. Аналогом может служить такая специфическая статистическая единица как семья, среднее количество членов которой существенно влияют на демографические характеристики общества. При этом к административным образованием среднее число членов семьи и отклонения от этой величины могут существенно различаться, что достаточно полно учитывается прикладной статистикой.

Таким образом, задание теста это часть образовательной совокупности, количественно выраженное через число единиц образовательной совокупности. Поскольку количество образовательной информации в настоящее время определяется временем на ее изучение то и на выполнение одного задания теста должно быть задано время, пропорциональное количеству единиц информации. При составлении заданий теста следует исходить из установившихся российских традиций, согласно которым вопросы для зачетов, учебные задачи и экзаменационные билеты в среднем однородны по сложности (трудности) и считается этически неоправданным составление вопросов и билетов отдельно для слабо подготовленных и отдельно для высоко подготовленных.

Банк заданий теста N(БТЗ) должен соответствовать количеству образовательной информации в учебной программе и реализованной в образовательной услуге. Если обучаемый отвечает на все задания в выборке теста n(ЗТ), то это свидетельствует о том, что исходное количество образовательной информации им воспринято, осмысленно и воспроизведено. Усложнять задания увеличением в них информации смысла не имеет, поскольку исходная образовательная информация первична и менять следует в первую очередь не задания теста, а исходную образовательную информацию в учебной программе или Государственном образовательном стандарте.

Представляет определенный теоретический интерес оценка эффективности образовательных тестов, составленных по одной учебной дисциплине разными разработчиками или при выделении образа уровня знаний, соответствующего традиционным лингвистическим оценкам неудовлетворительно, удовлетворительно, хорошо и отлично. Решение

такой проблемы достаточно актуально, поскольку после приема обучаемых в ВУЗ их оценки в баллах (или числах от 0 до100) необходимо преобразовать в традиционно лингвистические для получения соответствующей стипендии, оформление зачетных книжек и других документов.

Введем такое понятие как закон выполнения задания теста, составленного по альтернативному признаку (выполнено-невыполнено), который используется в тестах наиболее часто. В этом случае под законом выполнения задания теста понимается зависимость условной вероятности выполнения одного задания P(з) при условии, что на это понадобилось ровно m минут.

Если задачей тестирования является выполнение заданий теста, то показателем эффективности выполнения задачи W может быть вероятность выполнения задания P(з), т.е. W=P(з).

Для оценки эффективности выполнения задания теста можно воспользоваться показательным законом Z(m), который включает число минут m затраченное на выполнение задания и t-среднее необходимое время на выполнение задания.

Следует учитывать, что в общем случае вероятность выполнения задания теста зависит от количества в нем образовательной информации, числа ответов на задание n и числа правильных из них. Такую вероятность можно представить формулой академика А.Н. Колмогорова W(n), которая включает Pn,m-вероятность выполнения задания ровно за m минут при n ответах на это задание и закон выполнения L(m).

Обычно основной задачей образовательного тестирования является выполнение наибольшего числа заданий из выборки теста. Поскольку существующие нормы времени на оценивание знаний отдельного обучаемого весьма малы(15 минут на зачет и 20 минут на экзамен), то практически оценивание знаний всегда является выборочной процедурой. Считается общепринятым, что для объективного статистического выборочного контроля количество образовательной информации в выборке заданий теста должно быть не менее 10% от количества образовательной информации банка тестовых заданий (партий заданий) N(БТЗ), т.е. n(ЗТ)³0,1N(БЗТ).

В этом случае показателем эффективности может выступать математическое ожидание числа выполненных заданий n(ЗТ) в выборке n или вероятность выполнения не менее заданного числа заданий Rn из выборки n(ЗТ). В отдельных случаях показателем эффективности может выступать закон распределения числа выполненных (или невыполненных) заданий, выражаемый через совокупность вероятностей PN,n того, что будет выполнено заданий ровно М(m=1,2,3…n) из выборки n(ЗТ).

В общем случае математическое ожидание числа выполненных заданий N(ЗТ)ср=n(ЗТ)P(ТЗ).

Следующей характеристикой является вероятность выполнения Pn(ЗТ),M заданного числа заданий теста М из выборки n(ЗТ). Последней характеристикой является вероятность выполнения не менее заданного числа заданий Pn(ЗТ),k.

 Не все из предлагаемых характеристик эффективности выполнения заданий теста в полной мере отражают особенности тестовых заданий как объекта исследований, но приведенный подход апробирован в сходных условиях в подобных отраслях знаний, где применяется аппарат прикладной статистики и показал вполне приемлемые практические результаты, что позволяет рекомендовать приведенные характеристики для оценки эффективности выполнения образовательных тестов или их сравнительного анализа еще на этапе разработки.

Литература

  1. Моисеев В.Б., Пятирублевый Л.Г., Таранцева К.Р. Распознавание образа обучаемых по уровням их знаний в компьютерном тестировании. Сборник материалов Интернет-конференции ”Проблемы перехода классических университетов в систему открытого образования”, Москва, МЭСИ, 2001 c.131-137
  2. Моисеев В.Б., Усманов В.В., Пятирублевый Л.Г., Таранцева К.Р., Статистический подход к принятию решений по результатам тестирования для тестов открытой формы. Ж. ”Открытое образование”N1,2001,c.51-57
написать автору
Сервер поддерживается фирмой НПП "БИТ про"
Лучшие программы для образовательного процесса