Главная страница

общение

Перейти на форум

Написать автору

события

Расписание

Приветствия

Пленарные заседания

"Круглые столы"

Мастерские

Участники конференции

Экспоненты выставки

Фотогалерея

секции

Оглавление

I.1, I.2, I.3

II.1, II.2, II.3, II.4

III.1, III.2

- IV -

- V -

- VI -

Непрошедшие экспертизу

Алфавитный список авторов

статистика
Рейтинг@Mail.ru Rambler's Top100 AllBest.Ru Яндекс цитирования

Вид доклада: [стендовый доклад и публикация]

ИТО-2001/Секция VI

ПРИНЦИПЫ ИНТЕЛЛЕКТУАЛЬНОГО АВТОМАТИЗИРОВАННОГО ТЕСТИРОВАНИЯ ЗНАНИЙ

Рудинский Игорь Давидович

Калининградский государственный технический университет (КГТУ), г.Калининград

Рассматриваются и анализируются проблемы современных автоматизированных систем тестирования. Предлагается подход к организации тестирования, связанный с применением методов интеллектуальных вычислений и инженерии знаний. Формулируются принципы интеллектуального тестирования, положенные в основу нового класса программных систем контроля и оценивания знаний.

Современное состояние отечественной системы образования характеризуется достаточно высокой насыщенностью высших и других учебных заведений средствами вычислительной техники, что заставляет задуматься над эффективностью ее применения в учебном процессе. Одно из наиболее распространенных направлений — создание и эксплуатация автоматизированных систем контроля знаний (АСКЗ). В настоящее время известно множество практических реализаций систем автоматизированного тестирования как по отдельным дисциплинам (предметные тесты), так и универсальных систем оценивания знаний (т.н. “конструкторы тестов”), полностью или частично инвариантных к конкретным дисциплинам и допускающих их информационное наполнение преподавателями — организаторами тестирования.

Анализ эффективности автоматизированного тестирования в высших и других учебных заведениях показывает, что многие преподаватели настороженно и даже негативно относятся к подобным системам. Среди наиболее существенных недостатков современных подходов к автоматизированному тестированию, называемых в качестве причин такого отрицательного отношения, можно отметить:

  • необходимость формулирования вариантов ответов на тестовые задания по принципу “один абсолютно правильный” — “N абсолютно неправильных”. Это не дает возможности организовать полноценное тестирование по слабо формализованным дисциплинам, для которых характерна диалектичность знаний (дисциплины общественно-политического, гуманитарного, социально-экономического и т.п. циклов);
  • примитивность и негибкость процедур расчета итоговой оценки, сводимых либо к определению отношения количества правильных ответов к количеству заданных вопросов, либо к суммированию баллов, назначаемых за каждый правильный ответ;
  • невозможность автоматизации разнообразных методик контроля знаний, широко применяемых в педагогической практике (оценка широты либо глубины знаний, учет относительной важности отдельных тем или разделов изучаемой дисциплины, выбор сложности теста с учетом уровня подготовленности и самооценки тестируемого, стимуляция правильных ответов и т.п.);
  • значительная трудоемкость ручного формирования такого множества тестовых заданий и вариантов ответов на каждое из них, которое позволит исключить или минимизировать вероятность предъявления одного и того же задания различным тестируемым при параллельной проверке их знаний.

Особенно ярко указанные недостатки автоматизированного тестирования проявляются при контроле знаний по дисциплинам гуманитарного, социально-экономического и общественно-политического циклов. Степень формализации знаний по этим дисциплинам в силу диалектичности слишком низка, чтобы их наличие могло определяться по тому, насколько хорошо помнит экзаменуемый отдельные факты, точные определения или конкретные формулы и правила их применения.

Исходя из необходимости повышения эффективности учебного процесса и из возможности применения современных информационных технологий наиболее перспективным и целесообразным представляется автоматизация процесса педагогического тестирования. Высокая степень формализации и унификации процедуры тестирования, возможность одновременного проведения тестирования на нескольких компьютерах, а также возможность организации дистанционного тестирования посредством локальной вычислительной сети либо через глобальную информационную сеть Интернет предопределили всеобщий интерес к подобному способу оценивания знаний.

Определенный интерес представляет выявление роли и значимости тестирования на различных этапах контроля и оценивания знаний, а также его применимость при изучении различных дисциплин. Не вызывает сомнений целесообразность применения традиционных АСКЗ при изучении дисциплин, ориентированных на усвоение обучаемыми конечного множества фактов либо однозначно трактуемых правил. Примером подобной ситуации можно считать экзамен на знание правил дорожного движения. Практически безальтернативным представляется применение таких АСКЗ при проведении массового одновременного государственного тестирования знаний выпускников средних школ, хотя руководители центров тестирования отмечают большое количество конфликтов, связанных с оцениванием знаний по дисциплинам языкового цикла, для которых характерна неоднозначность некоторых “истинных” ответов даже с точки наиболее опытных преподавателей-предметников. АСКЗ широко применяются для уменьшения трудоемкости текущего контроля знаний по естественно-научным и техническим дисциплинам (т.н. “срезы”), цель которого состоит в оперативной и массовой проверке остаточных знаний большого количества обучаемых в доэкзаменационный период.

Можно утверждать, что процедуры “классического” тестирования, основанные на парадигме “один абсолютно правильный ответ — N абсолютно неправильных ответов” и выводе итоговой оценки из соотношения количества правильных ответов и заданных вопросов, неадекватны представлениям большинства преподавателей о процессе оценивания знаний. Для многих дисциплин, знания в которых носят принципиально нечеткий характер и не могут быть сведены к однозначным формулировкам (например, дисциплины гуманитарного или общественного циклов), они вообще оказываются неприменимыми.

Следовательно, АСКЗ будет признаваться конкретным преподавателем эффективным инструментом промежуточного или итогового контроля знаний только в том случае, если она будет: а) содержать информационную модель предметной области, релевантную предметным знаниям организатора тестирования в период проведения контроля; б) обладать возможностью учитывать неполные или не совсем точные ответы; в) содержать адаптивную и управляемую преподавателем процедуру выявления знаний, анализа их глубины и качества с последующей реконструкцией на этой основе информационной модели обучаемого; г) выводить итоговую оценку знаний обучаемого по результатам сопоставления эталонной модели, содержащейся в АСКЗ, с реконструированной моделью, построенной по ответам обучаемого.

Построение такой АСКЗ требует применения принципиально иных подходов к представлению и обработке знаний. Сформулируем основные принципы построения АСКЗ нового поколения, основанные на методах и моделях, развиваемых в рамках теории интеллектуальных вычислений и инженерии знаний. Эти принципы определяют концепцию интеллектуального тестирования, более адекватную представлениям преподавателя о требуемой организации процесса контроля и оценивания знаний и позволяющую реализовать неформализованные ранее педагогические приемы и методики:

  1. Переход от задания истинности предлагаемых вариантов ответов в категориях двоичной логики (“правильно — неправильно”) к более общей и универсальной схеме оценивания ответов функциями предпочтения, определяемыми в категориях нечеткой логики. Заметим, что такой переход не отрицает и традиционный подход, поскольку в соответствии с современными представлениями двоичная логика может считаться частным (точнее, вырожденным) случаем нечеткой логики.
  2. Переход от индивидуального организации теста к коллегиальной экспертной подготовке всех его этапов, что увеличит доверие конечных пользователей к АСКЗ и повысит валидность результатов тестирования.
  3. Количественное определение сложности и важности каждого тестового задания по пропорциональной цифровой шкале, что даст возможность повысить объективность оценивания демонстрируемых знаний.
  4. Разбиение множества тестовых заданий на тематические подмножества, элементы которых семантически коррелируют друг с другом, с обязательным ранжированием как тестовых заданий внутри каждого подмножества, так выделенных подмножеств между собой. Реализация этого принципа создаст объективную основу для формализации ряда применяемых в настоящее время “ручных” методик контроля знаний — таких, например, как оценивание широты или глубины знаний, тесты повышенной или пониженной сложности и т.п.
  5. Переход от характерного для современных АСКЗ использования программно реализованных алгоритмов прямого тестирования (при котором выбор очередного задания практически не зависит от ответов тестируемого на предыдущие вопросы) к их модульному конструированию при подготовке теста, а также к построению алгоритмов адаптивного тестирования, обусловливающих выбор очередного i-го задания ответами обучаемого на предыдущих (i — 1)-м, (i — 2)-м, ..., и т.д. шагах теста. Реализация этого принципа позволит формализовать широко применяемые в педагогической практике методики дополнительных, наводящих и уточняющих вопросов.
  6. Построение, унифицированное описание и однотипная реализация в рамках одной и той же ИАСКЗ набора алгоритмов тестирования, реализующих различные методики контроля знаний, и предоставление организатору тестирования возможности выбирать в конкретной ситуации те из них, применение которых либо предписывается нормативными документами, либо определяется его собственными предпочтениями.
  7. Создание инструментария для построения, настройки и модификации различных шкал итогового оценивания знаний, включая как возможность изменения количества и ширины оценочных интервалов, так и определение и варьирование зон неопределенности оценок. Это дает возможность организовать параметрический анализ валидности промежуточных и итоговых результатов тестирования.
  8. Автоматизация наиболее трудоемкого этапа подготовительной стадии тестирования, связанного с формированием множества тестовых заданий и вариантов ответов на них. Базис этой процедуры могут составить, в частности, формализованная модель знаний по изучаемой дисциплине, представленная в виде структурированной семантической сети, и известные из инженерии знаний фрейм-технологии.

Практическое осуществление предлагаемых принципов позволяет говорить о создании нового класса систем тестирования — Интеллектуальных автоматизированных систем контроля знаний (ИАСКЗ). Пилотная версия такой системы реализуется под руководством автора в Калининградском государственном техническом университете.

написать автору
Сервер поддерживается фирмой НПП "БИТ про"
Лучшие программы для образовательного процесса