Создание компьютерных тестов и диалоговых тренажёров

• ограничение времени на ответ и др.

Траектория тестирования – это порядок, в котором следуют вопросы теста на экране компьютера.

У каждой разновидности траектории есть свои сильные и слабые стороны.

Например, траектория отображения вопросов в прямой последовательности без возможности исправления уже выданного ответа вполне оправдана, когда последующий вопрос содержит в себе подсказку для ответа на предыдущий. Очевидно, что и применение «шпаргалок» для такого рода тестов будет наиболее эффективно.

Другой пример – изменение траектории тестирования в зависимости от результата ответа. Применение такого принципа позволяет, в частности, сократить количество вопросов в тесте: если обучаемый правильно отвечает на очень сложный вопрос, то можно не задавать ему простейшие вопросы по данной теме, сократив общий объем теста без потери достоверности контроля.

При постановке траектории тестирования в зависимость от выбранного варианта ответа можно строить многоходовые задания для создания сложных кейсов.

В последних двух случаях применение «шпаргалок» будет не очень эффективно ввиду сложности поиска ответов на заданных вопрос.

Обобщенно варианты выбора траектории тестирования представлены на рисунке 1.

Один из распространенных приемов реализации выборочного контроля знаний с сохранением репрезентативности контроля по всем изученным темам – это формирование «банка» (или группы) вопросов для каждой темы с последующей случайной выборкой определенного количества вопросов из каждой группы.

Пример возможной реализации таких настроек представлен на рисунке 2.

Траектория тестирования может изменяться в зависимости от результата ответа на вопрос, в том числе – приводить к досрочному завершению теста.

Пример возможной реализации таких настроек представлен на рисунке 3.

4. Дистракторы

В компьютерном тестировании технологически допустимо применять как закрытые, так и открытые вопросы. Однако, для целей автоматизированного контроля, безусловно, удобнее использовать различные вариации закрытых вопросов.

Для того, чтобы тест не превращался в примитивную «угадайку», в закрытые вопросы вводят дистракторы.

Дистрактор (от англиского «distract» – отвлекать) – неправильный, но правдоподобный вариант ответа в тестовых заданиях.

Дистракторы используются для отвлечения внимания участников оценки, которые либо плохо знакомы с предметом, либо совсем не знают правильный ответ и пытаются его угадать.

Для эффективной разработки необходимо понимать логику участника оценки:

• плохо знающие участники пытаются найти знакомые и подходящие к теме ответы;

• участники, полностью не знающие ответ, пытаются угадать ответ по формальным признакам (самый длинный ответ, самый умный ответ и т. п.).

Разработчик тестового задания должен создать дистракторы для обеих категорий участников.

Частая ошибка при разработке дистракторов – это «частичная правильность»: ситуация, когда «неправильный» ответ кажется неправильным только автору тестового задания. При этом непредвзятый анализ ответов может показать, что с определённой точки зрения дистрактор вполне можно назвать правильным ответом. Другая распространенная ошибка – это создание абсурдных или очевидных дистракторов.

Разработка дистракторов – это комплексная экспертная задача, которой может быть посвящен самостоятельный курс. В целом, следует выделить следующие базовые шаги создания дистракторов:

• выделение типичных ошибок, которые могут допустить обучаемые при ответе на конкретный вопрос теста;

• создание на их основе формулировок соответствующих дистракторов;

• апробация теста на контрольной группе обучаемых;

• статистический анализ полученных результатов;

• исключение дистракторов, которые обучаемые не выбирали или выбирали редко – как не работающих.

Готовый функционал для проведения такого статистического анализа выбираемых обучаемыми вариантов ответов предоставляет специализированный пакет для разработки контрольных тестов MyTestX.

5. Шаблоны тестовых вопросов

В настоящее время средства разработки электронных курсов поддерживают более двух десятков шаблонов стандартных тестовых вопросов. К наиболее распространенным из них относятся следующие:

• вопрос с единственным выбором;

• вопрос со множественным выбором;

• вопрос на определение по критерию «истина»/«ложь»;

• вопрос на установление соответствий;

• вопрос на расстановку в правильной последовательности;

• вопрос с открытым ответом.

Вопрос с предложением выбрать единственный вариант из предложенных ответов является классикой компьютерных тестов и поддерживается абсолютно всеми программными средствами.

При формулировании вопроса не забудьте указать на необходимость выбора одного варианта ответа. Пример настроек шаблона вопроса с единственным выбором в специализированном средстве разработки представлен на рисунке 4.

Вопрос с предложением выбрать несколько подходящих из предложенных вариантов ответов можно считать вторым по распространенности типом вопросов, который поддерживается большинством программных средств.

При формулировании вопроса не забудьте указать на возможность выбора нескольких вариантов ответа. Пример настроек шаблона вопроса с множественным выбором представлен на рисунке 5.

Вопросы на определение утверждения по критерию «истина»/«ложь» является вариацией вопросов с единственным выбором. Данный тип вопросов целесообразно применять в случаях, когда контекст не позволяет создать достаточное количество хороших дистракторов. Отличием применения данного шаблона по сравнению с шаблоном вопроса с единственным выбором является то, что в случае использования опции случайного перемешивания вариантов ответов в вопросе, варианты ответов «верно» и «неверно» перемешиваться не будут (см рисунок 6).

Вопрос на установление соответствий оптимально подходит для определения названий элементов по их визуальному представлению или текстовому описанию. Например, для определения автора по фотографии картины, установки соответствия аббревиатур и их расшифровок, и т. п. Для усложнения задачи в вопрос рекомендуется вводить дистракторы. Пример заполнения шаблона вопроса на установление соответствий (сопоставление) представлен на рисунке 7.

Вопросы на расстановку в правильной последовательности является вариацией вопросов на установление соответствие, в которых вместо определяемых элементов установлены порядковые номера. Данный тип вопросов оптимально подходит для проверки знаний в части последовательности выполнения технологических операций, а также любых регламентированных процедур. Пример заполнения шаблона вопроса на расстановку в правильной последовательности представлен на рисунке 8.

Вопросы с открытым ответом предполагают отсутствие предложенных вариантов ответов.

Для автоматизированной обработки вопросов данного типа важно, чтобы правильный ответ имел конечное число формулировок и мог быть безошибочно напечатан обучаемым в соответствующем поле ввода (см рисунок 9).

Вопросы с открытым ответом позволяют наряду с текстовыми значениями принимать числовой ответ, который можно проверять с использованием математических выражений. Это открывает широкие возможности для применения открытых тестовых вопросов в целях автоматизированной проверки результатов выполнения лабораторных работ, а также решений сложных естественно-научных задач (см рисунок 10).

Важным методическим моментом при разработке контрольных материалов для электронной образовательной среды является необходимость перед началом теста предоставить информацию о принципах тестирования: количестве и типах вопросов, возможности переходов между вопросами, принципах начислении баллов, возможности исправлений выданных ответов и т.п. (см рис. 11).

По завершению теста, учащийся должен иметь возможность видеть, как общий итоговый результат тестирования, так и иметь возможность разобрать допущенные в тесте ошибки. Это чрезвычайно важно с методической точки зрения, т.к. анализ ответов является одной из фаз закрепления полученных знаний (см. рис. 12)

Хочется отметить еще один простой прием добавления человеческих эмоций в электронный образовательный контент, на который вы, возможно, уже обратили внимание по предыдущим иллюстрациям: даже в тестах вы можете использовать изображения, поддерживающие эмоциональный контакт со студентом. Например, разместить там собственную фотографию или подходящее фото из фотобанка, отражающие радость от достигнутого результата, которую Вы разделяете вместе с тестируемым, или, наоборот, выразить огорчение от провала испытания (см. рис. 13).