Круглый стол «Оценка эффективности образовательной деятельности преподавателя: возможности машинного обучения и анализа текстов»
Круглый стол «Оценка эффективности образовательной деятельности преподавателя: возможности машинного обучения и анализа текстов»
Круглый стол был проведен 24 мая 2021 г. и посвящен обсуждению моделей оценочных средств для определения качества образовательной среды.
На круглом столе был представлен доклад научной группы Санкт-Петербургского государственного университета (В.П. Захаров, А.В.Чижик, В.И. Фирсанова), ученые рассказали об опыте разработки алгоритма автоматической оценки эффективности образовательной деятельности, основанном на методах машинного обучения и анализа текстов. Модератором дискуссии выступил директор Центра технологий электронного правительства Андрей Владимирович Чугунов.
Мероприятие прошло в онлайн-формате.
Основной темой обсуждения стал анализ возможностей применения искусственного интеллекта (в т.ч. технологий machine learning и deep learning) для повышения качества образовательного процесса.
Участниками стола были обозначены актуальность проблемы разнообразного рода анализа образовательного процесса на предмет его эффективности, а также ряд существующих проблем на пути к успешному внедрению методов математического моделирования и искусственного интеллекта в функционирующие на данный момент системы оценки образовательного процесса.
Начиная мероприятие, А.В. Чугунов отметил, что данные о студентах и образовательной системе могут быть полезны для извлечения информации и, таким образом, получения знаний, которые помогают в принятии решений и улучшении образовательного процесса. Такими данными могут служить как количественные показатели (в том числе учет промежуточной успеваемости студента), так и полученная путем опросов информация.
В своем докладе В.П. Захаров подчеркнул, что прогнозирование успеваемости студентов очень важно для успеха любого учебного процесса, и использование методов машинного обучения позволяет решить задачу стека моделей, необходимого для одновременного использования разных типов признаков, поступающих на вход алгоритма (текстовые данные, категориальные и количественные переменные). Интеллектуальный анализ данных позволяет извлечь скрытую информацию или повторяющиеся шаблоны, поэтому целью совмещения нескольких моделей анализа данных в единый стек является выявление латентных факторов, влияющих на прогресс и регресс обучающихся, которые могут скрываться как в информации об успеваемости студентов, так, например, и в их отзывах об образовательном процессе. Это значит, что, прежде всего, применение методов интеллектуального анализа данных подразумевает создание рекомендательной системы для педагога, которую бы можно было использовать для оперативного изменения выбранной стратегии.
Развивая мысль, А.В. Чижик подчеркнула, что выделение фактов из ответов студентов на открытый тип вопросов, используемый в анкетировании, может объяснить влияние каждого фактора на прогресс образовательного процесса. При этом важным моментом является понимание разницы использования в качестве источника данных различного рода промежуточных контрольных мероприятий и отдельно проведенного опроса. По мнению исследователя второй вариант подразумевает раскрепощение студента при ответах на вопросы, а, значит, получение от него действительно релевантной информации для последующего анализа его действительного прогресса. В качестве доказательства полезности введения коротких опросов студентов для понимания уровня усвояемости информации при изучении дисциплины был продемонстрирован результат анализа ответов студентов, проходящих обучение на дисциплине «Информационное общество и цифровая экономика» (4 курс бакалавриата образовательной программы «Прикладная информатика в области искусств и гуманитарных наук», СПбГУ, 15 респондентов), рис. 1. С января по май 2020 года обучающимся с периодичностью 1 раз в неделю задавался вопрос, связанный с пониманием общей идеи курса. Полученный ответы анализировались nlp-методами, в результате был сформирован график плотности лексической дисперсии, который продемонстрировал прирост знаний, появляющиеся логические связи между специальными терминами (более яркие цвета и четкие очертания точек на графике указывают на более высокую концентрацию термина).
Рис. 1. Плотность лексической дисперсии (упоминание специальных терминов при ответах на серию вопросов открытого типа о содержании дисциплины)
Также были продемонстрированы результаты классического семантического картирования, подразумевающего сбор терминов в двух контрольных точках (начало обучение и конец), при этом студенты сами выделяют ключевые слова (термины записываются к якорному слову без использования повествования), рис. 2. Как подчеркнула А.В. Чижик, это приводит к слабой интерпретации результатов, так как становится невозможным отследить взаимодействие упомянутых терминов друг с другом, а также с уверенностью делать выводы об успешности модификации представления о ключевом понятии дисциплины с течением обучения. Кроме того, встает вопрос правомерности усреднение полученных данных, в то время как у первой стратегии такое усреднение выглядит оправданным, так как сам метод подразумевает обобщение.
Рис. 2. Пример семантического картирования студента в начале образовательного процесса (левый граф) и в конце (правый граф).
В заключении В.И. Фирсанова представила результаты опроса студентов, посвященного анализу их удовлетворенности использованием в образовательном процессе онлайн-сервисов (вопросы касались онлайн-обсуждений, проводимых в рамках дисциплины «Культура цифровой фотографии», 4 курс, бакалавриата образовательной программы «Прикладная информатика в области искусств и гуманитарных наук», СПбГУ, 7 респондентов), рис. 3.
Рис. 3. Распределение ответов закрытого типа
Студентам было дано четыре утверждения и три варианта ответа для каждого из них («не согласен», «нейтрально», «согласен»). Полученные данные свидетельствуют о полезности использования закрытых вопросов (категориальные признаки) для получения интерпретируемых результатов. В дальнейшем планируется разработать анкету, которая бы включала в себя все типы вопросов, и позволяла анализировать образовательный процесс более объемно.
Итогом круглого стола стало обсуждение перспектив совместных исследований и разработок в области системной поддержки принятия решений в рамках образовательного процесса.
