Искусственный интеллект разгрыз очередной гранит науки

13.10.2023 12:45

Фото: 123RF/supatman

Искусственный интеллект разгрыз очередной гранит науки. YandexGPT 2 успешно сдал ЕГЭ по литературе для поступления в вуз. Это первый случай в России, когда генеративная нейросеть выполнила все задания госэкзамена, включая творческое.

Как ей это удалось, рассказал в интервью "Москва FM" представитель компании-разработчика Даниил Колесников.

Даниил Колесников

представитель компании-разработчика

Нам стало интересно, сможет ли модель справиться со сложными задачами, такими как ЕГЭ по литературе. Не просто сопоставить текст вопроса и ответ, но даже попробовать написать сочинение. Для этого мы взяли реальные тестовые задания по ЕГЭ, и сначала проверили, нет ли их в обучающих данных модели, чтобы быть уверенными, что она не знает правильных ответов. После чего модель ответила, написала свои сочинения, мы передали эти ответы настоящим экспертам ЕГЭ. Они уже выставили свои оценки и поставили итоговый балл. В результате YandexGPT получила средний балл, который позволяет ей поступить в университет. Мы очень довольны результатом и, конечно, будем продолжать развивать модель в будущем.

Оценка составила 55 баллов, а, чтобы поступить в вуз, достаточно было получить 40. Но это все равно меньше, чем в среднем набирают абитуриенты: их оценка – 64 балла.

Пройти ЕГЭ по такому предмету, как литература, действительно сложная задача для алгоритмов, отметила промпт-инженер коммуникационной компании "Михайлов и Партнеры" Алина Кочетова.

Алина Кочетова

промпт-инженер коммуникационной компании "Михайлов и Партнеры"

ЕГЭ по литературе это выпускной экзамен для YandexGPT 2. Такие задачи на порядок сложнее классических промпт-запросов. Задания в ЕГЭ составили так, чтобы проверить уровень реальных знаний и владения материалом. Так что полученный высокий бал говорит о качестве модели "Яндекса". Им удалось быстро обучить нейросеть, правильно интерпретировать задания и дать верные ответы. Вообще, очень полезно проводить подобные тестирования и испытания для искусственного интеллекта. Они мотивируют разработчиков брать новую и новую планку, наглядно показывают скорость развития технологий.

Новости про успехи нейросетей на ниве образования уже не редкость. В начале этого года ChatGPT-3 сдал экзамены по праву на четырех курсах Университета Миннесоты, а также тест по бизнес-менеджменту в Пенсильванском университете США. Также мы рассказывали об успешной защите диплома студентом РГГУ текст выпускной работы был создан с помощью искусственного интеллекта.

Технологическая революция в образовании требует ответных мер, и, вероятно, придется придумать новые задания для госэкзамена. В них должно появиться больше интерактивности, уверена основатель онлайн-школы по подготовке к ЕГЭ Вероника Смолер.

Вероника Смолер

основатель онлайн-школы по подготовке к ЕГЭ

По факту, нейросеть лишь собирает всю информацию и выдает готовое. То есть, новое не придумывает, это раз. Два: что мы будем с этим делать? Я думаю, что мои коллеги согласятся, что будем вводить что-то более интерактивное. Сейчас, да, нейросеть может полностью взять и выполнить любое задание. Следовательно, если мы будем вводить какие-то более интерактивные задания, если наконец появится устная часть на экзамене, то, к счастью, тогда мы избежим таких проблем с нейросетью.

Тем временем Рособрнадзор не видит угрозы для себя и образовательного процесса. Там напоминают: на экзаменах в школах нельзя использовать гаджеты.