YandexGPT 2 сдала ЕГЭ по литературе и набрала балл, достаточный для поступления в вуз

Нейросеть YandexGPT 2 решила несколько вариантов ЕГЭ по литературе, и ее усредненная оценка составила 55 баллов. Таким образом она перешагнула минимальный порог для поступления в вуз — 40 баллов — и приблизилась к среднему среди школьников — 64 баллам, сообщает команда Яндекса.

YandexGPT 2 стала первой нейросетью в России, которая выполнила все задания ЕГЭ, включая творческое. В первой части экзамена она анализировала произведение и отвечала на вопросы о нем, во второй — писала сочинение на заданную тему.

Затем команда Яндекса внесла решения нейросети в бланки и отправила на проверку официальным экспертам ЕГЭ по литературе.

«Стандартным тестом для оценки эрудиции языковых моделей в мире считается MMLU: он включает вопросы разной степени сложности из 57 областей знания. Так можно объективно сравнить несколько нейросетей, но нельзя оценить качество их ответов на открытые или творческие вопросы. Именно поэтому мы предложили YandexGPT 2 сдать ЕГЭ по литературе. Его задания тесно связаны с текстом, языком и пониманием культурного контекста», — отметил технический директор Поиска Алексей Гусаков.

При этом в базе данных, которая применялась для обучения YandexGPT, не было ответов на вопросы ЕГЭ по литературе за прошлые годы. То есть нейросеть решала задания практически также, как школьники: отвечала на открытые вопросы или выбирала один из предложенных.

«Школьники тщательно готовятся к ЕГЭ и глубоко погружаются в специфику экзамена. Нейросеть не делала этого, ее подход похож на ситуацию, когда взрослый человек решает задания, опираясь только на накопленные знания. Результаты YandexGPT 2 показывают ее эрудицию и способность анализировать информацию», — добавил директор Московского центра непрерывного математического образования Иван Ященко.

Напомним, Яндекс представил YandexGPT 2 в сентябре. Новая версия языковой модели отвечает на запросы пользователей на 67% лучше, чем предыдущая.