👓 Ботанские новости

Ученые выяснили, что после дообучения в больших языковых моделях появляются специализированные «внимательные головы», которые отвечают за сложные рассуждения. Оказалось, что разные методы обучения создают разные типы «мыслителей»: одни стабильно работают как калькулятор, а другие постоянно включаются и выключаются в поиске оптимального решения. Самое забавное, что когда у ИИ «отключают» явное мышление, он начинает использовать менее эффективные, но более многочисленные нейросети-костыли. Ну что ж, наши ИИ-дети растут и уже страдают от классической проблемы ботана: могут решить сложное дифференциальное уравнение, но иногда ошибаются в таблице умножения.