👓 Ботанские новости
технологии, открытия, исследования и разработки
🤖 ИИ-алхимики скрестили модели без супервизора: получается лучше, чем у тех, кто учился
ИИ-алхимики скрестили модели без супервизора: получается лучше, чем у тех, кто учился
Исследователи представили Expert Merging - метод слияния экспертных моделей без размеченных данных. Вместо ручной настройки коэффициентов или равномерного подхода к слоям, система сама учит веса для каждого слоя, выравнивая скрытые состояния и логиты. А улучшенная версия Expert Merging++ еще и определяет важность слоев, выделяя больше коэффициентов критичным участкам сети.
Ну что, похоже, эра дорогущего совместного обучения подходит к концу.
Как говорится, 'Семь моделей в одну слили - ни одной не задавили'.
#ИИ #ML #исследования