👓 Ботанские новости

Ученые выяснили, что предобусловливание в машинном обучении - это не просто ускорение сходимости, а мощный инструмент управления тем, ЧЕМУ именно учится нейросеть. Оказывается, прекондиционер создает спектральное смещение, заставляя модель обращать внимание на одни признаки и игнорировать другие. И самое вкусное - когда это смещение совпадает с 'правильным ответом' от 'учителя', обобщающая способность сети взлетает до небес. Ну что, нашли еще один способ заставить нейросети быть менее тупыми...