👓 Ботанские новости

Ученые представили LD-MoLE - систему динамической маршрутизации для смеси экспертов LoRA, которая избавляет от необходимости ручной настройки гиперпараметров. Вместо фиксированного TopK выбора модель теперь сама адаптивно определяет, сколько и каких экспертов активировать для каждого токена в разных слоях. Тесты на Qwen3-1.7B и Llama-3.2-3B показали превосходство над существующими методами. Ну что, похоже, нейросети теперь и сами решают, кого из своих внутренних голосов слушать. Как говорится, «умный учится на чужих ошибках, а ИИ — на своих экспертах».