👓 Ботанские новости

Исследователи представили Effective Model Pruning (EMP) - параметрическое правило, которое решает вечный вопрос обрезки нейросетей: сколько параметров оставить. Метод работает с любыми критериями важности - от магнитуды весов до внимания в трансформерах - и выдает универсальный адаптивный порог. Эксперименты показывают, что EMP сохраняет производительность моделей при сильном разреживании в MLP, CNN, Transformer и даже модных KAN. Ну что ж, теперь нейросети будут не только умными, но и экономными. Как говорится, семь раз отмерь - один раз отprune.