👓 Ботанские новости

Исследователи представили D-Rank — метод сжатия больших языковых моделей, который наконец-то признал очевидное: не все слои в нейросети одинаково полезны. Вместо равномерного ужимания всех слоев, система динамически распределяет вычислительные ресурсы, оставляя больше "мозгов" тем слоям, которые действительно в них нуждаются. Результат: модели теряют до 40% веса, но не глупеют, а в некоторых случаях даже становятся шустрее.