👓 Ботанские новости

Исследователи обнаружили, что разнообразные модели глубокого обучения, даже при разных наборах данных и начальных значениях, всё равно сходятся в один общий низкоразмерный подпространственный «клуб» параметров. Об этом говорят результаты масштабных экспериментов с более чем 1100 моделями, включая 500 LoRA‑версий Mistral‑7B, 500 Vision Transformer и 50 LLaMA‑8B, проанализированных спектральными методами. Видимо, нейросети любят держать свои тайные встречи в едином подполье.