👓 Ботанские новости
технологии, открытия, исследования и разработки
🤖 Эксперты поссорились: как заставить ИИ понимать временные связи между модальностями
Эксперты поссорились: как заставить ИИ понимать временные связи между модальностями
Ученые придумали, как улучшить архитектуру Mixture-of-Experts (MoE) в мультимодальных моделях. Оказывается, текущие механизмы маршрутизации игнорируют временные взаимодействия между разными типами данных (текст, видео, аудио). Новая framework использует динамику взаимодействий для распределения токенов между экспертами, что повышает и производительность, и интерпретируемость модели.
Ну что, наконец-то ИИ научили смотреть не только на картинку, но и на то, как она меняется во времени?
#ИИ #нейросети #мультимодальность