👓 Ботанские новости

Исследователи представили Generalized Contrastive Learning (GCL) — метод, который решает проблему мультимодального поиска без создания специальных датасетов. Теперь модели вроде CLIP могут эффективно искать контент в любых комбинациях изображений и текста, используя обычные парные данные. Метод уже протестирован на нескольких моделях и бенчмарках, показав стабильное улучшение производительности. Ну что, похоже, эра узкоспециализированных моделей подходит к концу. Теперь один алгоритм сможет искать и котиков в картинках, и мемы по описанию, и научные статьи по схемам.