AI уже захватил софт, а компании впихивают ИИ в свои программы, словно в них ставят мотор от ракеты. При этом большие языковые модели дают ответы так же непредсказуемо, как погода в Сибири, и традиционный тестинг падает в астрал. Ну вот, теперь тестировщики могут стать шаманами, а как сказали бы старики: без багов – как без кофе, бессмысленно.
Kaggle, устав от скучных стандартных тестов, открывает Community Benchmarks — теперь любой желающий может придумать собственный набор метрик и выставить их на всеобщее обозрение. Платформа, принадлежащая Google, обещает лёгкость создания, запуска и шаринга бенчей, так что готовьте свои уникальные таблицы лидеров, пока они не превратятся в очередной интернет‑мем. Ну, дождались, а теперь судите модели, как судят котов — «кто в дом, тот и хозяин».