Исследование: разработчики не занимаются специальной оптимизацией моделей под бенчмарки

Исследователь провел анализ семи передовых AI-моделей, генерируя 1008 изображений животных на транспорте, чтобы проверить, не проводят ли лаборатории скрытую оптимизацию под известные бенчмарки (так называемый "пеликанмаксинг"). Результаты показали, что пеликан на велосипеде занял 42-е место из 48 возможных, что указывает на отсутствие целевой настройки моделей под этот неформальный тест сообщества.