Ученые Apple разработали технологию RubiCap — метод обучения ИИ-моделей описывать изображения детальнее и эффективнее, чем крупные аналоги. Суть подхода: чтобы сформировать точное и подробное описание кадра, необходимо распознать множество объектов и областей в изображении, что позволяет понять композицию на более глубоком уровне и отразить её в деталях.
Такой навык полезен для обучения производных моделей, создания генераторов по текстовому описанию и разработки специальных функций. Однако создание систем подробного описания картинок обходится дорого как на этапе базового обучения, так и при обучении с подкреплением. Чтобы решить эти проблемы, инженеры Apple случайно отобрали 50 000 изображений из обучающих наборов PixMoCap и DenseFusion-4V-100K. Для каждого кадра описания генерировали существующие модели с возможностями компьютерного зрения, включая Google Gemini 2.5 Pro, OpenAI GPT-5, Alibaba Qwen2.5-VL-72B-Instruct, Google Gemma-3-27B-IT и Alibaba Qwen3-VL-30B-A3B-Instruct; свои же модели Apple формировали собственные подписи. Затем Gemini 2.5 Pro в роли эксперта повторно анализировала изображения и варианты подписей, сравнивая их с результатами обучаемой модели и определяя, какие детали учтены, а какие пропущены или искажены. Для формирования критериев оценки выступала модель Qwen2.5-7B-Instruct, выступавшая в роли судьи и вырабатывавшая сигнал вознаграждения.
В результате обучаемая система получала точную обратную связь о том, что нужно исправлять, что позволило генерировать всё более точные описания без привязки к единственному «правильному» варианту. В итоге Apple выпустила три собственные модели — RubiCap-2B, RubiCap-3B и RubiCap-7B, на 2, 3 и 7 миллиарда параметров соответственно.
В задачах описания изображений они показали более высокое качество по сравнению с аналогами от других разработчиков, у которых использовано 32 миллиарда и даже 72 миллиарда параметров. Примечательно, что RubiCap-3B иногда превосходил RubiCap-7B — что демонстрирует, что размер модели не всегда определяет её эффективность.
