Google значительно расширила возможности ИИ-помощника Gemini, добавив в режим Gemini Live функцию Guided Vision — она позволяет в реальном времени анализировать изображение с камеры и искать объекты в кадре.

Guided Vision — это новая функция режима Gemini Live, которая даёт голосовые описания того, что находится перед камерой смартфона. Функция помогает подробно описать содержимое кадра и точно указать расположение нужных предметов.

Функция полезна в различных бытовых ситуациях:

• Поиск предметов дома. В примере Google пользователь наводит камеру на полку со специями и спрашивает, где находится орегано — ИИ точно указывает местоположение приправы и может направлять руку пользователя.

• Заказ в ресторане. В плохо освещённом заведении Guided Vision поможет прочитать меню и сделать заказ.

• Чтение мелкого текста. Функция справляется с чтением мелкого шрифта на этикетках продуктов.

Google предусмотрела механизмы для правильной работы функции: Gemini подскажет, если нужно изменить кадр, переместить камеру или расположить объект в центре. Голосовая обратная связь направит пользователя, чтобы перекадрировать снимок, панорамировать пространство или центрировать объект.

Guided Vision дебютировала в сентябрьском обновлении Android Drop 2026 года alongside другими нововведениями: возможностью Gemini запоминать местоположение вещей в Find Hub и интеграцией чек-листов Google Keep в «Сообщения».

Функция появится на смартфонах под управлением Android 9 и более новых версий в странах, где доступен Gemini. Guided Vision можно будет добавить в ярлыки специальных возможностей, активировать через меню TalkBack или в настройках приложения Gemini.