Microsoft выпустила обновление функции Copilot Vision для участников программы Windows Insiders, которое позволяет инструменту на основе искусственного интеллекта анализировать все, что отображается на экране компьютера.

Ранее Copilot Vision поддерживал просмотр интерфейса до двух приложений с возможностью связывать их данные, но теперь может анализировать весь рабочий стол или "любое конкретное окно браузера или приложения", сообщили в компании. В отличие от функции Recall, которая автоматически делает регулярные снимки экрана, Copilot Vision работает по принципу демонстрации экрана во время видеозвонка.

Функция активируется нажатием на значок с изображением очков в приложении Copilot, после чего пользователь выбирает необходимый рабочий стол для анализа. Microsoft утверждает, что Copilot Vision "помогает анализировать контент, предоставлять полезную информацию и отвечать на вопросы, как что-либо сделать.

Он может давать советы по улучшению творческих проектов, помогать в составлении резюме или предоставлять инструкции по освоению новой игры". Изначально Copilot Vision работал только в браузере Edge, имея доступ к просматриваемым страницам, но позже его действие распространилось на программное обеспечение под Windows. Существует также мобильная версия Copilot Vision, которая позволяет ИИ отвечать на вопросы о том, что находится в поле зрения камеры смартфона.