Компания OpenAI объявила о создании новой команды, в которую войдут лучшие исследователи и инженеры в области машинного обучения. Целью команды будет разработка масштабируемых методов обучения, которые позволят суперинтеллектуальному искусственному интеллекту не выйти из-под контроля.

В заявлении OpenAI говорится, что суперинтеллект станет "самой влиятельной технологией", когда-либо созданной человеком, и что он поможет решить многие мировые проблемы. К сожалению, OpenAI также считает, что развитие ИИ несет и ряд опасностей для человечества, включая проблему контроля ИИ, потерю рабочих мест и умственную деградацию.

Компания заявила, что в настоящее время у нее нет возможности управлять или контролировать сверхинтеллектуальный ИИ. Для текущих моделей ИИ OpenAI использует обучение с подкреплением и человеческую обратную связь, которые предполагают контроль ИИ со стороны человека.

В конечном счете, OpenAI считает, что люди не смогут контролировать системы ИИ, которые будут намного умнее нас, что сделает нынешние методы выравнивания излишними. Для решения этой проблемы OpenAI собирает новую команду Superalignment.

Superalignment будет иметь доступ к 20% вычислительных мощностей, которые были обеспечены на данный момент. На решение проблемы выравнивания суперинтеллекта OpenAI планирует затратить до четырех лет.