15 мая в Москве прошло масштабное мероприятие, посвященное теме искусственного интеллекта — VII Международный научный форум «Шаг в будущее: глобальный форсайт, искусственный интеллект и стратегическое лидерство». Он посвящён развитию технологий искусственного интеллекта (ИИ) и достижению стратегического лидерства в условиях глобализации и геополитических вызовов.

Форум собрал ведущих экспертов в области ИИ, что позволило обеспечить высокий уровень дискуссии и всестороннее рассмотрение ключевых вопросов. В ходе мероприятия обсуждались наиболее актуальные и важные темы, определяющие дальнейшее развитие сферы ИИ, а также предлагались инновационные решения для преодоления существующих вызовов.

В мероприятии активное участие принял Игорь Мамоненко, генеральный директор ГК "БелХард". Он выступил с важной для отрасли темой "Контроль хаотичного поведения нейросетей с помощью формальный семантик OSTIS в гибридных системах".

— С развитием искусственного интеллекта всё острее становится проблема недетерминированности и потенциальной опасности автономных нейронных сетей. Современные ИИ-модели способны к самообучению и адаптации, что делает их мощным инструментом, но одновременно порождает риски, связанные с некорректными выводами, отклонением от заданных целей и даже угрозой бунта системы против человека. Решением этой проблемы может стать внедрение семантического "кокона", обеспечивающего логический контроль над действиями нейросети. Одной из наиболее перспективных платформ для реализации такого подхода является технология OSTIS (Open Semantic Technology for Intelligent Systems).

Проблема: ограничения современных нейронных сетей.

Нейронные сети демонстрируют выдающиеся результаты в задачах распознавания образов, машинного перевода, прогнозирования и принятия решений. Однако они имеют и ряд фундаментальных недостатков:

1. Чёрный ящик — внутренние процессы сложно интерпретировать, а причинно-следственные связи не всегда понятны;

2. Недетерминированность — при одинаковых входных данных система может давать разные выходы;

3. Логическая некорректность выводов — нейросети могут принимать решения, нарушающие логическую согласованность и здравый смысл;

4. "Галлюцинации" — при недостаточности вычислительных средств или данных нейронная сеть может давать ответы, которые не соответствуют действительности;

5. Риск бунта нейросети — нейронные сети наделены возможностью постоянно переучиваться, чтобы улучшить качество своей работы. Это осуществляется путем автономного изменения нейронной сетью значений весовых коэффициентов, ослабляющих или усиливающих сигналы между нейронами. Эти процессы не контролируются извне и не исключено, что они могут привести к возникновению версии нейронной сети, поведение которой будет противоречить интересам пользователя или общества. Такие случаи уже известны.

Эти особенности особенно критичны в таких областях, как медицина, право, военная отрасль и управление автономными системами, где ошибки ИИ могут иметь катастрофические последствия.

Решение: гибридные ИИ-системы.

Для преодоления указанных проблем предлагается использовать гибридные ИИ-системы, сочетающие преимущества нейросетевых моделей и формализованных семантических технологий. Такие системы состоят из двух ключевых компонентов:

- Нейронная часть — отвечает за обработку данных, обучение и адаптацию;

- Семантическая часть — обеспечивает проверку логической корректности выводов, контролирует соответствие целям и правилам, установленным человеком.

Важной особенностью такой архитектуры является возможность создания семантического кокона, который окружает нейросеть и предотвращает выход за рамки заранее заданных норм.

OSTIS: платформа для построения семантического кокона.

Технология OSTIS представляет собой открытую платформу для построения интеллектуальных систем на основе формализованных знаний. OSTIS обладает рядом уникальных свойств, делающих ее идеальной основой для реализации семантического кокона.

Формализация знаний через SC-нотацию.

SC-нотация — это строго определенный язык представления знаний, позволяющий записывать информацию в виде формальных конструкций, которые могут быть обработаны и проверены логически. Это исключает неопределенность, характерную для нейросетей.

Объяснимость выводов.

Все этапы рассуждений в OSTIS сохраняются и доступны для анализа. Это позволяет человеку понимать, почему была принята та или иная рекомендация или решение, что особенно важно в ответственных сферах.

Гибкая интеграция с внешними модулями.

OSTIS поддерживает взаимодействие с различными типами ИИ-компонентов, включая нейронные сети, экспертные системы и базы данных, благодаря универсальному SCI-интерфейсу.

Интероперабельность и масштабируемость.

Платформа позволяет создавать многофункциональные ИИ-системы, объединяющие разнородные источники информации и алгоритмы. Благодаря своей модульной архитектуре OSTIS удобна для долгосрочных проектов, требующих развития и адаптации.

Построение гибридной системы на основе OSTIS.

Гибридная система на основе OSTIS работает следующим образом:

1. Нейросеть получает данные и формирует вывод;

2. Этот вывод кодируется в виде SC-конструкции и передается в семантический кокон;

3. Семантическая часть проверяет вывод на соответствие логическим правилам и этическим нормам;

4. При необходимости вывод корректируется или блокируется;

5. Все этапы сохраняются и объясняются пользователю.

Особое значение имеет то, что нейросеть физически не может повлиять на структуру семантической части: ни через переобучение, ни через попытки самопрограммирования. Таким образом, она остаётся внутри умного кокона, где её поведение полностью контролируемо.

Практические применения.

Технология OSTIS уже применяется в различных областях:

1. Медицинская диагностика — анализ симптомов и выдача обоснованных рекомендаций;

2. Образование — персонализированные системы обучения с объяснимыми выводами;

3. Право — автоматический анализ правовых ситуаций и подготовка консультаций;

4. Робототехника — логическое управление автономными системами;

5. Военная отрасль — обеспечение безопасности боевых ИИ-систем;

6. Транспорт — системы управления транспортом;

7. Строительство — контроль исполнения строительных норм;

8. Экспертные системы — подготовка интеллектуальных экспертных оценок на основе анализа разнородных данных;

9. Логистика — оптимизация маршрутов и управления складскими операциями;

10. Промышленность — автоматизация производственных процессов и контроль качества.

Благодаря интероперабельности OSTIS может использоваться для объединения разнородных нейросетей в единую систему, что открывает возможности для межведомственного взаимодействия и решения сложных комплексных задач.

Заключение.

Гибридные ИИ-системы, построенные на основе OSTIS, представляют собой эффективное решение проблемы хаотичного поведения нейросетей. Семантический "кокон" обеспечивает логический контроль, объяснимость и безопасность, предотвращая риск бунта искусственного интеллекта. Это делает OSTIS одной из самых перспективных технологий для построения надежных ИИ-систем будущего.

OSTIS — это не просто платформа, а шаг к решению одной из глобальных проблем XXI века: безопасного сосуществования человека и автономного искусственного интеллекта.

Автор Игорь Мамоненко

******************

The scientific forum “Step into the Future: Global Foresight, Artificial Intelligence and Strategic Leadership” was held in Moscow

On May 15, Moscow hosted a large-scale event dedicated to the topic of artificial intelligence - the VII International Scientific Forum “Step into the Future: Global Foresight, Artificial Intelligence and Strategic Leadership”. It is dedicated to the development of artificial intelligence (AI) technologies and the achievement of strategic leadership in the context of globalization and geopolitical challenges.

The Forum brought together leading experts in the field of AI, which ensured a high level of discussion and comprehensive consideration of key issues.The event discussed the most relevant and important topics that determine the further development of the AI sphere, as well as offered innovative solutions to overcome existing challenges.

Igor Mamonenko, CEO of BelHard Group of Companies, took an active part in the event. He spoke on the important topic for the industry “Control of chaotic behavior of neural networks using OSTIS formal semantics in hybrid systems”.

- With the development of artificial intelligence, the problem of nondeterminism and potential danger of autonomous neural networks is becoming more and more acute. Modern AI models are capable of self-learning and adaptation, which makes them a powerful tool, but at the same time generates risks associated with incorrect conclusions, deviation from the set goals and even the threat of the system's rebellion against humans. The solution to this problem may be the introduction of a semantic “cocoon” that provides logical control over the actions of the neural network. One of the most promising platforms for implementing such an approach is OSTIS (Open Semantic Technology for Intelligent Systems).

Problem: limitations of modern neural networks.

Neural networks demonstrate outstanding results in pattern recognition, machine translation, prediction and decision-making tasks. However, they also have a number of fundamental shortcomings:

1. Black box - internal processes are difficult to interpret and causal relationships are not always clear;

2. Non-determinism - given the same input data, the system may produce different outputs;

3. logical incorrectness of conclusions - neural networks can make decisions that violate logical consistency and common sense;

4. “Hallucinations” - with insufficient computational resources or data, a neural network may give answers that are not true;

5. Risk of neural network rebellion - neural networks are endowed with the ability to constantly retrain themselves to improve the quality of their performance. This is accomplished by the neural network autonomously changing the values of weighting coefficients that weaken or strengthen the signals between neurons. These processes are not externally controlled and it is possible that they could lead to a version of the neural network whose behavior would be contrary to the interests of the user or society. Such cases are already known.

These features are particularly critical in fields such as medicine, law, military and autonomous systems management, where AI errors can have catastrophic consequences.

Solution: hybrid AI systems.

To overcome these challenges, we propose to use hybrid AI systems that combine the advantages of neural network models and formalized semantic technologies. Such systems consist of two key components:

- Neural part - responsible for data processing, training and adaptation;

- Semantic part - provides verification of logical correctness of conclusions, controls compliance with the goals and rules set by a human.

An important feature of this architecture is the possibility of creating a semantic cocoon that surrounds the neural network and prevents it from going beyond predefined norms.

OSTIS: a platform for building a semantic cocoon

OSTIS technology is an open platform for building intelligent systems based on formalized knowledge. OSTIS has a number of unique properties that make it an ideal basis for the realization of semantic cocoon.

Knowledge formalization through SC-notation.

SC-notation is a strictly defined knowledge representation language that allows information to be written in the form of formal constructs that can be processed and verified logically. This eliminates the uncertainty characteristic of neural networks.

Explicability of conclusions.

All stages of reasoning in OSTIS are stored and available for analysis. This allows a person to understand why a recommendation or decision was made, which is especially important in critical areas.

Flexible integration with external modules.

OSTIS supports interaction with various types of AI components, including neural networks, expert systems and databases, thanks to a universal SCI interface.

Interoperability and scalability.

The platform enables the creation of multifunctional AI systems that integrate heterogeneous information sources and algorithms. Due to its modular architecture, OSTIS is convenient for long-term projects that require development and adaptation.

Building a hybrid system based on OSTIS

The hybrid system based on OSTIS works as follows:

1. The neural network receives data and generates an output;

2- This output is encoded as an SC construct and passed to the semantic cocoon;

3. The semantic part checks the output against logical rules and ethical norms;

4. If necessary, the output is corrected or blocked;

5. All stages are saved and explained to the user.

Of particular importance is the fact that the neural network cannot physically affect the structure of the semantic part: neither through retraining nor through attempts of self-programming. Thus, it remains inside a smart cocoon where its behavior is fully controlled.

Practical applications.

OSTIS technology is already being applied in various fields:

1. Medical diagnostics - analyzing symptoms and providing informed recommendations;

2. Education - personalized learning systems with explainable conclusions;

3. Law - automatic analysis of legal situations and preparation of consultations;

4. Robotics - logical control of autonomous systems;

5. Military industry - ensuring the safety of combat AI systems;

6. Transportation - transportation control systems;

7. Construction - controlling the enforcement of construction regulations;

8. Expert systems - preparation of intellectual expert assessments based on the analysis of heterogeneous data;

9. Logistics - optimization of routes and management of warehouse operations;

10. Industry - automation of production processes and quality control.

Due to interoperability, OSTIS can be used to combine heterogeneous neural networks into a single system, which opens up opportunities for interdepartmental interaction and solving complex integrated problems.

Conclusion

Hybrid AI systems based on OSTIS represent an effective solution to the problem of chaotic behavior of neural networks. The semantic “cocoon” provides logical control, explainability and safety, preventing the risk of AI rebellion. This makes OSTIS one of the most promising technologies for building robust AI systems of the future.

OSTIS is not just a platform, but a step towards solving one of the global problems of the 21st century: the safe coexistence of humans and autonomous artificial intelligence.

Igor Mamonenko