Генеративный ИИ для руководителя
Часть 7 из 7. Почему ИИ ошибается и как этим управлять
В этой серии мы прошли путь от простой аналогии с T9 до проектирования цифрового ассистента.
Мы разобрали, что ИИ начинается с данных, языковая модель работает с токенами, обучение строится на прогнозе следующего фрагмента текста, качество результата зависит от подготовки данных, а цифровой ассистент — это не просто чат, а система с ролями, источниками, правами доступа и контролем качества.
Теперь финальный вопрос: почему ИИ всё равно может ошибаться?
Главная причина — вероятностная природа технологии. Языковая модель не “знает правильный ответ” как эксперт. Она рассчитывает наиболее вероятное продолжение текста на основе запроса, контекста и доступных данных.
Галлюцинация — это когда модель выдает правдоподобный текст без надежного источника. Формулировка может выглядеть уверенно, но это не означает, что она достоверна.
Причины ошибок могут быть разными:
— в базе знаний нет нужного документа;
— документ устарел;
— запрос сформулирован слишком общо;
— источники противоречат друг другу;
— пользователь не имеет доступа к части данных;
— ассистенту не прописали жесткие инструкции;
— человек принял черновик ИИ за готовое решение.
Есть и технические настройки, которые влияют на поведение модели. Например, temperature отвечает за степень “свободы” ответа. Чем выше значение, тем разнообразнее результат, но тем выше риск нестабильности. Для официальных документов этот параметр должен быть минимальным.
Другой важный принцип — grounding, то есть привязка ответа к проверенным источникам. Ассистент должен не просто отвечать, а показывать, на основании каких документов он подготовил вывод.
Еще один обязательный подход — human-in-the-loop: человек остается в контуре проверки. ИИ готовит проект, но итоговое решение принимает ответственный сотрудник.
Для органов власти это особенно важно. Поэтому задачи нужно разделять по уровню риска.
Низкий риск: варианты заголовков, формулировок, планов, идей.
Средний риск: выжимки из документов, черновики справок, первичная группировка обращений.
Высокий риск: проекты ответов гражданам, аналитические материалы для руководства, документы с нормативной основой.
Недопустимо без человека: официальные позиции, подпись, отправка документов, кадровые и управленческие решения.
Задача руководителя — не требовать от ИИ абсолютной безошибочности, а построить процесс, в котором ошибки выявляются до того, как становятся официальным документом.
Первый принцип — источники. Если источника нет, ответ нельзя использовать как официальный. В таких случаях система должна уметь сказать: “данных недостаточно”.
Второй принцип — проверка человеком. ИИ может подготовить проект, выжимку, структуру ответа, список рисков или план поручения. Но финальная проверка остается за сотрудником.
Третий принцип — регламент. В организации должно быть понятно: где ИИ можно применять, какие данные ему можно передавать, кто проверяет результат и какие задачи запрещено выполнять автоматически.
Четвертый принцип — обучение сотрудников. Людей нужно учить не только “писать промпты”, но и критически оценивать ответ: проверять факты, источники, актуальность документа, права доступа и соответствие официальной позиции.
Новые технологии не отменяют профессионализм. ИИ не нужно бояться. Генеративный ИИ может стать сильным помощником: быстрее находить документы, готовить проекты ответов, анализировать обращения, вести протоколы совещаний, помогать с поручениями, обновлять базу знаний и снижать рутинную нагрузку.
Главный вывод всей серии:
ИИ — это не замена руководителя и не самостоятельный эксперт. Это инструмент повышения эффективности. Не нужно ждать, пока технология станет идеальной. Нужно учиться управлять ею уже сейчас: спокойно, поэтапно и профессионально.
