Как ИИ может выдать тайны — и как это не допустить на вашем сайте в Китае

Авторы habr-infosec разобрали, как в RAG-системах обеспечить контроль доступа к информации — и почему без этого даже самый умный ИИ может стать источником утечек. Я считаю, что это не просто техническая деталь, а фундаментальная задача для любого сайта, который работает с данными.

О чём речь и почему я считаю это важным для бизнеса

Речь о том, как делать так, чтобы ИИ-ассистент не выдал конфиденциальные данные просто потому, что они есть в базе. Это не про уязвимость, а про архитектуру. И если у вас на сайте есть раздел с личными данными, доступ к отчётам, тарифами или внутренними регламентами — это касается вас. Я считаю, что сейчас, когда ИИ становится частью сервисов, контроль доступа — не опция, а обязательная часть инфраструктуры. Без него сайт, даже если он «работает», теряет доверие и рискует стать уязвимым.

Сейчас многие компании внедряют ИИ-чата, боты, справочники. Но если система не знает, кто что видит, она может выдать всё — даже то, что не должно быть доступно. Это не ошибка, а следствие того, что данные и логика доступа не связаны. А в бизнесе это — риск, который может повлиять на репутацию, законность и даже на финансовые потоки. Важнее не «что знает ИИ», а «кто может это знать».

Как это устроено — что тут вообще происходит

RAG — это не просто поиск. Это когда ИИ сначала находит нужные фрагменты из ваших документов, а потом отвечает на основе них. Документы разбиваются на части, каждая превращается в вектор — цифровую «смысловую метку». Когда пользователь задаёт вопрос, система ищет похожие векторы. Но вот что критично: если все фрагменты лежат в одной базе, и нет фильтрации, ИИ может отвечать на всё, что есть в системе — даже то, что не должно быть доступно.

Источник показывает, что даже при правильной семантике поиска, без контроля доступа система будет выдавать всё, что найдёт. Это не проблема модели, а архитектурная ошибка. ИИ не понимает, кто «должен» видеть документ, он просто отвечает на основе контекста. Поэтому ключевое — не «уговорить» ИИ не говорить, а не дать ему увидеть то, что не нужно.

Что изменилось на рынке: как делали раньше и как делают сейчас

Раньше ИИ-ассистенты были просто «чёрным ящиком» — отвечали на вопросы, не зная, откуда берутся данные. Сейчас, с RAG, они стали частью внутренней инфраструктуры. Но это не означает, что всё стало безопаснее. Наоборот — теперь утечка данных может произойти не из-за хакерства, а из-за плохой настройки доступа.

Раньше доступ к информации контролировали через файлы, папки, права в системах. Сейчас, когда данные объединяются в векторные хранилища, эти границы стираются. ИИ-система может получить доступ к информации, которую раньше не видел ни один сотрудник. Это не просто риск — это уже реальность. Компании, которые внедряют ИИ, должны понимать: новые возможности — это не только скорость, но и новая ответственность за безопасность.

Кому это касается и как понять, что это про ваш проект

Если у вас есть сайт с личными кабинетами, внутренними документами, регламентами, отчётами, тарифами — это про вас. Даже если вы не используете ИИ, сама идея «всё в одном месте» делает ваш сайт уязвимым к таким сценариям. Если кто-то может получить доступ к данным, которые не должны быть общими — это уже не «сайт работает», а «сайт может выдать лишнее».

Я бы на месте владельца магазина смотрел прежде всего на разделы, где хранятся: данные клиентов, цены, условия сотрудничества, внутренние инструкции. Если они хранятся в одном месте, и нет чёткой логики доступа — система, даже если она «умная», может их выдать. И это не про техническую ошибку, а про архитектуру. И если вы не проверяли, кто видит что — сейчас самое время это сделать.

Что с этим делать — порядок действий в общем виде

Сначала — аудит. Не по функционалу, а по доступу. Какие данные хранятся? Кто может их видеть? Где они объединены? Второй шаг — разграничение. Даже если вы не используете ИИ, данные должны быть разделены по ролям: поддержка, менеджеры, клиенты, партнёры. Третий — внедрение фильтров. Не в модели, а в системе поиска. Когда запрос идёт, система должна сначала определить, кто его задал, а потом искать только в тех данных, которые ему доступны.

В таких проектах мы начинаем с анализа структуры данных и ролей. Затем проектируем логику доступа — не через код, а через архитектуру. Например, отдельные коллекции для разных ролей, или метаданные в файлах. Главное — чтобы доступ был не в «последнюю минуту», а в самой основе.

Где они не справляются — и как мы это решаем

Источник упоминает, что подход с папками — простой, но ведёт к дублированию. Один документ в трёх папках — и если обновили только одну, данные расходятся. Это реальная проблема. Мы решаем её не упрощением, а системой. Вместо дублирования — метки, но не в коде, а в структуре хранения. Документ может быть в одном месте, но иметь метки доступа, которые проверяются при запросе.

Мы не полагаемся на «перетаскивание файлов». Вместо этого — интеграция с системой управления доступом. Каждый запрос проходит через проверку: кто запрашивает, что может видеть. Это надёжнее, чем физическое разделение. И при этом — не требует дублирования. Система остаётся гибкой, но безопасной.

Новость для бизнеса в Хулуне-Буире, Китай