Пару последних недель я часто сталкиваюсь с публикациями коллег, посвящёнными ожиданиям и оценке эффективности внедрения инструментов на основе искусственного интеллекта. В профессиональном сообществе нередко звучит мнение, что без ИИ сегодня «ничего не работает», и что любые инструменты на его основе якобы гарантированно дадут эффект.
С августа я занимаюсь процессом популяризации и внедрения AI‑инструментов в нашу производственную среду. Для нас производство — это, прежде всего, разработка программных продуктов, поэтому речь идёт о внедрении ИИ в контур PDLC (Product Development Lifecycle). Однако, вопреки ожиданиям, эти решения не «взлетают» так, как рассчитывалось.
На этой неделе у меня сложилась целостная картина происходящего. Мы с коллегами разработали формы и шаблоны, которые помогут структурировать размышления участников процесса.
Основная проблема заключается в том, что при оценке эффективности руководители часто берут за основу данные и метрики разработчиков самих инструментов. Эти метрики, как правило, оптимистичны, поскольку снимаются с «идеального» сценария использования — под него, собственно, и подгоняется инструмент. На практике же даже при корректировке ожиданий достичь заявленных результатов удаётся далеко не всегда.
Возникает закономерный вопрос: будет ли менеджер готов проводить изменения процессов ради очередного инструмента, если предыдущий не оправдал ожиданий? Обычно — нет.
Пути решения этой задачи, на мой взгляд, могут быть следующими:
Корректировка системы оценки эффективности. Как я писал выше - мы прошли этот путь и разработали систему, позволяющую измерять эффект от реализации AI‑проектов для всех ключевых ролей и на всех фазах жизненного цикла разработки решений.
Определение корректного подхода к архитектуре реализуемых AI‑решений.
На архитектурных концепциях хочу остановиться подробнее.
Context engineering vs prompt engineering
Context engineering — это проектирование всей системы вокруг модели: источников знаний, памяти, инструментов, формирования и управления контекстом.
Prompt engineering — это искусство формулировать конкретный запрос или инструкцию к модели внутри уже заданного контекста.
Проще говоря:
Prompt отвечает на вопрос «как сформулировать задачу прямо сейчас?»
Context — «какую информацию и в каком виде модель должна видеть, чтобы стабильно решать задачи?»
На практике процесс выглядит следующим образом:
Контекстная система собирает и подготавливает данные (например, из векторной базы или памяти модели), определяя, что именно попадёт в окно модели.
Далее промпт‑шаблон формулирует конкретную задачу, требования к результату и ограничения, используя собранный контекст как исходные данные.
Поэтому, когда кто‑то утверждает, что «достаточно просто добавить нейросеть, и всё заработает в десятки раз быстрее», стоит в первую очередь задуматься о качестве и готовности контекста. Именно от уровня контекстной архитектуры зависят корректная оценка эффективности проекта и его итоговая стоимость.