Why AI Agents Declare Victory Too Early
Why AI agents declare victory too early: four causes, 2,354 process claims from 402 runs checked against logs, and the harness that keeps agents on rails.
Арсений Потапов
Инженер ИИ-агентов
Создаю ИИ-агентов, которые работают в продакшене. За плечами — 16 лет в веб-разработке.
Статьи (на английском)
Все статьиWhy Big Rewrites Fail
What 25 years of case studies reveal about the rewrite decision - from Netscape's fatal mistake to how Twitter, Facebook, and Shopify got it right.
Using Claude Code Without Technical Debt
Battle-tested workflows for using Claude Code in production. Two review modes and context-priming techniques that catch AI code bugs before they ship.
Избранные проекты
Browserious
Создаю сервис браузерных сессий для агентов. Browserious предоставляет агентам настоящий браузер, в котором они могут заходить на сайты, работать со страницами и проверять результат по скриншотам.
MaestroЗакрытая бета
Создаю оркестратор, который координирует работу кодинг-агентов над разными задачами. Он предоставляет им изолированные рабочие окружения и организует ревью и проверку результатов.
Отзывы
В период, когда Host Compliance активно росла и приносила прибыль, Арсений проявил себя как ценный участник и лидер инженерной команды. На него всегда можно было положиться: он глубоко разбирался в технических вопросах, продуманно проектировал системы и был наставником для коллег. Могу с уверенностью сказать, что Арсений — один из лучших инженеров, которых я когда-либо нанимал, и я был бы очень рад снова с ним поработать.
Перевод с английского
Арсений — отличный разработчик, способный решать сложные задачи. За годы нашей совместной работы он неизменно добивался качественных результатов, и коллеги обращались к нему, когда им нужна была помощь. Любой команде повезёт, если в ней будет Арсений.
Перевод с английского
Другие отзывы6
Арсений — просто один из лучших разработчиков, с которыми мне посчастливилось работать. Когда дело касалось самых сложных задач в нашей системе, мы во многом полагались на его способности.
Перевод с английского
Арсений — отличный Python-разработчик, и я настоятельно рекомендую его любой команде разработки. Он прекрасно работает в команде и обладает огромным опытом создания хорошо масштабируемых веб-приложений и систем обработки больших данных в AWS.
Перевод с английского
Работать с Арсением было настоящим удовольствием — он был неотъемлемой частью нашей команды разработки в Crossrider. Он участвовал в создании одной из самых быстрорастущих в мире платформ для торговли мобильной рекламой, обрабатывающей миллиарды транзакций ежедневно.
Перевод с английского
Арс работал у нас над Slack-ботом, автоматизацией работы с электронной почтой и задачами, связанными с бессерверными технологиями. Он очень сильный специалист, и нам очень нравится с ним работать. С нетерпением ждём возможности поработать с ним и в будущем.
Перевод с английского
Арсений — отличный разработчик и прекрасно умеет общаться!
Перевод с английского
Арсений — ЛУЧШИЙ из всех исполнителей на Upwork, с которыми я работал. Он отличный коллега и вносит большой вклад в успех любого проекта, в котором участвует.
Перевод с английского
Senior-инженер — ИИ и Data Engineering
TrueRoll делает софт для местных органов власти и оценщиков недвижимости.
Я строю платформу агентов для бизнес-процессов и харнесы, в которых работают кодинг-агенты: их контекст, инструменты и quality gates. Проектирую CLI, которыми одинаково удобно пользоваться и агентам, и инженерам. Также разрабатываю системы на основе ИИ для извлечения и проверки структурированных данных из документов, автоматизирую ревью кода и подключаю эти системы к продакшен-сервисам, обеспечивая необходимую наблюдаемость.
Также работаю с пайплайнами данных, API-интеграциями и облачной инфраструктурой.
Весь опыт работыещё 8 мест работы
Senior фулстек-разработчик
Маркет-мейкинг как сервис. LQFI предоставляет единую инфраструктуру для торговли цифровыми активами, обеспечивая высокоскоростной, эффективный и безопасный трейдинг. Криптоликвидность на централизованных и децентрализованных биржах.
Был одним из ключевых инженеров в команде алгоритмической торговли:
- Разрабатывал алгоритмические торговые стратегии для Binance / Kraken / Huobi / FTX
- Интегрировал холодные кошельки с платформой через Web3
- Расширял внутренний фреймворк, добавил множество API-интеграций
Senior бэкенд-инженер
Мировой лидер в решениях для мониторинга и контроля краткосрочной аренды для местных властей. Host Compliance упрощает муниципалитетам внедрение и контроль правил краткосрочной аренды. SaaS для органов власти США: контроль краткосрочной аренды и соблюдения требований, отчётность и сбор налогов. Интеграции со сторонними сервисами, веб-скрейпинг, обработка данных, платежи, авторизация, публичные API. Granicus приобрёл HostCompliance в 2020 году, и я продолжил работать инженером-программистом.
- Разработал API, позволяющий платформам краткосрочной аренды соблюдать законы Лос-Анджелеса. Это существенно помогло удалять мошеннические объявления и объявления о незарегистрированных объектах с Airbnb и других платформ в Лос-Анджелесе.
- Создал API для загрузки пользовательских файлов с акцентом на безопасность и соответствие FedRAMP. Шифрование, гранулярный контроль доступа и строгие политики безопасности.
- Разработал часть платформы для массового продления разрешений на аренду, отчётности и уплаты налогов для управляющих компаний.
- Заложил основу модульного и гибкого GraphQL-бэкенда для нового дашборда, используя подход schema-first. Это позволило бэкенд-команде быстро расширять функционал, а фронтенд-команде — меньше зависеть от релизов бэкенда.
Старший технический консультант
Платформа и дашборд для контроля и оптимизации энергопотребления на промышленных предприятиях. Многоуровневый доступ, email- и телефонные уведомления, автоматическая генерация отчётов, ML-предсказания и сегментация, прямая интеграция потоковой передачи данных с предприятия в облако. Фокус на масштабируемости, доступности и экономичности.
- Консультировал клиента по алгоритмам, проблемам производительности, технологическому стеку и архитектуре решений. При необходимости проводил исследования. Играл ведущую роль в разработке долгосрочной стратегии, проектировании архитектуры, планировании спринтов, проработке бэклога и подготовке задач.
- Управлял проектом и agile-командой. Ревьюил код, менторил и онбордил новых разработчиков. Отслеживал KPI команды и достижение её целей.
- Выполнил всю DevOps-работу и настроил облачную инфраструктуру с нуля.
Сооснователь и старший технический консультант
Управлял командой senior-разработчиков на различных проектах: мониторинг энергопотребления, платформа денежных переводов на базе крипто, автооптимизация рекламных кампаний, биржа мобильной рекламы и другие.
- Разработал алгоритм автооптимизации интернет-рекламных кампаний, который максимизирует их эффективность, находя и блокируя источники трафика и площадки с недостаточной конверсией.
- Спроектировал и реализовал ETL для партнёрской сети мобильной рекламы. Использовал собственные технологии предсказания конверсии на основе данных устройства.
- Разработал механизм обнаружения ботов, который перенаправлял их на другие ресурсы и тем самым защищал контент сайта от скрейпинга.
- Внедрил автоматизацию email-маркетинга и интеграцию с CRM через SparkPost API и Zoho CRM.
- Консультировал клиентов, проектировал решения и управлял agile-командой. Много занимался планированием, общением, мозговыми штурмами и проектированием архитектуры. Отслеживал KPI команды и управлял её целями.
- Совмещал множество ролей: тимлид, lead-разработчик, scrum-мастер, проект-менеджер, code reviewer, QA, ментор
Разработчик
Работал над автоматизацией всех ручных процессов. Полностью бессерверное решение с управлением через Slack-бота.
Интеграции с различными API: Mailgun, Slack, Google Spreadsheets.
AWS- и DevOps-консалтинг. Работал над внутренними проектами автоматизации генерации еженедельных отчётов: от сбора данных из множества источников и получения заметок от участников команды до анализа данных, визуализации и рассылки через email и веб.
Senior-разработчик
Работал к лючевым инженером в сервисе создания персональных сайтов, который эволюционировал в платформу удалённой работы и профессиональную соцсеть с 2 млн пользователей. Помимо прочих задач, самостоятельно разработал алгоритм машинного обучения для умного подбора вакансий.
Интегрировал branded.me с outsource.com. Объединил базы данных, удвоив базу пользователей, добавил подбор вакансий и другие сервисы. Разработал приложение для отслеживания рабочего времени.
- Разработал функции социальной сети (подписки, лайки, ленты) с почти линейной масштабируемостью.
- Обнаружил и успешно устранил несколько узких мест в API и инфраструктуре; значительно улучшил скорость и надёжность.
- Написал алгоритм сопоставления пользователей на основе загруженных списков контактов.
- Выполнил интеграцию email-сервисов: обработка возвратов недоставленных писем, отписок, рассылок и воронки конверсии.
- Интегрировал биллинг: работа с аккаунтами, транзакциями, корректировками и рекуррентными платёжными планами.
- Применил машинное обучение (NLP, кластеризация, нейронные сети, классификация) для подбора пользователей к вакансиям на основе профиля и описания. Также разработал алгоритм предсказания необходимых навыков по описанию вакансии.
Senior Python-разработчик
Ключевой разработчик в высоконагруженном распределённом сервисе, обрабатывающем миллионы мобильных рекламных запросов в секунду.
- Разработал высоконагруженный распределённый сервис на Amazon AWS (EC2, S3) на базе Django с использованием Python, Redis, MySQL, HP Vertica, Twisted, Celery, gevent и немного Lua поверх Nginx для низкоуровневой сетевой работы.
Добился линейного масштабирования системы: с помощью профилирования выявил и устранил критические узкие места, значительно снизив нагрузку на ввод-вывод на каждом узле кластера. Реализовал глобальную блокировку на базе Redis DB. Когда нужен эксклюзивный д оступ к данным — ставим блокировку, и другие инстансы ждут освобождения. Снизил задержку через мемоизацию в памяти процесса и двухуровневое кеширование (локальное и удалённое Redis). Интегрировал Google Ads, MobFox и других RTB-партнёров (торги в реальном времени). Создал фильтрующий слой на уровне Nginx — Lua-скрипты эффективно отсеивают бесполезные соединения ещё до Python-бэкенда.
Senior Python-разработчик
Бизнес-услуги, заказная разработка и IT-сервисы. Был тимлидом разработки, создал веб-портал для отслеживания холодных звонков и обучения маркетологов. Полностью управлял процессом разработки.
Разработал платформу для продавцов, где они могли планировать встречи, фиксировать прогресс и обучаться для повышения KPI. Управлял командой разработчиков, обсуждал фичи с клиентом, планировал спринты, распределял задачи, проводил демо и собирал обратную связь. Методология — Agile. Разработал слой подготовки датасетов для облачной ML-платформы: данные принимались в разных форматах, их нужно было распаковать, распарсить, перемешать, нормализовать, разбить на части и передать в очередь ML-воркеров. Создал систему управления датасетами: загрузка, просмотр, статистика, настройка обработки, скачивание и удаление. Затем система передаёт датасет в сессию машинного обучения.
Экспертиза
- Системы ИИ-агентов
- Харнес-инжиниринг, оркестрация, контекст, базы знаний, quality gates и CLI для агентов
- LLM в продакшене
- Document AI, RAG, evals и observability4 года
- ИИ и машинное обучение
- PyTorch, компьютерное зрение, дообучение моделей и датасеты4 года
- Python
- FastAPI, PyTorch, Pandas, NumPy16 лет
- Data Engineering
- ETL, Kinesis, пайплайны данных14 лет
- AWS
- SageMaker, ECS, Kinesis, Bedrock14 лет
- Базы данных
- PostgreSQL, векторные базы данных19 лет
- Веб-разработка
- FastAPI, Vue, Django, TypeScript16 лет
- Docker
- Контейнеры, ECS12 лет
- Linux
- Ubuntu, Debian19 лет
Инструменты и методы
- Агенты и LLM
- Agent Orchestration, Multi-Agent Systems, Harness Engineering, Context Engineering, Knowledge Bases for Agents, MCP, Claude Code, Codex, Evals, LLM Observability, OpenTelemetry, LLM, RAG, Prompt Engineering, OpenAI API, Anthropic, Gemini API
- Машинное обучение
- AI/ML, Document AI, Computer Vision, OCR, PyTorch, Transformers, Fine-Tuning, Dataset Building, CVAT, AWS SageMaker, AWS Bedrock, Vector Databases, Qdrant, ChromaDB, Ollama, llama.cpp, MLX, ONNX
- Бэкенд и данные
- Python, FastAPI, Django, Data Engineering, SQL, PostgreSQL, Data Modeling, Redis, Elasticsearch, API Integrations, Distributed Systems
- Инфраструктура
- AWS, Docker, Linux, GitHub Actions, Datadog
- Фронтенд
- TypeScript, React, Vue
Образование и сертификаты
- Бакалавр программной инженерии, Энерго Университет (бывш. АУЭС)
- Machine Learning, Coursera
- Advanced Track of Introduction to Artificial Intelligence, Udacity
- Top Developer 2015, HackerRank
Другие проект ы7
TaktЗакрытая бета
Создаю трекер задач и базу знаний для агентов, чтобы они находили нужный контекст, отслеживали зависимости и сохраняли полученные знания для следующей задачи.
play-tts
Создаю локальный сервер синтеза и распознавания речи для генерации аудио и транскрибации речи.
Simple OTP Demo
Функциональное и безопасное демо-решение для одноразовых паролей. Позволяет пользователям верифицировать email или номер телефона, вводя уникальный OTP-код. Демо-приложение построено на React, Material-UI, AWS Lambda, DynamoDB и Serverless Framework.
Пользователь вводит email или номер телефона, получает OTP-код, вводит его и получает подписанный JWT-токен с email или номеро м в поле sub. Демо показывает интеграцию с Twilio для SMS и с Mailgun для email. Для серверной части и интеграций с API используются Python, PyOTP, PyJWT, PynamoDB и Requests.
Push To Notion (веб-интеграция)
Инструмент, позволяющий быстро добавлять задачи в список дел в Notion из разных источников: Siri, Alfred, Slack и Telegram. Мотивация — нужен был удобный способ добавлять задачи в Notion на ходу, без открытия самого приложения. Особенно полезно, когда руки заняты или не хочется терять контекст.
@scan_driver_license_bot (Telegram)
Telegram-бот для извлечения данных из ID-карт и водительских удостоверений (только США). Отправляете фото документа — получаете распарсенные данные в JSON.
Бот использует AWS Lambda и API компьютерного зрения Amazon для точной обработки изображений и извлечения данных. Он не сохраняет ни данные, ни изображения. Это безопасный бессерверный сервис без сохранения состояния, который обеспечивает конфиденциальность данных пользователей.
Попробуйте для быстрого извлечения данных из физических документов.
@PageScreenshotBot (Telegram)
Telegram-бот для создания скриншотов веб-страниц на всю высоту. Отправьте команду с URL — получите скриншот в ответ.
Бот использует Puppeteer и контейнеризированный Chrome на базе AWS Lambda для генерации качественных скриншотов.
Попробуйте бота, чтобы быстро делать скриншоты веб-страниц.
Match Cards (игра для детей)
Интерактивная обучающая игра с фронтендом на React; Python используется для скриптов и интеграций с API. Помогает детям учить английские слова через увлекательн ый геймплей: игроки сопоставляют произнесённые слова с картинками. Изображения сгенерированы с помощью Midjourney AI, что делает игру визуально привлекательной. Уникальный и эффективный образовательный инструмент для юных учеников.