Управление контекстом инструментов

Определения инструментов и накопленные блоки tool_result потребляют ваше окно контекста. Долгоживущие агенты с множеством инструментов или множеством ходов могут исчерпать доступный контекст до завершения задачи. Четыре подхода решают эту проблему в разных точках конвейера.

Четыре подхода

Каждый подход нацелен на другой источник давления на контекст. Выберите тот, который соответствует тому, куда идут ваши токены.

Поиск инструментов

Поиск инструментов держит определения инструментов вне окна контекста до тех пор, пока Claude их не запросит. Вместо отправки 50 схем инструментов заранее, вы отправляете один инструмент tool_search и позволяете Claude обнаруживать остальное по требованию. Это обменивает небольшое количество задержки (один дополнительный ход для поиска инструмента) на большое сокращение базового использования контекста.

Программный вызов инструментов

Программный вызов инструментов сворачивает последовательность вызовов инструментов в один блок кода, который Claude пишет, а песочница выполнения кода Anthropic запускает. Вместо пяти циклов tool_use и tool_result, Claude выдает один скрипт, который вызывает все пять функций из песочницы. Промежуточные результаты никогда не попадают в историю беседы.

Кеширование подсказок

Кеширование подсказок не сокращает количество токенов в контексте, но снижает стоимость их использования при последующих запросах. Если ваши определения инструментов стабильны, кешируйте их один раз и повторно используйте кешированный префикс в тысячах запросов. Это правильный выбор, когда набор инструментов большой, но фиксированный.

Редактирование контекста

Редактирование контекста удаляет старые блоки tool_result из истории беседы после того, как они выполнили свою функцию. Длительный цикл агента может создать сотни промежуточных результатов, которые были полезны в то время, но теперь являются мертвым грузом. Редактирование контекста позволяет вам их обрезать без перезагрузки беседы.

Комбинирование подходов

Эти подходы хорошо сочетаются. Долгоживущий агент может использовать поиск инструментов, чтобы держать набор инструментов в тонусе, кеширование подсказок для амортизации стоимости оставшихся определений и редактирование контекста для обрезания устаревших результатов по мере роста беседы. Каждый решает другую часть проблемы, поэтому нет конфликта в их совместном использовании.

Разумная отправная точка для высокопроизводительного агента:

1. Включите кеширование подсказок для определений инструментов с первого дня. Записи кеша имеют надбавку 25% к базовой цене входа, которая окупается при втором запросе, попадающем в кеш.
2. Добавьте поиск инструментов, когда ваш набор инструментов вырастет примерно до 20 инструментов или когда базовое использование контекста станет заметным.
3. Добавьте редактирование контекста, когда отдельные беседы начнут работать достаточно долго, чтобы ранние результаты стали неактуальными.
4. Рассмотрите программный вызов инструментов, если вы заметите повторяющиеся цепочки небольших вызовов инструментов, которые могли бы выполняться как один пакет.

Следующие шаги