Глоссарий



Контекстное окно

«Context window» (контекстное окно) — это объём текста, к которому языковая модель может обращаться и на который может ссылаться при генерации нового текста. Это отличается от большого корпуса данных, на котором языковая модель была обучена, и представляет собой скорее «рабочую память» модели. Более широкое контекстное окно позволяет модели понимать более сложные и длинные подсказки и отвечать на них, тогда как меньшее контекстное окно может ограничивать способность модели обрабатывать длинные подсказки или сохранять связность на протяжении продолжительных диалогов.

Подробнее см. в нашем руководстве по пониманию контекстных окон.



Дообучение

«Fine-tuning» (дообучение) — это процесс дополнительного обучения предварительно обученной языковой модели с использованием дополнительных данных. В результате модель начинает воспроизводить и имитировать закономерности и характеристики набора данных для дообучения. Claude — это не просто базовая языковая модель; она уже была дообучена, чтобы быть полезным ассистентом. Наш API в настоящее время не предлагает дообучение, но если вы заинтересованы в изучении этой возможности, обратитесь к вашему контактному лицу в Anthropic. Дообучение может быть полезно для адаптации языковой модели к конкретной предметной области, задаче или стилю письма, однако оно требует тщательного подбора данных для дообучения и оценки потенциального влияния на производительность и предвзятость модели.



HHH

Эти три буквы H отражают цели Anthropic по обеспечению того, чтобы Claude приносил пользу обществу:

• Полезный (helpful) ИИ будет стараться выполнить задачу или ответить на поставленный вопрос в меру своих возможностей, предоставляя релевантную и полезную информацию.
• Честный (honest) ИИ будет давать точную информацию и не будет галлюцинировать или выдумывать. Он будет признавать свои ограничения и неопределённость, когда это уместно.
• Безвредный (harmless) ИИ не будет оскорбительным или дискриминирующим, а при просьбе помочь в опасном или неэтичном действии ИИ должен вежливо отказаться и объяснить, почему он не может выполнить запрос.



Задержка

«Latency» (задержка) в контексте генеративного ИИ и больших языковых моделей — это время, которое требуется модели для ответа на заданную подсказку. Это промежуток между отправкой подсказки и получением сгенерированного вывода. Меньшая задержка означает более быстрое время отклика, что критически важно для приложений реального времени, чат-ботов и интерактивных сценариев. На задержку могут влиять такие факторы, как размер модели, возможности оборудования, состояние сети, а также сложность подсказки и генерируемого ответа.



LLM

«Large language models» (большие языковые модели), или LLM, — это языковые модели ИИ с большим количеством параметров, способные выполнять множество удивительно полезных задач. Эти модели обучаются на огромных объёмах текстовых данных и могут генерировать текст, похожий на человеческий, отвечать на вопросы, обобщать информацию и многое другое. Claude — это диалоговый ассистент, основанный на большой языковой модели, которая была дообучена и обучена с использованием RLHF, чтобы быть более полезной, честной и безвредной.



MCP (Model Context Protocol)

«Model Context Protocol», или MCP, — это открытый протокол, стандартизирующий способ, которым приложения предоставляют контекст LLM. Подобно порту USB-C для ИИ-приложений, MCP обеспечивает унифицированный способ подключения моделей ИИ к различным источникам данных и инструментам. MCP позволяет системам ИИ поддерживать согласованный контекст между взаимодействиями и получать доступ к внешним ресурсам стандартизированным образом. Подробнее см. в нашей документации по MCP.



Коннектор MCP

Коннектор MCP — это функция, которая позволяет пользователям API подключаться к серверам MCP напрямую из Messages API без создания клиента MCP. Это обеспечивает бесшовную интеграцию с инструментами и сервисами, совместимыми с MCP, через Claude API. Коннектор MCP поддерживает такие функции, как вызов инструментов, и доступен в бета-версии. Подробнее см. в документации по коннектору MCP.



Предварительное обучение

«Pretraining» (предварительное обучение) — это начальный процесс обучения языковых моделей на большом неразмеченном корпусе текста. В случае Claude авторегрессионные языковые модели (такие как базовая модель Claude) предварительно обучаются предсказывать следующее слово на основе предшествующего контекста текста в документе. Такие предварительно обученные модели изначально не очень хорошо отвечают на вопросы или следуют инструкциям и часто требуют глубоких навыков в инженерии подсказок для получения желаемого поведения. Дообучение и RLHF используются для доработки этих предварительно обученных моделей, делая их более полезными для широкого спектра задач.



RAG (генерация с дополнением извлечёнными данными)

«Retrieval augmented generation» (генерация с дополнением извлечёнными данными), или RAG, — это метод, сочетающий извлечение информации с генерацией языковой модели для повышения точности и релевантности генерируемого текста, а также для лучшего обоснования ответа модели фактическими данными. В RAG языковая модель дополняется внешней базой знаний или набором документов, которые передаются в контекстное окно. Данные извлекаются во время выполнения, когда запрос отправляется модели, хотя сама модель не обязательно извлекает данные (но может это делать с помощью использования инструментов и функции извлечения). При генерации текста сначала из базы знаний на основе входной подсказки должна быть извлечена релевантная информация, которая затем передаётся модели вместе с исходным запросом. Модель использует эту информацию для формирования генерируемого вывода. Это позволяет модели получать доступ к информации, выходящей за пределы её обучающих данных, и использовать её, снижая зависимость от запоминания и повышая фактическую точность генерируемого текста. RAG может быть особенно полезен для задач, требующих актуальной информации, знаний в конкретной предметной области или явного цитирования источников. Однако эффективность RAG зависит от качества и релевантности внешней базы знаний и информации, извлекаемой во время выполнения.



RLHF

«Reinforcement Learning from Human Feedback» (обучение с подкреплением на основе обратной связи от человека), или RLHF, — это метод, используемый для обучения предварительно обученной языковой модели вести себя в соответствии с человеческими предпочтениями. Это может включать помощь модели в более эффективном следовании инструкциям или в поведении, более похожем на чат-бота. Обратная связь от человека состоит в ранжировании набора из двух или более примеров текста, а процесс обучения с подкреплением побуждает модель предпочитать выводы, похожие на те, что получили более высокий ранг. Claude был обучен с использованием RLHF, чтобы быть более полезным ассистентом. Подробнее вы можете прочитать в статье Anthropic на эту тему.



Температура

«Temperature» (температура) — это параметр, управляющий случайностью предсказаний модели при генерации текста. Более высокие значения температуры приводят к более творческим и разнообразным результатам, допуская множество вариаций в формулировках, а в случае художественных текстов — и вариации в ответах. Более низкие значения температуры дают более консервативные и детерминированные результаты, придерживающиеся наиболее вероятных формулировок и ответов. Регулировка температуры позволяет пользователям побуждать языковую модель исследовать редкие, необычные или неожиданные варианты выбора слов и последовательностей, а не только выбирать наиболее вероятные предсказания.

Пользователи могут столкнуться с недетерминированностью в API. Даже при установке температуры в 0 результаты не будут полностью детерминированными, и одинаковые входные данные могут давать разные выходные данные при разных вызовах API. Это относится как к собственному сервису инференса Anthropic, так и к инференсу через сторонних облачных провайдеров.



TTFT (время до первого токена)

«Time to First Token» (время до первого токена), или TTFT, — это метрика производительности, измеряющая время, которое требуется языковой модели для генерации первого токена вывода после получения подсказки. Это важный показатель отзывчивости модели, особенно актуальный для интерактивных приложений, чат-ботов и систем реального времени, где пользователи ожидают быстрой первоначальной реакции. Более низкое значение TTFT указывает на то, что модель может быстрее начать генерировать ответ, обеспечивая более плавный и вовлекающий пользовательский опыт. На TTFT могут влиять такие факторы, как размер модели, возможности оборудования, состояние сети и сложность подсказки.



Токены

«Tokens» (токены) — это наименьшие отдельные единицы языковой модели, которые могут соответствовать словам, частям слов, символам или даже байтам (в случае Unicode). Для Claude один токен приблизительно соответствует 3,5 символам английского текста, хотя точное число может варьироваться в зависимости от используемого языка. Токены обычно скрыты при взаимодействии с языковыми моделями на «текстовом» уровне, но становятся значимыми при изучении точных входных и выходных данных языковой модели. Когда Claude получает текст для обработки, этот текст (состоящий из последовательности символов) кодируется в последовательность токенов для обработки моделью. Более крупные токены обеспечивают эффективность данных при инференсе и предварительном обучении (и используются, когда это возможно), тогда как более мелкие токены позволяют модели обрабатывать редкие или ранее не встречавшиеся слова. Выбор метода токенизации может влиять на производительность модели, размер словаря и способность обрабатывать слова, отсутствующие в словаре.