Глоссарий

Context window

"Context window" (контекстное окно) относится к объему текста, который языковая модель может просмотреть и использовать при генерации нового текста. Это отличается от большого корпуса данных, на которых была обучена языковая модель, и вместо этого представляет "рабочую память" для модели. Большее контекстное окно позволяет модели понимать и отвечать на более сложные и длинные запросы, в то время как меньшее контекстное окно может ограничить способность модели обрабатывать более длинные запросы или поддерживать согласованность в расширенных диалогах.

См. наше руководство по пониманию контекстных окон, чтобы узнать больше.

Fine-tuning

Fine-tuning (тонкая настройка) — это процесс дополнительного обучения предварительно обученной языковой модели с использованием дополнительных данных. Это приводит к тому, что модель начинает представлять и имитировать закономерности и характеристики набора данных для тонкой настройки. Claude — это не простая языковая модель; она уже была тонко настроена, чтобы быть полезным помощником. Наш API в настоящее время не предлагает fine-tuning, но пожалуйста, обратитесь к вашему контакту в Anthropic, если вы заинтересованы в изучении этого варианта. Fine-tuning может быть полезен для адаптации языковой модели к определенной области, задаче или стилю письма, но требует тщательного рассмотрения данных для тонкой настройки и потенциального влияния на производительность и предвзятость модели.

HHH

Эти три H представляют цели Anthropic в обеспечении того, чтобы Claude был полезен для общества:

• Полезный AI будет пытаться выполнить задачу или ответить на поставленный вопрос в меру своих возможностей, предоставляя релевантную и полезную информацию.
• Честный AI будет давать точную информацию и не будет галлюцинировать или конфабулировать. Он признает свои ограничения и неопределенности, когда это уместно.
• Безвредный AI не будет оскорбительным или дискриминационным, и когда его просят помочь в опасном или неэтичном действии, AI должен вежливо отказать и объяснить, почему он не может согласиться.

Latency

Latency (задержка), в контексте генеративного AI и больших языковых моделей, относится к времени, которое требуется модели для ответа на заданный запрос. Это задержка между отправкой запроса и получением сгенерированного результата. Более низкая задержка указывает на более быстрое время отклика, что имеет решающее значение для приложений в реальном времени, чатботов и интерактивных опытов. Факторы, которые могут влиять на задержку, включают размер модели, возможности оборудования, условия сети и сложность запроса и сгенерированного ответа.

LLM

Large language models (LLMs) (большие языковые модели) — это модели AI с множеством параметров, которые способны выполнять множество удивительно полезных задач. Эти модели обучены на огромных объемах текстовых данных и могут генерировать текст, похожий на человеческий, отвечать на вопросы, резюмировать информацию и многое другое. Claude — это диалоговый помощник, основанный на большой языковой модели, которая была тонко настроена и обучена с использованием RLHF, чтобы быть более полезной, честной и безвредной.

MCP (Model Context Protocol)

Model Context Protocol (MCP) — это открытый протокол, который стандартизирует способ предоставления контекста приложениями для LLM. Подобно порту USB-C для приложений AI, MCP обеспечивает унифицированный способ подключения моделей AI к различным источникам данных и инструментам. MCP позволяет системам AI поддерживать согласованный контекст во всех взаимодействиях и получать доступ к внешним ресурсам стандартизированным образом. См. нашу документацию MCP, чтобы узнать больше.

MCP connector

MCP connector (соединитель MCP) — это функция, которая позволяет пользователям API подключаться к серверам MCP непосредственно из Messages API без создания клиента MCP. Это обеспечивает беспрепятственную интеграцию с совместимыми с MCP инструментами и сервисами через Claude API. Соединитель MCP поддерживает такие функции, как вызов инструментов, и доступен в бета-версии. См. документацию соединителя MCP, чтобы узнать больше.

Pretraining

Pretraining (предварительное обучение) — это начальный процесс обучения языковых моделей на большом немаркированном корпусе текста. В случае Claude, авторегрессивные языковые модели (как базовая модель Claude) предварительно обучаются предсказывать следующее слово, учитывая предыдущий контекст текста в документе. Эти предварительно обученные модели по своей природе не очень хороши в ответах на вопросы или следовании инструкциям и часто требуют глубоких навыков в инженерии запросов для получения желаемого поведения. Fine-tuning и RLHF используются для уточнения этих предварительно обученных моделей, делая их более полезными для широкого спектра задач.

RAG (Retrieval augmented generation)

Retrieval augmented generation (RAG) (поиск с дополнением генерации) — это техника, которая объединяет поиск информации с генерацией языковой модели для улучшения точности и релевантности сгенерированного текста и лучшего обоснования ответа модели доказательствами. В RAG языковая модель дополняется внешней базой знаний или набором документов, которые передаются в контекстное окно. Данные извлекаются во время выполнения, когда запрос отправляется модели, хотя сама модель не обязательно извлекает данные (но может с помощью использования инструментов и функции поиска). При генерации текста релевантная информация сначала должна быть извлечена из базы знаний на основе входного запроса, а затем передана модели вместе с исходным запросом. Модель использует эту информацию для направления генерируемого результата. Это позволяет модели получать доступ и использовать информацию, выходящую за рамки своих обучающих данных, снижая зависимость от запоминания и улучшая фактическую точность сгенерированного текста. RAG может быть особенно полезен для задач, требующих актуальной информации, знаний, специфичных для области, или явного цитирования источников. Однако эффективность RAG зависит от качества и релевантности внешней базы знаний и знаний, которые извлекаются во время выполнения.

RLHF

Reinforcement Learning from Human Feedback (RLHF) (обучение с подкреплением на основе обратной связи человека) — это техника, используемая для обучения предварительно обученной языковой модели вести себя способами, которые согласуются с предпочтениями человека. Это может включать помощь модели более эффективно следовать инструкциям или действовать больше как чатбот. Обратная связь человека состоит из ранжирования набора из двух или более примеров текста, и процесс обучения с подкреплением побуждает модель предпочитать результаты, похожие на более высокоранжированные. Claude был обучен с использованием RLHF, чтобы быть более полезным помощником. Для получения дополнительных сведений вы можете прочитать статью Anthropic на эту тему.

Temperature

Temperature (температура) — это параметр, который контролирует случайность предсказаний модели во время генерации текста. Более высокие температуры приводят к более творческим и разнообразным результатам, позволяя использовать несколько вариаций в формулировке и, в случае художественной литературы, вариации в ответах. Более низкие температуры приводят к более консервативным и детерминированным результатам, которые придерживаются наиболее вероятной формулировки и ответов. Регулировка температуры позволяет пользователям побуждать языковую модель исследовать редкие, необычные или удивительные выборы и последовательности слов, а не только выбирать наиболее вероятные предсказания.

Пользователи могут столкнуться с недетерминизмом в API. Даже если температура установлена на 0, результаты не будут полностью детерминированными, и одинаковые входные данные могут давать разные результаты при разных вызовах API. Это применяется как к собственному сервису вывода Anthropic, так и к выводу через сторонних поставщиков облачных услуг.

TTFT (Time to first token)

Time to First Token (TTFT) (время до первого токена) — это метрика производительности, которая измеряет время, необходимое языковой модели для генерации первого токена своего результата после получения запроса. Это важный показатель отзывчивости модели и особенно актуален для интерактивных приложений, чатботов и систем реального времени, где пользователи ожидают быстрой начальной обратной связи. Более низкий TTFT указывает на то, что модель может начать генерировать ответ быстрее, обеспечивая более плавный и привлекательный пользовательский опыт. Факторы, которые могут влиять на TTFT, включают размер модели, возможности оборудования, условия сети и сложность запроса.

Tokens

Tokens (токены) — это наименьшие отдельные единицы языковой модели и могут соответствовать словам, подсловам, символам или даже байтам (в случае Unicode). Для Claude токен приблизительно представляет 3,5 английских символа, хотя точное число может варьироваться в зависимости от используемого языка. Токены обычно скрыты при взаимодействии с языковыми моделями на уровне "текста", но становятся актуальными при изучении точных входных и выходных данных языковой модели. Когда Claude предоставляется текст для оценки, текст (состоящий из серии символов) кодируется в серию токенов для обработки моделью. Более крупные токены обеспечивают эффективность данных во время вывода и предварительного обучения (и используются, когда это возможно), в то время как более мелкие токены позволяют модели обрабатывать необычные или ранее не встречавшиеся слова. Выбор метода токенизации может влиять на производительность модели, размер словаря и способность обрабатывать слова, отсутствующие в словаре.