Глоссарий
Эти понятия не являются уникальными для Claude. На этой странице кратко описаны ключевые термины.
Контекстное окно
«Context window» (контекстное окно) — это объём текста, к которому языковая модель может обращаться и на который может ссылаться при генерации нового текста. Это отличается от большого корпуса данных, на котором обучалась языковая модель, и скорее представляет собой «рабочую память» модели. Более крупное контекстное окно позволяет модели обрабатывать более сложные и длинные «prompts» (подсказки) и отвечать на них, тогда как меньшее контекстное окно может ограничивать способность модели работать с более длинными подсказками или сохранять связность в ходе продолжительных диалогов.
Подробнее см. в руководстве по контекстным окнам.
Дообучение (fine-tuning)
«Fine-tuning» (дообучение) — это процесс дополнительного обучения предобученной языковой модели на дополнительных данных. В результате модель начинает воспроизводить и имитировать закономерности и характеристики набора данных для дообучения. Claude — это не «голая» языковая модель; он уже дообучен, чтобы быть полезным ассистентом. Claude API в настоящее время не предлагает дообучение, но если вы заинтересованы в изучении этой возможности, обратитесь к вашему контактному лицу в Anthropic. Дообучение может быть полезно для адаптации языковой модели к конкретной предметной области, задаче или стилю письма, однако оно требует тщательного подхода к данным для дообучения и учёта потенциального влияния на производительность и предвзятость модели.
HHH
HHH («helpful, honest, harmless» — полезный, честный, безвредный) — это исследовательская концепция, определяющая, как Claude обучается приносить пользу обществу. Она отличается от продуктового слогана Claude — «ИИ-ассистент для жизни и работы».
- Полезный ИИ будет стараться выполнить задачу или ответить на поставленный вопрос в меру своих возможностей, предоставляя релевантную и полезную информацию.
- Честный ИИ будет давать точную информацию, не галлюцинируя и не выдумывая. При необходимости он будет признавать свои ограничения и неопределённость.
- Безвредный ИИ не будет оскорбительным или дискриминационным, а при просьбе помочь в опасном или неэтичном действии должен вежливо отказаться и объяснить, почему он не может выполнить просьбу.
Задержка (latency)
«Latency» (задержка) в контексте генеративного ИИ и больших языковых моделей — это время, которое требуется модели для ответа на заданную подсказку. Это промежуток между отправкой подсказки и получением сгенерированного результата. Меньшая задержка означает более быстрое время отклика, что критически важно для приложений реального времени, чат-ботов и интерактивных сценариев. На задержку могут влиять такие факторы, как размер модели, возможности оборудования, состояние сети, а также сложность подсказки и генерируемого ответа.
LLM
«Large language models» (большие языковые модели), или LLM, — это языковые модели ИИ с большим количеством параметров, способные выполнять множество удивительно полезных задач. Эти модели обучаются на огромных объёмах текстовых данных и могут генерировать текст, похожий на человеческий, отвечать на вопросы, обобщать информацию и многое другое. Claude, ИИ-ассистент для жизни и работы, созданный Anthropic, основан на большой языковой модели, которая была дообучена и обучена с использованием RLHF.
MCP (Model Context Protocol)
«Model Context Protocol», или MCP, — это открытый протокол, который стандартизирует способ предоставления контекста приложениями для LLM. Подобно порту USB-C для ИИ-приложений, MCP обеспечивает единый способ подключения моделей ИИ к различным источникам данных и инструментам. MCP позволяет системам ИИ сохранять согласованный контекст между взаимодействиями и получать доступ к внешним ресурсам стандартизированным образом. Подробнее см. в документации MCP.
Коннектор MCP
Коннектор MCP — это функция, которая позволяет пользователям API подключаться к серверам MCP непосредственно из Messages API без создания клиента MCP. Это обеспечивает бесшовную интеграцию с MCP-совместимыми инструментами и сервисами через Claude API. Коннектор MCP поддерживает такие функции, как вызов инструментов, и доступен в бета-версии. Подробнее см. в документации по коннектору MCP.
Предобучение (pretraining)
«Pretraining» (предварительное обучение) — это начальный процесс обучения языковых моделей на большом неразмеченном корпусе текста. В случае Claude авторегрессионные языковые модели (такие как базовая модель Claude) предварительно обучаются предсказывать следующее слово с учётом предшествующего контекста текста в документе. Эти предварительно обученные модели сами по себе не очень хорошо отвечают на вопросы или следуют инструкциям и часто требуют глубоких навыков «prompt engineering» (инженерия подсказок), чтобы добиться желаемого поведения. Для доработки этих предварительно обученных моделей используются тонкая настройка и RLHF, что делает их более полезными для широкого спектра задач.
RAG (генерация с дополнением извлечённой информацией)
«Retrieval augmented generation» (генерация, дополненная поиском), или RAG, — это метод, сочетающий информационный поиск с генерацией языковой модели для повышения точности и релевантности генерируемого текста, а также для лучшего обоснования ответа модели фактическими данными. В RAG языковая модель дополняется внешней базой знаний или набором документов, которые передаются в контекстное окно. Данные извлекаются во время выполнения, когда запрос отправляется модели, хотя сама модель не обязательно извлекает данные (но может это делать с помощью использования инструментов и функции поиска). При генерации текста релевантная информация сначала должна быть извлечена из базы знаний на основе входной подсказки, а затем передана модели вместе с исходным запросом. Модель использует эту информацию для формирования генерируемого результата. Это позволяет модели получать доступ к информации за пределами её обучающих данных и использовать её, снижая зависимость от запоминания и повышая фактическую точность генерируемого текста. RAG может быть особенно полезен для задач, требующих актуальной информации, знаний в конкретной предметной области или явного цитирования источников. Однако эффективность RAG зависит от качества и релевантности внешней базы знаний и информации, извлекаемой во время выполнения.
RLHF
«Reinforcement learning from human feedback» (обучение с подкреплением на основе отзывов людей), или RLHF, — это метод, используемый для обучения предварительно обученной языковой модели вести себя в соответствии с предпочтениями людей. Это может включать помощь модели в более эффективном следовании инструкциям или в поведении, более похожем на чат-бота. Отзывы людей заключаются в ранжировании набора из двух или более примеров текстов, а процесс обучения с подкреплением побуждает модель отдавать предпочтение результатам, похожим на тексты с более высоким рейтингом. Claude обучен с использованием RLHF, чтобы быть более полезным ассистентом. Для получения более подробной информации вы можете прочитать статью Anthropic об RLHF.
Температура
«Temperature» (температура) — это параметр, который управляет случайностью предсказаний модели во время генерации текста. Более высокая температура приводит к более творческим и разнообразным результатам, допуская множество вариантов формулировок, а в случае художественных текстов — и вариативность ответов. Более низкая температура даёт более консервативные и детерминированные результаты, придерживающиеся наиболее вероятных формулировок и ответов. Настройка температуры позволяет пользователям побуждать языковую модель исследовать редкие, необычные или неожиданные варианты слов и последовательностей, а не выбирать только наиболее вероятные предсказания.
Пользователи могут столкнуться с недетерминированностью в API. Даже при температуре, равной 0, результаты не будут полностью детерминированными, и одинаковые входные данные могут давать разные результаты при разных вызовах API. Это относится как к собственному сервису инференса Anthropic, так и к инференсу через сторонних облачных провайдеров.
TTFT (время до первого токена)
«Time to first token» (время до первого токена), или TTFT, — это метрика производительности, которая измеряет время, необходимое языковой модели для генерации первого токена выходных данных после получения подсказки. Это важный показатель отзывчивости модели, особенно актуальный для интерактивных приложений, чат-ботов и систем реального времени, где пользователи ожидают быстрой первоначальной реакции. Меньшее значение TTFT означает, что модель может быстрее начать генерировать ответ, обеспечивая более плавный и увлекательный пользовательский опыт. На TTFT могут влиять размер модели, возможности оборудования, состояние сети и сложность подсказки.
Токены
«Tokens» (токены) — это наименьшие отдельные единицы языковой модели, которые могут соответствовать словам, частям слов, символам или даже байтам (в случае Unicode). Для Claude количество символов, которое представляет токен, зависит от модели и языка. Модели Claude 4.7 и более поздние, а также Claude Mythos Preview используют более новый токенизатор, который создаёт примерно на 30 процентов больше токенов для того же текста, чем более ранние модели, в которых один токен представляет примерно 3,5 английских символа. Чтобы получить точное количество, используйте подсчёт токенов с моделью, которую вы планируете использовать. Токены обычно скрыты при взаимодействии с языковыми моделями на «текстовом» уровне, но становятся важными при изучении точных входных и выходных данных языковой модели. Когда Claude получает текст для анализа, этот текст (состоящий из последовательности символов) кодируется в последовательность токенов для обработки моделью. Более крупные токены повышают эффективность использования данных во время инференса и предварительного обучения (и используются, когда это возможно), тогда как более мелкие токены позволяют модели обрабатывать редкие или ранее не встречавшиеся слова. Выбор метода токенизации может влиять на производительность модели, размер словаря и способность обрабатывать слова, отсутствующие в словаре.
Эта страница была полезной?