용어집



Context window

"Context window"(컨텍스트 윈도우)는 언어 모델이 새로운 텍스트를 생성할 때 참고할 수 있는 텍스트의 양을 의미합니다. 이는 언어 모델이 학습한 대규모 데이터 코퍼스와는 다르며, 대신 모델의 "작업 메모리"를 나타냅니다. 더 큰 컨텍스트 윈도우는 모델이 더 복잡하고 긴 프롬프트를 이해하고 응답할 수 있게 하며, 더 작은 컨텍스트 윈도우는 모델의 긴 프롬프트 처리 능력이나 확장된 대화에서의 일관성 유지를 제한할 수 있습니다.

자세한 내용은 컨텍스트 윈도우 이해 가이드를 참조하세요.



Fine-tuning

"Fine-tuning"(미세 조정)은 추가 데이터를 사용하여 사전 학습된 언어 모델을 추가로 학습하는 과정입니다. 이로 인해 모델은 fine-tuning 데이터셋의 패턴과 특성을 나타내고 모방하기 시작합니다. Claude는 기본 언어 모델이 아니며, 이미 도움이 되는 어시스턴트가 되도록 fine-tuning되었습니다. 현재 당사 API는 fine-tuning을 제공하지 않지만, 이 옵션을 탐색하는 데 관심이 있으시면 Anthropic 담당자에게 문의해 주시기 바랍니다. Fine-tuning은 언어 모델을 특정 도메인, 작업 또는 작문 스타일에 맞추는 데 유용할 수 있지만, fine-tuning 데이터와 모델의 성능 및 편향에 미치는 잠재적 영향을 신중하게 고려해야 합니다.



HHH

이 세 개의 H는 Claude가 사회에 도움이 되도록 보장하기 위한 Anthropic의 목표를 나타냅니다:

• 도움이 되는(helpful) AI는 최선을 다해 주어진 작업을 수행하거나 질문에 답변하며, 관련성 있고 유용한 정보를 제공합니다.
• 정직한(honest) AI는 정확한 정보를 제공하며, 환각이나 거짓 정보를 만들어내지 않습니다. 적절할 때 자신의 한계와 불확실성을 인정합니다.
• 해롭지 않은(harmless) AI는 모욕적이거나 차별적이지 않으며, 위험하거나 비윤리적인 행위를 돕도록 요청받을 때 정중하게 거절하고 그 이유를 설명합니다.



Latency

생성형 AI 및 대규모 언어 모델의 맥락에서 "latency"(지연 시간)는 모델이 주어진 프롬프트에 응답하는 데 걸리는 시간을 의미합니다. 프롬프트를 제출한 후 생성된 출력을 받을 때까지의 지연입니다. 낮은 latency는 더 빠른 응답 시간을 나타내며, 이는 실시간 애플리케이션, 챗봇 및 대화형 경험에 매우 중요합니다. Latency에 영향을 미칠 수 있는 요소에는 모델 크기, 하드웨어 기능, 네트워크 조건, 프롬프트의 복잡성 및 생성된 응답이 포함됩니다.



LLM

"Large language model"(대규모 언어 모델), 즉 LLM은 많은 매개변수를 가진 AI 언어 모델로, 다양하고 놀랍도록 유용한 작업을 수행할 수 있습니다. 이러한 모델은 방대한 양의 텍스트 데이터로 학습되며 인간과 유사한 텍스트를 생성하고, 질문에 답변하고, 정보를 요약할 수 있습니다. Claude는 대규모 언어 모델을 기반으로 한 대화형 어시스턴트로, RLHF를 사용하여 fine-tuning되고 학습되어 더욱 도움이 되고, 정직하고, 해롭지 않도록 만들어졌습니다.



MCP (Model Context Protocol)

"Model Context Protocol", 즉 MCP는 애플리케이션이 LLM에 컨텍스트를 제공하는 방식을 표준화하는 개방형 프로토콜입니다. AI 애플리케이션을 위한 USB-C 포트와 같이, MCP는 AI 모델을 다양한 데이터 소스 및 도구에 연결하는 통합된 방식을 제공합니다. MCP는 AI 시스템이 상호작용 전반에 걸쳐 일관된 컨텍스트를 유지하고 표준화된 방식으로 외부 리소스에 접근할 수 있게 합니다. 자세한 내용은 MCP 문서를 참조하세요.



MCP connector

MCP 커넥터는 API 사용자가 MCP 클라이언트를 구축하지 않고도 Messages API에서 직접 MCP 서버에 연결할 수 있게 하는 기능입니다. 이를 통해 Claude API를 통해 MCP 호환 도구 및 서비스와 원활하게 통합할 수 있습니다. MCP 커넥터는 도구 호출과 같은 기능을 지원하며 베타로 제공됩니다. 자세한 내용은 MCP 커넥터 문서를 참조하세요.



Pretraining

"Pretraining"(사전 학습)은 레이블이 없는 대규모 텍스트 코퍼스로 언어 모델을 학습하는 초기 과정입니다. Claude의 경우, 자기회귀 언어 모델(Claude의 기반 모델과 같은)은 문서의 이전 텍스트 컨텍스트가 주어졌을 때 다음 단어를 예측하도록 사전 학습됩니다. 이러한 사전 학습된 모델은 본질적으로 질문에 답변하거나 지시를 따르는 데 능숙하지 않으며, 원하는 동작을 이끌어내기 위해 프롬프트 엔지니어링에 대한 깊은 기술이 필요한 경우가 많습니다. Fine-tuning과 RLHF는 이러한 사전 학습된 모델을 개선하여 다양한 작업에 더 유용하게 만드는 데 사용됩니다.



RAG (Retrieval augmented generation)

"Retrieval augmented generation"(검색 증강 생성), 즉 RAG는 정보 검색과 언어 모델 생성을 결합하여 생성된 텍스트의 정확성과 관련성을 향상시키고, 모델의 응답을 증거에 더 잘 기반하도록 하는 기법입니다. RAG에서 언어 모델은 컨텍스트 윈도우로 전달되는 외부 지식 베이스 또는 문서 집합으로 보강됩니다. 데이터는 쿼리가 모델로 전송될 때 런타임에 검색되지만, 모델 자체가 반드시 데이터를 검색하는 것은 아닙니다(도구 사용 및 검색 함수를 통해 검색할 수는 있습니다). 텍스트를 생성할 때, 먼저 입력 프롬프트를 기반으로 지식 베이스에서 관련 정보를 검색한 다음 원래 쿼리와 함께 모델에 전달해야 합니다. 모델은 이 정보를 사용하여 생성하는 출력을 안내합니다. 이를 통해 모델은 학습 데이터를 넘어서는 정보에 접근하고 활용할 수 있어, 암기에 대한 의존도를 줄이고 생성된 텍스트의 사실 정확성을 향상시킵니다. RAG는 최신 정보, 도메인별 지식 또는 명시적인 출처 인용이 필요한 작업에 특히 유용할 수 있습니다. 그러나 RAG의 효과는 외부 지식 베이스의 품질과 관련성, 그리고 런타임에 검색되는 지식에 따라 달라집니다.



RLHF

"Reinforcement Learning from Human Feedback"(인간 피드백 기반 강화 학습), 즉 RLHF는 사전 학습된 언어 모델이 인간의 선호도와 일치하는 방식으로 동작하도록 학습하는 데 사용되는 기법입니다. 여기에는 모델이 지시를 더 효과적으로 따르거나 챗봇처럼 동작하도록 돕는 것이 포함될 수 있습니다. 인간 피드백은 두 개 이상의 예시 텍스트 집합에 순위를 매기는 것으로 구성되며, 강화 학습 과정은 모델이 더 높은 순위의 텍스트와 유사한 출력을 선호하도록 유도합니다. Claude는 더 도움이 되는 어시스턴트가 되도록 RLHF를 사용하여 학습되었습니다. 자세한 내용은 이 주제에 대한 Anthropic의 논문을 참조하세요.



Temperature

"Temperature"(온도)는 텍스트 생성 중 모델 예측의 무작위성을 제어하는 매개변수입니다. 더 높은 temperature는 더 창의적이고 다양한 출력을 생성하여 표현의 여러 변형을 허용하며, 소설의 경우 답변의 변형도 허용합니다. 더 낮은 temperature는 가장 가능성이 높은 표현과 답변을 고수하는 더 보수적이고 결정론적인 출력을 생성합니다. Temperature를 조정하면 사용자는 언어 모델이 가장 가능성이 높은 예측만 선택하는 대신 드물거나 흔하지 않거나 놀라운 단어 선택과 시퀀스를 탐색하도록 유도할 수 있습니다.

사용자는 API에서 비결정성을 경험할 수 있습니다. Temperature를 0으로 설정하더라도 결과는 완전히 결정론적이지 않으며, 동일한 입력이 API 호출 간에 다른 출력을 생성할 수 있습니다. 이는 Anthropic의 자체 추론 서비스와 타사 클라우드 제공업체를 통한 추론 모두에 적용됩니다.



TTFT (Time to first token)

"Time to First Token"(첫 토큰까지의 시간), 즉 TTFT는 언어 모델이 프롬프트를 받은 후 출력의 첫 번째 토큰을 생성하는 데 걸리는 시간을 측정하는 성능 지표입니다. 이는 모델의 응답성을 나타내는 중요한 지표이며, 사용자가 빠른 초기 피드백을 기대하는 대화형 애플리케이션, 챗봇 및 실시간 시스템에 특히 관련이 있습니다. 더 낮은 TTFT는 모델이 더 빠르게 응답 생성을 시작할 수 있음을 나타내며, 더 원활하고 매력적인 사용자 경험을 제공합니다. TTFT에 영향을 미칠 수 있는 요소에는 모델 크기, 하드웨어 기능, 네트워크 조건 및 프롬프트의 복잡성이 포함됩니다.



Tokens

"Token"(토큰)은 언어 모델의 가장 작은 개별 단위이며, 단어, 하위 단어, 문자 또는 바이트(유니코드의 경우)에 해당할 수 있습니다. Claude의 경우, 토큰은 대략 3.5개의 영어 문자를 나타내지만, 정확한 수는 사용되는 언어에 따라 달라질 수 있습니다. 토큰은 일반적으로 "텍스트" 수준에서 언어 모델과 상호작용할 때는 숨겨져 있지만, 언어 모델의 정확한 입력과 출력을 검토할 때 관련성이 있습니다. Claude에 평가할 텍스트가 제공되면, 텍스트(일련의 문자로 구성됨)는 모델이 처리할 수 있도록 일련의 토큰으로 인코딩됩니다. 더 큰 토큰은 추론 및 사전 학습 중 데이터 효율성을 가능하게 하며(가능한 경우 활용됨), 더 작은 토큰은 모델이 흔하지 않거나 이전에 본 적이 없는 단어를 처리할 수 있게 합니다. 토큰화 방법의 선택은 모델의 성능, 어휘 크기 및 어휘 외 단어 처리 능력에 영향을 미칠 수 있습니다.