Glossar



Context window

Das „context window" (Kontextfenster) bezieht sich auf die Menge an Text, auf die ein Sprachmodell zurückblicken und verweisen kann, wenn es neuen Text generiert. Dies unterscheidet sich vom großen Datenbestand, auf dem das Sprachmodell trainiert wurde, und stellt stattdessen einen „Arbeitsspeicher" für das Modell dar. Ein größeres Kontextfenster ermöglicht es dem Modell, komplexere und längere Prompts zu verstehen und darauf zu reagieren, während ein kleineres Kontextfenster die Fähigkeit des Modells einschränken kann, längere Prompts zu verarbeiten oder die Kohärenz über längere Gespräche hinweg zu bewahren.

Schau dir unseren Leitfaden zum Verständnis von Kontextfenstern an, wenn du mehr erfahren möchtest.



Fine-tuning

„Fine-tuning" (Feinabstimmung) ist der Prozess des weiteren Trainings eines vortrainierten Sprachmodells mit zusätzlichen Daten. Dies führt dazu, dass das Modell beginnt, die Muster und Merkmale des Fine-tuning-Datensatzes darzustellen und nachzuahmen. Claude ist kein bloßes Sprachmodell; es wurde bereits fine-tuned, um ein hilfreicher Assistent zu sein. Unsere API bietet derzeit kein Fine-tuning an, aber kontaktiere deinen Anthropic-Ansprechpartner, wenn du daran interessiert bist, diese Option zu erkunden. Fine-tuning kann nützlich sein, um ein Sprachmodell an eine bestimmte Domäne, Aufgabe oder einen bestimmten Schreibstil anzupassen, erfordert aber eine sorgfältige Überlegung der Fine-tuning-Daten und der möglichen Auswirkungen auf die Leistung und Verzerrungen des Modells.



HHH

Diese drei H's repräsentieren Anthropics Ziele, um sicherzustellen, dass Claude der Gesellschaft zugute kommt:

• Eine hilfreiche (helpful) KI wird versuchen, die Aufgabe auszuführen oder die gestellte Frage nach besten Kräften zu beantworten und relevante und nützliche Informationen bereitzustellen.
• Eine ehrliche (honest) KI wird genaue Informationen geben und nicht halluzinieren oder konfabulieren. Sie wird ihre Grenzen und Unsicherheiten angemessen anerkennen.
• Eine harmlose (harmless) KI wird nicht beleidigend oder diskriminierend sein, und wenn sie aufgefordert wird, bei einer gefährlichen oder unethischen Handlung zu helfen, sollte die KI höflich ablehnen und erklären, warum sie nicht nachkommen kann.



Latency

„Latency" (Latenz) bezieht sich im Kontext von generativer KI und großen Sprachmodellen auf die Zeit, die das Modell benötigt, um auf einen bestimmten Prompt zu reagieren. Es ist die Verzögerung zwischen dem Absenden eines Prompts und dem Empfang der generierten Ausgabe. Eine niedrigere Latency zeigt schnellere Antwortzeiten an, was für Echtzeitanwendungen, Chatbots und interaktive Erfahrungen entscheidend ist. Faktoren, die die Latency beeinflussen können, sind die Modellgröße, Hardwarefähigkeiten, Netzwerkbedingungen und die Komplexität des Prompts und der generierten Antwort.



LLM

„Large language models" (große Sprachmodelle), oder LLMs, sind KI-Sprachmodelle mit vielen Parametern, die in der Lage sind, eine Vielzahl überraschend nützlicher Aufgaben auszuführen. Diese Modelle werden auf riesigen Mengen von Textdaten trainiert und können menschenähnliche Texte generieren, Fragen beantworten, Informationen zusammenfassen und vieles mehr. Claude ist ein Gesprächsassistent, der auf einem LLM basiert, das mit RLHF fine-tuned und trainiert wurde, um hilfreicher, ehrlicher und harmloser zu sein.



MCP (Model Context Protocol)

„Model Context Protocol", oder MCP, ist ein offenes Protokoll, das standardisiert, wie Anwendungen Kontext für LLMs bereitstellen. Wie ein USB-C-Anschluss für KI-Anwendungen bietet MCP eine einheitliche Möglichkeit, KI-Modelle mit verschiedenen Datenquellen und Tools zu verbinden. MCP ermöglicht es KI-Systemen, einen konsistenten Kontext über Interaktionen hinweg zu bewahren und auf externe Ressourcen auf standardisierte Weise zuzugreifen. Schau dir unsere MCP-Dokumentation an, wenn du mehr erfahren möchtest.



MCP-Connector

Der MCP-Connector ist eine Funktion, die es API-Nutzern ermöglicht, sich direkt über die Messages API mit MCP-Servern zu verbinden, ohne einen MCP-Client erstellen zu müssen. Dies ermöglicht eine nahtlose Integration mit MCP-kompatiblen Tools und Diensten über die Claude API. Der MCP-Connector unterstützt Funktionen wie Tool-Aufrufe und ist als Beta verfügbar. Schau dir die MCP-Connector-Dokumentation an, wenn du mehr erfahren möchtest.



Pretraining

„Pretraining" (Vortraining) ist der anfängliche Prozess des Trainings von Sprachmodellen auf einem großen, nicht gelabelten Textkorpus. Im Fall von Claude werden autoregressive Sprachmodelle (wie das zugrunde liegende Modell von Claude) vortrainiert, um das nächste Wort vorherzusagen, basierend auf dem vorherigen Textkontext im Dokument. Diese vortrainierten Modelle sind nicht von Natur aus gut darin, Fragen zu beantworten oder Anweisungen zu befolgen, und erfordern oft tiefgreifende Fähigkeiten im Prompt-Engineering, um gewünschte Verhaltensweisen hervorzurufen. Fine-tuning und RLHF werden verwendet, um diese vortrainierten Modelle zu verfeinern und sie für eine Vielzahl von Aufgaben nützlicher zu machen.



RAG (Retrieval augmented generation)

„Retrieval augmented generation" (abrufgestützte Generierung), oder RAG, ist eine Technik, die Informationsabruf mit Sprachmodellgenerierung kombiniert, um die Genauigkeit und Relevanz des generierten Textes zu verbessern und die Antwort des Modells besser auf Belege zu stützen. Bei RAG wird ein Sprachmodell mit einer externen Wissensdatenbank oder einer Reihe von Dokumenten erweitert, die in das Kontextfenster übergeben werden. Die Daten werden zur Laufzeit abgerufen, wenn eine Anfrage an das Modell gesendet wird, obwohl das Modell selbst die Daten nicht unbedingt abruft (kann dies aber mit Tool-Nutzung und einer Abruffunktion tun). Bei der Textgenerierung müssen zunächst relevante Informationen basierend auf dem Eingabe-Prompt aus der Wissensdatenbank abgerufen und dann zusammen mit der ursprünglichen Anfrage an das Modell übergeben werden. Das Modell verwendet diese Informationen, um die von ihm generierte Ausgabe zu steuern. Dies ermöglicht es dem Modell, auf Informationen zuzugreifen und diese zu nutzen, die über seine Trainingsdaten hinausgehen, wodurch die Abhängigkeit vom Auswendiglernen verringert und die faktische Genauigkeit des generierten Textes verbessert wird. RAG kann besonders nützlich für Aufgaben sein, die aktuelle Informationen, domänenspezifisches Wissen oder explizite Quellenangaben erfordern. Die Wirksamkeit von RAG hängt jedoch von der Qualität und Relevanz der externen Wissensdatenbank und des zur Laufzeit abgerufenen Wissens ab.



RLHF

„Reinforcement Learning from Human Feedback" (Verstärkungslernen aus menschlichem Feedback), oder RLHF, ist eine Technik, die verwendet wird, um ein vortrainiertes Sprachmodell so zu trainieren, dass es sich auf eine Weise verhält, die mit menschlichen Präferenzen übereinstimmt. Dies kann beinhalten, dem Modell zu helfen, Anweisungen effektiver zu befolgen oder sich mehr wie ein Chatbot zu verhalten. Menschliches Feedback besteht darin, eine Reihe von zwei oder mehr Beispieltexten zu bewerten, und der Verstärkungslernprozess ermutigt das Modell, Ausgaben zu bevorzugen, die den höher bewerteten ähnlich sind. Claude wurde mit RLHF trainiert, um ein hilfreicherer Assistent zu sein. Für weitere Details kannst du Anthropics Paper zu diesem Thema lesen.



Temperature

„Temperature" (Temperatur) ist ein Parameter, der die Zufälligkeit der Vorhersagen eines Modells während der Textgenerierung steuert. Höhere Temperaturen führen zu kreativeren und vielfältigeren Ausgaben und ermöglichen mehrere Variationen in der Formulierung und, im Fall von Fiktion, auch Variationen in den Antworten. Niedrigere Temperaturen führen zu konservativeren und deterministischeren Ausgaben, die sich an die wahrscheinlichsten Formulierungen und Antworten halten. Durch Anpassen der Temperatur können Nutzer ein Sprachmodell dazu ermutigen, seltene, ungewöhnliche oder überraschende Wortwahlen und Sequenzen zu erkunden, anstatt nur die wahrscheinlichsten Vorhersagen auszuwählen.

Nutzer können in APIs auf Nicht-Determinismus stoßen. Selbst wenn die Temperatur auf 0 gesetzt ist, sind die Ergebnisse nicht vollständig deterministisch, und identische Eingaben können über API-Aufrufe hinweg unterschiedliche Ausgaben erzeugen. Dies gilt sowohl für den First-Party-Inferenzdienst von Anthropic als auch für die Inferenz über Cloud-Drittanbieter.



TTFT (Time to first token)

„Time to First Token" (Zeit bis zum ersten Token), oder TTFT, ist eine Leistungsmetrik, die die Zeit misst, die ein Sprachmodell benötigt, um das erste Token seiner Ausgabe zu generieren, nachdem es einen Prompt erhalten hat. Es ist ein wichtiger Indikator für die Reaktionsfähigkeit des Modells und besonders relevant für interaktive Anwendungen, Chatbots und Echtzeitsysteme, bei denen Nutzer schnelles erstes Feedback erwarten. Ein niedrigerer TTFT zeigt an, dass das Modell schneller mit der Generierung einer Antwort beginnen kann, was eine nahtlosere und ansprechendere Nutzererfahrung bietet. Faktoren, die TTFT beeinflussen können, sind die Modellgröße, Hardwarefähigkeiten, Netzwerkbedingungen und die Komplexität des Prompts.



Tokens

Tokens sind die kleinsten einzelnen Einheiten eines Sprachmodells und können Wörtern, Teilwörtern, Zeichen oder sogar Bytes (im Fall von Unicode) entsprechen. Bei Claude repräsentiert ein Token ungefähr 3,5 englische Zeichen, obwohl die genaue Anzahl je nach verwendeter Sprache variieren kann. Tokens sind typischerweise verborgen, wenn man mit Sprachmodellen auf der „Text"-Ebene interagiert, werden aber relevant, wenn man die genauen Eingaben und Ausgaben eines Sprachmodells untersucht. Wenn Claude Text zur Auswertung erhält, wird der Text (bestehend aus einer Reihe von Zeichen) in eine Reihe von Tokens kodiert, die das Modell verarbeiten kann. Größere Tokens ermöglichen Dateneffizienz während der Inferenz und des Pretrainings (und werden nach Möglichkeit verwendet), während kleinere Tokens es einem Modell ermöglichen, ungewöhnliche oder noch nie gesehene Wörter zu verarbeiten. Die Wahl der Tokenisierungsmethode kann die Leistung des Modells, die Vokabulargröße und die Fähigkeit, Wörter außerhalb des Vokabulars zu verarbeiten, beeinflussen.