Glossar
Diese Konzepte sind nicht einzigartig für Claude. Diese Seite bietet eine kurze Zusammenfassung der wichtigsten Begriffe.
Context window
Das „context window“ (Kontextfenster) bezieht sich auf die Menge an Text, auf die ein Sprachmodell zurückblicken und verweisen kann, wenn es neuen Text generiert. Dies unterscheidet sich vom großen Datenbestand, auf dem das Sprachmodell trainiert wurde, und stellt stattdessen einen „Arbeitsspeicher“ für das Modell dar. Ein größeres Kontextfenster ermöglicht es dem Modell, komplexere und längere Prompts zu verarbeiten und darauf zu reagieren, während ein kleineres Kontextfenster die Fähigkeit des Modells einschränken kann, längere Prompts zu verarbeiten oder die Kohärenz über längere Gespräche hinweg zu bewahren.
Schau dir den Leitfaden zum Verständnis von Kontextfenstern an, wenn du mehr erfahren möchtest.
Fine-tuning
„Fine-tuning“ (Feinabstimmung) ist der Prozess des weiteren Trainings eines vortrainierten Sprachmodells mit zusätzlichen Daten. Dies führt dazu, dass das Modell beginnt, die Muster und Merkmale des Fine-tuning-Datensatzes darzustellen und nachzuahmen. Claude ist kein bloßes Sprachmodell; es wurde bereits fine-tuned, um ein hilfreicher Assistent zu sein. Die Claude API bietet derzeit kein Fine-tuning an, aber frage deinen Anthropic-Ansprechpartner, wenn du daran interessiert bist, diese Option zu erkunden. Fine-tuning kann nützlich sein, um ein Sprachmodell an eine bestimmte Domäne, Aufgabe oder einen bestimmten Schreibstil anzupassen, erfordert aber eine sorgfältige Überlegung der Fine-tuning-Daten und der möglichen Auswirkungen auf die Leistung und Verzerrungen des Modells.
HHH
HHH („helpful, honest, harmless“ – hilfreich, ehrlich, harmlos) ist ein Forschungsrahmen, der bestimmt, wie Claude trainiert wird, um der Gesellschaft zugute zu kommen. Er unterscheidet sich vom Claude-Produktslogan „KI-Assistent für Leben und Arbeit“.
- Eine hilfreiche (helpful) KI wird versuchen, die Aufgabe auszuführen oder die gestellte Frage nach besten Kräften zu beantworten und relevante und nützliche Informationen bereitzustellen.
- Eine ehrliche (honest) KI wird genaue Informationen geben und nicht halluzinieren oder konfabulieren. Sie wird ihre Grenzen und Unsicherheiten angemessen anerkennen.
- Eine harmlose (harmless) KI wird nicht beleidigend oder diskriminierend sein, und wenn sie aufgefordert wird, bei einer gefährlichen oder unethischen Handlung zu helfen, sollte die KI höflich ablehnen und erklären, warum sie nicht nachkommen kann.
Latency
„Latency“ (Latenz) bezieht sich im Kontext von generativer KI und großen Sprachmodellen auf die Zeit, die das Modell benötigt, um auf einen bestimmten Prompt zu reagieren. Es ist die Verzögerung zwischen dem Absenden eines Prompts und dem Empfang der generierten Ausgabe. Eine niedrigere Latency zeigt schnellere Antwortzeiten an, was für Echtzeitanwendungen, Chatbots und interaktive Erfahrungen entscheidend ist. Faktoren, die die Latency beeinflussen können, sind die Modellgröße, Hardwarefähigkeiten, Netzwerkbedingungen und die Komplexität des Prompts und der generierten Antwort.
LLM
„Large language models“ (große Sprachmodelle), oder LLMs, sind KI-Sprachmodelle mit vielen Parametern, die in der Lage sind, eine Vielzahl überraschend nützlicher Aufgaben auszuführen. Diese Modelle werden auf riesigen Mengen von Textdaten trainiert und können menschenähnliche Texte generieren, Fragen beantworten, Informationen zusammenfassen und vieles mehr. Claude, ein von Anthropic entwickelter KI-Assistent für Leben und Arbeit, basiert auf einem großen Sprachmodell, das mithilfe von RLHF fine-tuned und trainiert wurde.
MCP (Model Context Protocol)
„Model Context Protocol“, oder MCP, ist ein offenes Protokoll, das standardisiert, wie Anwendungen Kontext für LLMs bereitstellen. Wie ein USB-C-Anschluss für KI-Anwendungen bietet MCP eine einheitliche Möglichkeit, KI-Modelle mit verschiedenen Datenquellen und Tools zu verbinden. MCP ermöglicht es KI-Systemen, einen konsistenten Kontext über Interaktionen hinweg zu bewahren und auf externe Ressourcen auf standardisierte Weise zuzugreifen. Schau dir die MCP-Dokumentation an, wenn du mehr erfahren möchtest.
MCP connector
Der „MCP connector“ (MCP-Konnektor) ist eine Funktion, die es API-Nutzern ermöglicht, sich direkt über die Messages API mit MCP-Servern zu verbinden, ohne einen MCP-Client zu erstellen. Dies ermöglicht eine nahtlose Integration mit MCP-kompatiblen Tools und Diensten über die Claude API. Der MCP-Konnektor unterstützt Funktionen wie Tool-Aufrufe und ist in der Beta-Version verfügbar. Schau dir die Dokumentation zum MCP-Konnektor an, wenn du mehr erfahren möchtest.
Pretraining
„Pretraining“ (Vortraining) ist der anfängliche Prozess des Trainings von Sprachmodellen auf einem großen, nicht gelabelten Textkorpus. Im Fall von Claude werden autoregressive Sprachmodelle (wie das Claude zugrunde liegende Modell) darauf vortrainiert, das nächste Wort vorherzusagen, basierend auf dem vorherigen Textkontext im Dokument. Diese vortrainierten Modelle sind nicht von Natur aus gut darin, Fragen zu beantworten oder Anweisungen zu befolgen, und erfordern oft tiefgehende Fähigkeiten im Prompt Engineering, um gewünschte Verhaltensweisen hervorzurufen. Fine-tuning und RLHF werden verwendet, um diese vortrainierten Modelle zu verfeinern und sie für eine breite Palette von Aufgaben nützlicher zu machen.
RAG (Retrieval augmented generation)
„Retrieval augmented generation“ (abrufgestützte Generierung), oder RAG, ist eine Technik, die Informationsabruf mit der Generierung durch Sprachmodelle kombiniert, um die Genauigkeit und Relevanz des generierten Textes zu verbessern und die Antwort des Modells besser auf Belege zu stützen. Bei RAG wird ein Sprachmodell um eine externe Wissensbasis oder eine Reihe von Dokumenten erweitert, die in das Kontextfenster übergeben werden. Die Daten werden zur Laufzeit abgerufen, wenn eine Anfrage an das Modell gesendet wird, obwohl das Modell selbst die Daten nicht unbedingt abruft (dies aber mit Tool-Nutzung und einer Abruffunktion tun kann). Bei der Textgenerierung müssen zunächst relevante Informationen basierend auf dem Eingabe-Prompt aus der Wissensbasis abgerufen und dann zusammen mit der ursprünglichen Anfrage an das Modell übergeben werden. Das Modell verwendet diese Informationen, um die generierte Ausgabe zu steuern. Dies ermöglicht es dem Modell, auf Informationen jenseits seiner Trainingsdaten zuzugreifen und diese zu nutzen, wodurch die Abhängigkeit vom Auswendiglernen verringert und die faktische Genauigkeit des generierten Textes verbessert wird. RAG kann besonders nützlich sein für Aufgaben, die aktuelle Informationen, domänenspezifisches Wissen oder explizite Quellenangaben erfordern. Die Wirksamkeit von RAG hängt jedoch von der Qualität und Relevanz der externen Wissensbasis und des zur Laufzeit abgerufenen Wissens ab.
RLHF
„Reinforcement Learning from Human Feedback“ (Verstärkungslernen aus menschlichem Feedback), oder RLHF, ist eine Technik, mit der ein vortrainiertes Sprachmodell darauf trainiert wird, sich auf eine Weise zu verhalten, die mit menschlichen Präferenzen übereinstimmt. Dies kann beinhalten, dem Modell zu helfen, Anweisungen effektiver zu befolgen oder sich mehr wie ein Chatbot zu verhalten. Menschliches Feedback besteht darin, eine Reihe von zwei oder mehr Beispieltexten zu bewerten, und der Prozess des Verstärkungslernens ermutigt das Modell, Ausgaben zu bevorzugen, die den höher bewerteten ähnlich sind. Claude wurde mithilfe von RLHF trainiert, um ein hilfreicherer Assistent zu sein. Für weitere Details kannst du Anthropics Paper zu diesem Thema lesen.
Temperature
„Temperature“ (Temperatur) ist ein Parameter, der die Zufälligkeit der Vorhersagen eines Modells während der Textgenerierung steuert. Höhere Temperaturen führen zu kreativeren und vielfältigeren Ausgaben und ermöglichen mehrere Variationen in der Formulierung und, im Fall von Fiktion, auch Variationen in den Antworten. Niedrigere Temperaturen führen zu konservativeren und deterministischeren Ausgaben, die sich an die wahrscheinlichsten Formulierungen und Antworten halten. Durch die Anpassung der Temperatur können Nutzer ein Sprachmodell dazu ermutigen, seltene, ungewöhnliche oder überraschende Wortwahlen und Sequenzen zu erkunden, anstatt nur die wahrscheinlichsten Vorhersagen auszuwählen.
Nutzer können in APIs auf Nicht-Determinismus stoßen. Selbst wenn die Temperatur auf 0 gesetzt ist, sind die Ergebnisse nicht vollständig deterministisch, und identische Eingaben können über API-Aufrufe hinweg unterschiedliche Ausgaben erzeugen. Dies gilt sowohl für Anthropics eigenen Inferenzdienst als auch für die Inferenz über Cloud-Drittanbieter.
TTFT (Time to first token)
„Time to First Token“ (Zeit bis zum ersten Token), oder TTFT, ist eine Leistungskennzahl, die die Zeit misst, die ein Sprachmodell benötigt, um nach Erhalt eines Prompts das erste Token seiner Ausgabe zu generieren. Sie ist ein wichtiger Indikator für die Reaktionsfähigkeit des Modells und besonders relevant für interaktive Anwendungen, Chatbots und Echtzeitsysteme, bei denen Nutzer ein schnelles erstes Feedback erwarten. Eine niedrigere TTFT zeigt an, dass das Modell schneller mit der Generierung einer Antwort beginnen kann, was eine nahtlosere und ansprechendere Nutzererfahrung bietet. Faktoren, die die TTFT beeinflussen können, sind die Modellgröße, Hardwarefähigkeiten, Netzwerkbedingungen und die Komplexität des Prompts.
Tokens
Tokens sind die kleinsten individuellen Einheiten eines Sprachmodells und können Wörtern, Teilwörtern, Zeichen oder sogar Bytes (im Fall von Unicode) entsprechen. Bei Claude entspricht ein Token ungefähr 3,5 englischen Zeichen, wobei die genaue Zahl je nach verwendeter Sprache variieren kann. Tokens sind typischerweise verborgen, wenn man mit Sprachmodellen auf der „Text“-Ebene interagiert, werden aber relevant, wenn man die genauen Eingaben und Ausgaben eines Sprachmodells untersucht. Wenn Claude Text zur Auswertung erhält, wird der Text (bestehend aus einer Reihe von Zeichen) in eine Reihe von Tokens kodiert, die das Modell verarbeiten kann. Größere Tokens ermöglichen Dateneffizienz während der Inferenz und des Pretrainings (und werden verwendet, wenn möglich), während kleinere Tokens es einem Modell ermöglichen, ungewöhnliche oder noch nie gesehene Wörter zu verarbeiten. Die Wahl der Tokenisierungsmethode kann die Leistung des Modells, die Größe des Vokabulars und die Fähigkeit, Wörter außerhalb des Vokabulars zu verarbeiten, beeinflussen.
Was this page helpful?