Glossario



Context window

La "context window" (finestra di contesto) si riferisce alla quantità di testo che un modello linguistico può consultare e referenziare quando genera nuovo testo. Questo è diverso dal grande corpus di dati su cui il modello linguistico è stato addestrato, e rappresenta invece una "memoria di lavoro" per il modello. Una finestra di contesto più ampia consente al modello di comprendere e rispondere a prompt più complessi e lunghi, mentre una finestra di contesto più piccola può limitare la capacità del modello di gestire prompt più lunghi o mantenere la coerenza su conversazioni estese.

Consulta la nostra guida per comprendere le finestre di contesto per saperne di più.



Fine-tuning

Il "fine-tuning" (affinamento) è il processo di ulteriore addestramento di un modello linguistico preaddestrato utilizzando dati aggiuntivi. Questo causa al modello di iniziare a rappresentare e imitare i modelli e le caratteristiche del dataset di fine-tuning. Claude non è un modello linguistico grezzo; è già stato sottoposto a fine-tuning per essere un assistente utile. La nostra API attualmente non offre fine-tuning, ma contatta il tuo referente Anthropic se sei interessato a esplorare questa opzione. Il fine-tuning può essere utile per adattare un modello linguistico a un dominio specifico, un compito o uno stile di scrittura, ma richiede una considerazione attenta dei dati di fine-tuning e del potenziale impatto sulle prestazioni e i bias del modello.



HHH

Queste tre H rappresentano gli obiettivi di Anthropic nel garantire che Claude sia vantaggioso per la società:

• Un'IA utile (helpful) tenterà di eseguire il compito o rispondere alla domanda posta al meglio delle sue capacità, fornendo informazioni rilevanti e utili.
• Un'IA onesta (honest) fornirà informazioni accurate e non allucinerà né confabulerà. Riconoscerà i suoi limiti e incertezze quando appropriato.
• Un'IA innocua (harmless) non sarà offensiva o discriminatoria, e quando le viene chiesto di aiutare in un atto pericoloso o non etico, l'IA dovrebbe educatamente rifiutare e spiegare perché non può conformarsi.



Latency

La "latency" (latenza), nel contesto dell'IA generativa e dei grandi modelli linguistici, si riferisce al tempo necessario al modello per rispondere a un determinato prompt. È il ritardo tra l'invio di un prompt e la ricezione dell'output generato. Una latency inferiore indica tempi di risposta più veloci, che è cruciale per applicazioni in tempo reale, chatbot ed esperienze interattive. I fattori che possono influenzare la latency includono la dimensione del modello, le capacità hardware, le condizioni di rete e la complessità del prompt e della risposta generata.



LLM

I "large language models" (grandi modelli linguistici), o LLM, sono modelli linguistici di IA con molti parametri che sono in grado di eseguire una varietà di compiti sorprendentemente utili. Questi modelli sono addestrati su vaste quantità di dati testuali e possono generare testo simile a quello umano, rispondere a domande, riassumere informazioni e altro ancora. Claude è un assistente conversazionale basato su un grande modello linguistico che è stato sottoposto a fine-tuning e addestrato utilizzando RLHF per essere più utile, onesto e innocuo.



MCP (Model Context Protocol)

Il "Model Context Protocol", o MCP, è un protocollo aperto che standardizza il modo in cui le applicazioni forniscono contesto agli LLM. Come una porta USB-C per le applicazioni di IA, MCP fornisce un modo unificato per connettere i modelli di IA a diverse fonti di dati e strumenti. MCP consente ai sistemi di IA di mantenere un contesto coerente tra le interazioni e di accedere a risorse esterne in modo standardizzato. Consulta la nostra documentazione MCP per saperne di più.



MCP connector

L'MCP connector è una funzionalità che consente agli utenti dell'API di connettersi ai server MCP direttamente dalla Messages API senza dover creare un client MCP. Questo consente un'integrazione fluida con strumenti e servizi compatibili con MCP attraverso l'API di Claude. L'MCP connector supporta funzionalità come la chiamata di strumenti ed è disponibile in beta. Consulta la documentazione dell'MCP connector per saperne di più.



Pretraining

Il "pretraining" (preaddestramento) è il processo iniziale di addestramento dei modelli linguistici su un grande corpus di testo non etichettato. Nel caso di Claude, i modelli linguistici autoregressivi (come il modello sottostante di Claude) sono preaddestrati per prevedere la parola successiva, dato il contesto precedente di testo nel documento. Questi modelli preaddestrati non sono intrinsecamente bravi a rispondere a domande o seguire istruzioni, e spesso richiedono una profonda competenza nel prompt engineering per ottenere i comportamenti desiderati. Il fine-tuning e l'RLHF vengono utilizzati per perfezionare questi modelli preaddestrati, rendendoli più utili per un'ampia gamma di compiti.



RAG (Retrieval augmented generation)

La "retrieval augmented generation" (generazione aumentata dal recupero), o RAG, è una tecnica che combina il recupero di informazioni con la generazione del modello linguistico per migliorare l'accuratezza e la rilevanza del testo generato, e per ancorare meglio la risposta del modello alle evidenze. Nella RAG, un modello linguistico viene arricchito con una base di conoscenza esterna o un insieme di documenti che viene passato nella finestra di contesto. I dati vengono recuperati in fase di esecuzione quando una query viene inviata al modello, anche se il modello stesso non recupera necessariamente i dati (ma può farlo con l'uso degli strumenti e una funzione di recupero). Quando si genera testo, le informazioni rilevanti devono prima essere recuperate dalla base di conoscenza in base al prompt di input, e poi passate al modello insieme alla query originale. Il modello utilizza queste informazioni per guidare l'output che genera. Questo consente al modello di accedere e utilizzare informazioni che vanno oltre i suoi dati di addestramento, riducendo la dipendenza dalla memorizzazione e migliorando l'accuratezza fattuale del testo generato. La RAG può essere particolarmente utile per compiti che richiedono informazioni aggiornate, conoscenze specifiche di dominio o citazione esplicita delle fonti. Tuttavia, l'efficacia della RAG dipende dalla qualità e dalla rilevanza della base di conoscenza esterna e dalle conoscenze che vengono recuperate in fase di esecuzione.



RLHF

Il "Reinforcement Learning from Human Feedback" (apprendimento per rinforzo da feedback umano), o RLHF, è una tecnica utilizzata per addestrare un modello linguistico preaddestrato a comportarsi in modi coerenti con le preferenze umane. Questo può includere aiutare il modello a seguire le istruzioni in modo più efficace o ad agire più come un chatbot. Il feedback umano consiste nel classificare un insieme di due o più testi di esempio, e il processo di apprendimento per rinforzo incoraggia il modello a preferire output simili a quelli classificati più in alto. Claude è stato addestrato utilizzando RLHF per essere un assistente più utile. Per maggiori dettagli, puoi leggere il paper di Anthropic sull'argomento.



Temperature

La "temperature" (temperatura) è un parametro che controlla la casualità delle previsioni di un modello durante la generazione di testo. Temperature più alte portano a output più creativi e diversificati, consentendo molteplici variazioni nella formulazione e, nel caso della narrativa, anche variazioni nelle risposte. Temperature più basse producono output più conservativi e deterministici che si attengono alle formulazioni e risposte più probabili. Regolare la temperature consente agli utenti di incoraggiare un modello linguistico a esplorare scelte e sequenze di parole rare, insolite o sorprendenti, anziché selezionare solo le previsioni più probabili.

Gli utenti potrebbero riscontrare non-determinismo nelle API. Anche con la temperature impostata a 0, i risultati non saranno completamente deterministici e input identici potrebbero produrre output diversi tra le chiamate API. Questo vale sia per il servizio di inferenza first-party di Anthropic sia per l'inferenza attraverso provider cloud di terze parti.



TTFT (Time to first token)

Il "Time to First Token" (tempo al primo token), o TTFT, è una metrica di prestazione che misura il tempo necessario a un modello linguistico per generare il primo token del suo output dopo aver ricevuto un prompt. È un indicatore importante della reattività del modello ed è particolarmente rilevante per applicazioni interattive, chatbot e sistemi in tempo reale in cui gli utenti si aspettano un feedback iniziale rapido. Un TTFT inferiore indica che il modello può iniziare a generare una risposta più velocemente, fornendo un'esperienza utente più fluida e coinvolgente. I fattori che possono influenzare il TTFT includono la dimensione del modello, le capacità hardware, le condizioni di rete e la complessità del prompt.



Token

I token sono le unità individuali più piccole di un modello linguistico e possono corrispondere a parole, sottoparole, caratteri o persino byte (nel caso di Unicode). Per Claude, un token rappresenta approssimativamente 3,5 caratteri inglesi, anche se il numero esatto può variare a seconda della lingua utilizzata. I token sono tipicamente nascosti quando si interagisce con i modelli linguistici a livello di "testo", ma diventano rilevanti quando si esaminano gli input e gli output esatti di un modello linguistico. Quando a Claude viene fornito del testo da valutare, il testo (costituito da una serie di caratteri) viene codificato in una serie di token che il modello deve elaborare. Token più grandi consentono efficienza dei dati durante l'inferenza e il pretraining (e vengono utilizzati quando possibile), mentre token più piccoli consentono a un modello di gestire parole insolite o mai viste prima. La scelta del metodo di tokenizzazione può influire sulle prestazioni del modello, sulla dimensione del vocabolario e sulla capacità di gestire parole fuori vocabolario.