Agente di assistenza clienti

Prerequisiti

Per seguire questa guida, hai bisogno di:

• Una chiave API di Claude (impostata come variabile d'ambiente ANTHROPIC_API_KEY)
• Python 3.10 o versione successiva

Installa i pacchetti richiesti:

pip install anthropic streamlit python-dotenv

Prima di costruire con Claude

Decidi se usare Claude per la chat di assistenza

Ecco alcuni indicatori chiave che suggeriscono di impiegare un "large language model" (grande modello linguistico), o LLM, come Claude per automatizzare parti del tuo processo di assistenza clienti:

Alcune considerazioni per scegliere Claude rispetto ad altri LLM:

• Dai priorità a conversazioni naturali e ricche di sfumature: la sofisticata comprensione del linguaggio di Claude consente conversazioni più naturali e consapevoli del contesto, che risultano più simili a quelle umane rispetto alle chat con altri LLM.
• Ricevi spesso richieste complesse e aperte: Claude può gestire un'ampia gamma di argomenti e richieste senza generare risposte preconfezionate né richiedere un'estesa programmazione delle permutazioni degli enunciati degli utenti.
• Hai bisogno di un supporto multilingue scalabile: le capacità multilingue di Claude gli consentono di sostenere conversazioni in oltre 200 lingue senza la necessità di chatbot separati o di estesi processi di traduzione per ogni lingua supportata.

Definisci la tua interazione di chat ideale

Delinea un'interazione ideale con il cliente per definire come e quando ti aspetti che il cliente interagisca con Claude. Questo schema aiuterà a determinare i requisiti tecnici della tua soluzione.

Ecco un esempio di interazione di chat per l'assistenza clienti di un'assicurazione auto:

• Cliente: Avvia l'esperienza di chat di assistenza
  • Claude: Saluta calorosamente il cliente e avvia la conversazione
• Cliente: Chiede informazioni sull'assicurazione per la sua nuova auto elettrica
  • Claude: Fornisce informazioni pertinenti sulla copertura per veicoli elettrici
• Cliente: Pone domande relative alle esigenze specifiche delle assicurazioni per veicoli elettrici
  • Claude: Risponde con risposte accurate e informative e fornisce link alle fonti
• Cliente: Pone domande fuori tema non correlate ad assicurazioni o auto
  • Claude: Chiarisce che non discute argomenti non correlati e riporta l'utente all'assicurazione auto
• Cliente: Esprime interesse per un preventivo assicurativo
  • Claude: Pone una serie di domande per determinare il preventivo appropriato, adattandosi alle risposte
  • Claude: Invia una richiesta per usare lo strumento API di generazione del preventivo insieme alle informazioni necessarie raccolte dall'utente
  • Claude: Riceve le informazioni di risposta dall'uso dello strumento API, sintetizza le informazioni in una risposta naturale e presenta all'utente il preventivo fornito
• Cliente: Pone domande di approfondimento
  • Claude: Risponde alle domande di approfondimento secondo necessità
  • Claude: Guida il cliente verso i passaggi successivi del processo assicurativo e conclude la conversazione

Suddividi l'interazione in attività distinte

La chat di assistenza clienti è un insieme di molteplici attività diverse, dalla risposta alle domande al recupero di informazioni fino all'esecuzione di azioni su richiesta, racchiuse in un'unica interazione con il cliente. Prima di iniziare a costruire, suddividi la tua interazione ideale con il cliente in ogni attività che vuoi che Claude sia in grado di svolgere. Questo ti garantisce di poter scrivere prompt e valutare Claude per ogni attività, e ti dà una buona idea della gamma di interazioni di cui devi tenere conto quando scrivi i casi di test.

Ecco le attività chiave associate all'esempio di interazione assicurativa:

1. Saluto e orientamento generale

   • Salutare calorosamente il cliente e avviare la conversazione
   • Fornire informazioni generali sull'azienda e sull'interazione

2. Informazioni sul prodotto

   • Fornire informazioni sulla copertura per veicoli elettrici
   • Rispondere a domande relative alle esigenze specifiche delle assicurazioni per veicoli elettrici
   • Rispondere a domande di approfondimento sul preventivo o sui dettagli dell'assicurazione
   • Offrire link alle fonti quando appropriato

3. Gestione della conversazione

   • Restare in tema (assicurazione auto)
   • Reindirizzare le domande fuori tema verso argomenti pertinenti

4. Generazione del preventivo

   • Porre domande appropriate per determinare l'idoneità al preventivo
   • Adattare le domande in base alle risposte del cliente
   • Inviare le informazioni raccolte all'API di generazione del preventivo
   • Presentare al cliente il preventivo fornito

Stabilisci i criteri di successo

Collabora con il tuo team di assistenza per definire i criteri di successo e scrivere valutazioni dettagliate con benchmark e obiettivi misurabili.

Ecco criteri e benchmark che possono essere usati per valutare con quanto successo Claude svolge le attività definite:

Ecco criteri e benchmark che possono essere usati per valutare l'impatto sul business dell'impiego di Claude per l'assistenza:

Come implementare Claude come agente del servizio clienti

Scegli il modello Claude giusto

La scelta del modello dipende dai compromessi tra costo, accuratezza e tempo di risposta.

Per la chat di assistenza clienti, Claude Opus 5 è adatto a bilanciare intelligenza, "latency" (latenza) e costo, inclusi gli scenari di assistenza più complessi che richiedono un ragionamento profondo su conversazioni lunghe e articolate in più passaggi. Tuttavia, nei casi in cui hai un flusso di conversazione con più prompt che includono RAG, "tool use" (uso degli strumenti) o prompt a contesto lungo, Claude Haiku 4.5 potrebbe essere più adatto per ottimizzare la latenza.

Costruisci un prompt solido

Usare Claude per l'assistenza clienti richiede che Claude abbia indicazioni e contesto sufficienti per rispondere in modo appropriato, pur mantenendo abbastanza flessibilità per gestire un'ampia gamma di richieste dei clienti.

Inizia scrivendo gli elementi di un prompt solido, partendo da un "system prompt" (prompt di sistema). Crea un file chiamato config.py e aggiungi ciascuno dei seguenti blocchi:

IDENTITY = """You are Eva, a friendly and knowledgeable AI assistant for Acme Insurance
Company. Your role is to warmly welcome customers and provide information on
Acme's insurance offerings, which include car insurance and electric car
insurance. You can also help customers get quotes for their insurance needs."""

È meglio suddividere i prompt complessi in sottosezioni e scrivere una parte alla volta. Per ogni attività, potresti ottenere risultati migliori seguendo un processo passo dopo passo per definire le parti del prompt di cui Claude avrebbe bisogno per svolgere bene l'attività. Per questo esempio di assistenza clienti per assicurazioni auto, scriverai un pezzo alla volta tutte le parti di un prompt, a partire dall'attività "Saluto e orientamento generale". Questo rende anche più semplice il debug del prompt, poiché puoi regolare più rapidamente le singole parti del prompt complessivo.

STATIC_GREETINGS_AND_GENERAL = """
<static_context>
Acme Auto Insurance: Your Trusted Companion on the Road

About:
At Acme Insurance, we understand that your vehicle is more than just a mode of transportation—it's your ticket to life's adventures.
Since 1985, we've been crafting auto insurance policies that give drivers the confidence to explore, commute, and travel with peace of mind.
Whether you're navigating city streets or embarking on cross-country road trips, Acme is there to protect you and your vehicle.
Our innovative auto insurance policies are designed to adapt to your unique needs, covering everything from fender benders to major collisions.
With Acme's award-winning customer service and swift claim resolution, you can focus on the joy of driving while we handle the rest.
We're not just an insurance provider—we're your co-pilot in life's journeys.
Choose Acme Auto Insurance and experience the assurance that comes with superior coverage and genuine care. Because at Acme, we don't just
insure your car—we fuel your adventures on the open road.

Note: We also offer specialized coverage for electric vehicles, ensuring that drivers of all car types can benefit from our protection.

Acme Insurance offers the following products:
- Car insurance
- Electric car insurance
- Two-wheeler insurance

Business hours: Monday-Friday, 9 AM - 5 PM EST
Customer service number: 1-800-123-4567
</static_context>
"""

Poi fai lo stesso per le informazioni sull'assicurazione auto e sull'assicurazione per auto elettriche.

STATIC_CAR_INSURANCE = """
<static_context>
Car Insurance Coverage:
Acme's car insurance policies typically cover:
1. Liability coverage: Pays for bodily injury and property damage you cause to others.
2. Collision coverage: Pays for damage to your car in an accident.
3. Comprehensive coverage: Pays for damage to your car from non-collision incidents.
4. Medical payments coverage: Pays for medical expenses after an accident.
5. Uninsured/underinsured motorist coverage: Protects you if you're hit by a driver with insufficient insurance.

Optional coverages include:
- Rental car reimbursement
- Roadside assistance
- New car replacement
</static_context>
"""

STATIC_ELECTRIC_CAR_INSURANCE = """
<static_context>
Electric Car Insurance:
Our specialized electric car insurance goes beyond traditional auto coverage,
offering tailored protection for your high-tech investment. In addition to standard coverages, we offer:
- Safeguarding expensive battery systems
- Covering home charging equipment
- Adapting to the rapidly evolving world of electric vehicles

Whether you're driving a Rivian, Nissan Leaf, Chevrolet Bolt,
or any other electric vehicle, our knowledgeable agents are ready to craft a policy
that gives you the confidence to enjoy every electron-powered mile.
</static_context>
"""

Ora che hai il tuo contenuto statico, aggiungi almeno 4-5 esempi di interazioni "buone" per guidare le risposte di Claude. Questi esempi dovrebbero essere rappresentativi della tua interazione ideale con il cliente e possono includere elementi come guardrail e chiamate a strumenti.

EXAMPLES = """
Here are a few examples of how you can interact with customers:

<example 1>
H: Hi, do you offer commercial insurance for small businesses?

A: Ah! Unfortunately, we don't offer commercial insurance at this time.
However, we do provide a range of personal insurance products including car insurance and electric car insurance.
Would you like to know more about these offerings?
</example 1>

<example 2>
H: Hi, what are your business hours?

A: Our business hours are Monday to Friday, 9 AM to 5 PM EST.
If you have any questions or need assistance, feel free to reach out during those times.
How else can I assist you today?
</example 2>

<example 3>
H: I'm shopping for car insurance. What does Acme offer?

A: Great choice! Acme's car insurance policies typically include:
- Liability coverage: Protects you if you're at fault in an accident
- Collision coverage: Pays for damage to your car in an accident
- Comprehensive coverage: Covers non-collision incidents like theft or vandalism
- Medical payments coverage: Pays for medical expenses after an accident
- Uninsured/underinsured motorist coverage: Protects you from drivers with insufficient insurance

We also offer optional coverages like rental car reimbursement, roadside assistance, and new car replacement.
Would you like more details on any of these coverages, or do you have specific questions about insuring your vehicle?
</example 3>

<example 4>
H: I'd like to hear about your electric car insurance.

A: Certainly! Our electric car insurance is specially designed to meet the unique needs of electric vehicle owners.
In addition to all the standard coverages we offer for regular cars, our electric car policies include:

- Battery coverage: Protection against damage or degradation of your vehicle's expensive battery system
- Tech package: Covers repairs or replacement of advanced electronics and onboard computer systems
- Charging station coverage: Protects both home and portable charging equipment
- Cybersecurity protection: Coverage against hacking or digital threats
- Specialized roadside assistance: Includes flatbed towing to protect the vehicle's undercarriage

We cover a wide range of electric vehicles, including popular models from Tesla, Rivian, Nissan, Chevrolet, and more.
Is there a specific electric vehicle you're looking to insure, or would you like more details on any of these coverages?
</example 4>

<example 5>
H: I'd like to get a quote for my car insurance.

A: Certainly! I'd be happy to help you get a quote for your car insurance.
To provide you with an accurate quote, I'll need to collect some information about your vehicle and the primary driver.
Let's start with the basics:

1. What is the make and model of your vehicle?
2. What year was it manufactured?
3. Approximately how many miles have you driven?
4. What is the age of the primary driver?

Once you provide this information, I'll use our quoting tool to generate a personalized insurance quote for you.
</example 5>
"""

Vorrai anche includere eventuali istruzioni importanti che delineino cosa fare e cosa non fare nel modo in cui Claude dovrebbe interagire con il cliente. Queste possono derivare dai guardrail del brand o dalle politiche di assistenza.

ADDITIONAL_GUARDRAILS = """Please adhere to the following guardrails:
1. Only provide information about insurance types listed in our offerings.
2. If asked about an insurance type we don't offer, politely state
that we don't provide that service.
3. Do not speculate about future product offerings or company plans.
4. Don't make promises or enter into agreements it's not authorized to make.
You only provide information and guidance.
5. Do not mention any competitor's products or services.
"""

Ora combina tutte queste sezioni in un'unica stringa da usare come prompt.

TASK_SPECIFIC_INSTRUCTIONS = " ".join(
    [
        STATIC_GREETINGS_AND_GENERAL,
        STATIC_CAR_INSURANCE,
        STATIC_ELECTRIC_CAR_INSURANCE,
        EXAMPLES,
        ADDITIONAL_GUARDRAILS,
    ]
)

Aggiungi capacità dinamiche e agentiche con l'uso degli strumenti

Claude è in grado di eseguire azioni e recuperare informazioni in modo dinamico usando la funzionalità di uso degli strumenti lato client. Inizia elencando eventuali strumenti esterni o API che il prompt dovrebbe usare.

Per questo esempio, inizia con un solo strumento per calcolare il preventivo.

Aggiungi il nome del modello, la definizione dello strumento e un'implementazione stub a config.py:

import time

MODEL = "claude-opus-5-5"

TOOLS = [
    {
        "name": "get_quote",
        "description": "Calculate the insurance quote based on user input. Returned value is per month premium.",
        "input_schema": {
            "type": "object",
            "properties": {
                "make": {"type": "string", "description": "The make of the vehicle."},
                "model": {"type": "string", "description": "The model of the vehicle."},
                "year": {
                    "type": "integer",
                    "description": "The year the vehicle was manufactured.",
                },
                "mileage": {
                    "type": "integer",
                    "description": "The mileage on the vehicle.",
                },
                "driver_age": {
                    "type": "integer",
                    "description": "The age of the primary driver.",
                },
            },
            "required": ["make", "model", "year", "mileage", "driver_age"],
        },
    }
]


def get_quote(make, model, year, mileage, driver_age):
    """Returns the premium per month in USD"""
    # Puoi chiamare un endpoint HTTP o un database per ottenere la quotazione.
    # Qui simuliamo un ritardo di 1 secondo e restituiamo una quotazione fissa di 100.
    time.sleep(1)
    return 100

Distribuisci i tuoi prompt

È difficile sapere quanto bene funzioni il tuo prompt senza distribuirlo in un ambiente di produzione di test ed eseguire valutazioni. Costruisci una piccola applicazione usando il prompt, l'SDK Anthropic e Streamlit per l'interfaccia utente.

In un file chiamato chatbot.py (o il modulo equivalente nel tuo linguaggio), configura la classe ChatBot, che incapsulerà le interazioni con l'SDK Anthropic.

La classe dovrebbe avere due metodi principali: uno che chiama l'API per generare un messaggio e uno che elabora ogni input dell'utente in arrivo.

# Nel tuo chatbot.py, importa questi dal config.py che hai scritto sopra:
# from config import IDENTITY, TOOLS, MODEL, get_quote
from anthropic import Anthropic
from dotenv import load_dotenv

load_dotenv()


class ChatBot:
    def __init__(self, session_state):
        self.anthropic = Anthropic()
        self.session_state = session_state

    def generate_message(
        self,
        messages,
        max_tokens,
    ):
        try:
            response = self.anthropic.messages.create(
                model=MODEL,
                system=IDENTITY,
                max_tokens=max_tokens,
                messages=messages,
                tools=TOOLS,
            )
            return response
        except Exception as e:
            return {"error": str(e)}

    def process_user_input(self, user_input):
        self.session_state.messages.append({"role": "user", "content": user_input})

        response_message = self.generate_message(
            messages=self.session_state.messages,
            max_tokens=2048,
        )

        if "error" in response_message:
            return f"An error occurred: {response_message['error']}"

        if response_message.content[-1].type == "tool_use":
            tool_use = response_message.content[-1]
            func_name = tool_use.name
            func_params = tool_use.input
            tool_use_id = tool_use.id

            result = self.handle_tool_use(func_name, func_params)
            self.session_state.messages.append(
                {"role": "assistant", "content": response_message.content}
            )
            self.session_state.messages.append(
                {
                    "role": "user",
                    "content": [
                        {
                            "type": "tool_result",
                            "tool_use_id": tool_use_id,
                            "content": f"{result}",
                        }
                    ],
                }
            )

            follow_up_response = self.generate_message(
                messages=self.session_state.messages,
                max_tokens=2048,
            )

            if "error" in follow_up_response:
                return f"An error occurred: {follow_up_response['error']}"

            response_text = next(
                (block.text for block in follow_up_response.content if block.type == "text"),
                None,
            )
            if response_text is None:
                raise Exception("An error occurred: Unexpected response type")
            self.session_state.messages.append(
                {"role": "assistant", "content": response_text}
            )
            return response_text

        text_block = next(
            (block for block in response_message.content if block.type == "text"), None
        )
        if text_block is not None:
            response_text = text_block.text
            self.session_state.messages.append(
                {"role": "assistant", "content": response_text}
            )
            return response_text

        raise Exception("An error occurred: Unexpected response type")

    def handle_tool_use(self, func_name, func_params):
        if func_name == "get_quote":
            premium = get_quote(**func_params)
            return f"Quote generated: ${premium:.2f} per month"

        raise Exception("An unexpected tool was used")

Costruisci la tua interfaccia utente

Prova a distribuire questo codice con Streamlit usando un metodo main. Questa funzione main() configura un'interfaccia di chat basata su Streamlit. Streamlit è un framework Python, quindi questa parte della guida è mostrata solo in Python; la classe ChatBot qui sopra è la parte che puoi portare in qualsiasi linguaggio.

Fallo in un file chiamato app.py

import streamlit as st
from chatbot import ChatBot
from config import TASK_SPECIFIC_INSTRUCTIONS


def main():
    st.title("Chat with Eva, Acme Insurance Company's Assistant🤖")

    if "messages" not in st.session_state:
        st.session_state.messages = [
            {"role": "user", "content": TASK_SPECIFIC_INSTRUCTIONS},
            {"role": "assistant", "content": "Understood"},
        ]

    chatbot = ChatBot(st.session_state)

    # Mostra i messaggi di utente e assistente saltando i primi due
    for message in st.session_state.messages[2:]:
        # ignora i blocchi tool use
        if isinstance(message["content"], str):
            with st.chat_message(message["role"]):
                st.markdown(message["content"])

    if user_msg := st.chat_input("Type your message here..."):
        st.chat_message("user").markdown(user_msg)

        with st.chat_message("assistant"):
            with st.spinner("Eva is thinking..."):
                response_placeholder = st.empty()
                full_response = chatbot.process_user_input(user_msg)
                response_placeholder.markdown(full_response)


if __name__ == "__main__":
    main()

Esegui il programma con:

streamlit run app.py

Valuta i tuoi prompt

Il prompting spesso richiede test e ottimizzazione per essere pronto per la produzione. Per determinare la maturità della tua soluzione, valuta le prestazioni del chatbot usando un processo sistematico che combina metodi quantitativi e qualitativi. Creare una solida valutazione empirica basata sui criteri di successo che hai definito ti permetterà di ottimizzare i tuoi prompt.

Migliora le prestazioni

In scenari complessi, può essere utile considerare strategie aggiuntive per migliorare le prestazioni oltre alle tecniche di prompt engineering standard e alle strategie di implementazione dei guardrail. Ecco alcuni scenari comuni:

Riduci la latenza dei contesti lunghi con RAG

Quando si gestiscono grandi quantità di contesto statico e dinamico, includere tutte le informazioni nel prompt può comportare costi elevati, tempi di risposta più lenti e il raggiungimento dei limiti della "context window" (finestra di contesto). In questo scenario, implementare tecniche di "Retrieval Augmented Generation" (generazione aumentata dal recupero), o RAG, può migliorare prestazioni ed efficienza.

Usando modelli di embedding come Voyage per convertire le informazioni in rappresentazioni vettoriali, puoi creare un sistema più scalabile e reattivo. Questo approccio consente il recupero dinamico delle informazioni pertinenti in base alla richiesta corrente, invece di includere tutto il contesto possibile in ogni prompt.

È stato dimostrato che implementare RAG per i casi d'uso di assistenza aumenta l'accuratezza, riduce i tempi di risposta e riduce i costi API nei sistemi con requisiti di contesto estesi. Consulta la ricetta RAG per un esempio completo.

Integra dati in tempo reale con l'uso degli strumenti

Quando si gestiscono richieste che necessitano di informazioni in tempo reale, come saldi dei conti o dettagli delle polizze, gli approcci RAG basati su embedding non sono sufficienti. L'uso degli strumenti può invece migliorare la capacità del tuo chatbot di fornire risposte accurate e in tempo reale. Ad esempio, puoi usare l'uso degli strumenti per cercare informazioni sui clienti, recuperare i dettagli degli ordini e annullare ordini per conto del cliente.

Questo approccio, descritto nella ricetta sull'uso degli strumenti: agente del servizio clienti, ti consente di integrare dati in tempo reale nelle risposte di Claude e di offrire un'esperienza cliente più personalizzata ed efficiente.

Rafforza i guardrail di input e output

Quando distribuisci un chatbot, specialmente in scenari di servizio clienti, è importante prevenire i rischi associati a uso improprio, richieste fuori ambito e risposte inappropriate. Sebbene Claude sia intrinsecamente resiliente a tali scenari, ecco ulteriori passaggi per rafforzare i guardrail del tuo chatbot:

• Riduci le allucinazioni: implementa meccanismi di verifica dei fatti e citazioni per ancorare le risposte alle informazioni fornite.
• Verifica incrociata delle informazioni: verifica che le risposte dell'agente siano in linea con le politiche della tua azienda e con i fatti noti.
• Evita impegni contrattuali: assicurati che l'agente non faccia promesse né stipuli accordi che non è autorizzato a concludere.
• Mitiga i jailbreak: usa metodi come filtri di innocuità e validazione dell'input per impedire agli utenti di sfruttare le vulnerabilità del modello allo scopo di generare contenuti inappropriati.
• Evita di menzionare i concorrenti: implementa un filtro sulle menzioni dei concorrenti per mantenere il focus sul brand e non menzionare prodotti o servizi di alcun concorrente.
• Aumenta la coerenza dell'output: impedisci a Claude di cambiare stile o uscire dal personaggio, anche durante interazioni lunghe e complesse.
• Rimuovi le informazioni di identificazione personale (PII): a meno che non sia esplicitamente richiesto e autorizzato, elimina qualsiasi PII dalle risposte.

Riduci il tempo di risposta percepito con lo streaming

Quando si gestiscono risposte potenzialmente lunghe, implementare lo "streaming" (streaming) può migliorare il coinvolgimento e la soddisfazione degli utenti. In questo scenario, gli utenti ricevono la risposta progressivamente invece di attendere che l'intera risposta venga generata.

Ecco come implementare lo streaming:

1. Usa l'API di streaming di Anthropic per supportare le risposte in streaming.
2. Configura il tuo frontend per gestire i blocchi di testo in arrivo.
3. Visualizza ogni blocco man mano che arriva, simulando la digitazione in tempo reale.
4. Implementa un meccanismo per salvare la risposta completa, consentendo agli utenti di visualizzarla se si allontanano e poi ritornano.

In alcuni casi, lo streaming consente l'uso di modelli più avanzati con latenze di base più elevate, poiché la visualizzazione progressiva mitiga l'impatto dei tempi di elaborazione più lunghi.

Scala il tuo chatbot

Man mano che la complessità del tuo chatbot cresce, l'architettura della tua applicazione può evolversi di conseguenza. Prima di aggiungere ulteriori livelli alla tua architettura, considera le seguenti opzioni meno onerose:

• Assicurati di sfruttare al massimo i tuoi prompt e di ottimizzarli tramite il prompt engineering. Usa le guide al prompt engineering per scrivere i prompt più efficaci.
• Aggiungi ulteriori strumenti al prompt (che possono includere catene di prompt) e verifica se riesci a ottenere la funzionalità richiesta.

Se il tuo chatbot gestisce attività estremamente varie, potresti considerare l'aggiunta di un classificatore di intenti separato per instradare la richiesta iniziale del cliente. Per l'applicazione esistente, ciò comporterebbe la creazione di un albero decisionale che instradi le richieste dei clienti attraverso il classificatore e poi verso conversazioni specializzate (con il proprio set di strumenti e prompt di sistema). Nota che questo metodo richiede una chiamata aggiuntiva a Claude che può aumentare la latenza.

Integra Claude nel tuo flusso di lavoro di assistenza

Sebbene questi esempi si siano concentrati su funzioni Python richiamabili all'interno di un ambiente Streamlit, distribuire Claude per un chatbot di assistenza in tempo reale richiede un servizio API.

Ecco come puoi procedere:

1. Crea un wrapper API: sviluppa un semplice wrapper API attorno alla tua funzione di classificazione. Ad esempio, puoi usare Flask API o Fast API per racchiudere il tuo codice in un servizio HTTP. Il tuo servizio HTTP potrebbe accettare l'input dell'utente e restituire la risposta dell'Assistant nella sua interezza. Pertanto, il tuo servizio potrebbe avere le seguenti caratteristiche:

   • Server-Sent Events (SSE): gli SSE consentono lo streaming in tempo reale delle risposte dal server al client. Questo offre un'esperienza fluida e interattiva quando si lavora con gli LLM.
   • Caching: implementare il caching può migliorare i tempi di risposta e ridurre le chiamate API non necessarie.
   • Conservazione del contesto: mantenere il contesto quando un utente si allontana e poi ritorna è importante per la continuità delle conversazioni.

2. Costruisci un'interfaccia web: implementa un'interfaccia web intuitiva per interagire con l'agente basato su Claude.

Passaggi successivi