Claude Platform Docs
Best PracticesAnwendungsfälle

Ticket-Routing

Dieser Leitfaden zeigt, wie du Claudes fortschrittliche Fähigkeiten zum Verständnis natürlicher Sprache nutzt, um Kundensupport-Tickets in großem Maßstab anhand von Kundenabsicht, Dringlichkeit, Priorisierung, Kundenprofil und mehr zu klassifizieren.

Voraussetzungen

  • Ein Claude API-Key und das installierte Anthropic SDK
  • Zugriff auf dein bestehendes Support-Ticketsystem und Vertrautheit damit
  • Ein Beispielsatz historischer Support-Tickets zum Testen

Festlegen, ob Claude für das Ticket-Routing verwendet werden soll

Hier sind einige wichtige Anzeichen dafür, dass du für deine Klassifizierungsaufgabe ein „large language model“ (großes Sprachmodell), oder LLM, wie Claude anstelle traditioneller ML-Ansätze verwenden solltest:


Deinen LLM-Support-Workflow erstellen und bereitstellen

Deinen aktuellen Support-Ansatz verstehen

Bevor du automatisierst, ist es entscheidend, dein bestehendes Ticketsystem zu verstehen. Beginne damit, zu untersuchen, wie dein Support-Team derzeit das Ticket-Routing handhabt.

Berücksichtige Fragen wie:

  • Welche Kriterien werden verwendet, um zu bestimmen, welches SLA/Serviceangebot angewendet wird?
  • Wird das Ticket-Routing verwendet, um zu bestimmen, an welche Support-Stufe oder welchen Produktspezialisten ein Ticket geht?
  • Gibt es bereits automatisierte Regeln oder Workflows? In welchen Fällen versagen sie?
  • Wie werden Grenzfälle oder mehrdeutige Tickets behandelt?
  • Wie priorisiert das Team Tickets?

Je mehr du darüber weißt, wie Menschen bestimmte Fälle handhaben, desto besser kannst du mit Claude zusammenarbeiten, um die Aufgabe zu erledigen.

Kategorien für Nutzerabsichten definieren

Eine gut definierte Liste von Kategorien für Nutzerabsichten ist entscheidend für eine genaue Klassifizierung von Support-Tickets mit Claude. Claudes Fähigkeit, Tickets innerhalb deines Systems effektiv weiterzuleiten, ist direkt proportional dazu, wie gut die Kategorien deines Systems definiert sind.

Hier sind einige Beispiele für Kategorien und Unterkategorien von Nutzerabsichten.

Neben der Absicht können Ticket-Routing und Priorisierung auch von anderen Faktoren wie Dringlichkeit, Kundentyp, SLAs oder Sprache beeinflusst werden. Berücksichtige beim Aufbau deines automatisierten Routing-Systems unbedingt auch andere Routing-Kriterien.

Erfolgskriterien festlegen

Arbeite mit deinem Support-Team zusammen, um klare Erfolgskriterien zu definieren – mit messbaren Benchmarks, Schwellenwerten und Zielen.

Hier sind einige Standardkriterien und Benchmarks für den Einsatz von LLMs beim Routing von Support-Tickets:

Hier sind einige gängige Erfolgskriterien, die unabhängig davon nützlich sein können, ob ein LLM eingesetzt wird:

Wähle das richtige Claude-Modell

Die Wahl des Modells hängt von den Kompromissen zwischen Kosten, Genauigkeit und Antwortzeit ab.

Claude Haiku 5.5 (claude-haiku-5-5) eignet sich gut für das Ticket-Routing: Es ist das schnellste und kosteneffizienteste aktuelle Modell und bewältigt bei low Effort einfache Anfragen mit hohem Volumen wie die Klassifizierung. Wenn dein Klassifizierungsproblem tiefes Fachwissen, eine große Anzahl von Absichtskategorien oder komplexes Reasoning erfordert, kannst du dich für das größere Sonnet-Modell entscheiden.

Erstelle einen starken Prompt

Ticket-Routing ist eine Art von Klassifizierungsaufgabe. Claude analysiert den Inhalt eines Support-Tickets und ordnet es anhand von Problemtyp, Dringlichkeit, erforderlicher Expertise oder anderen relevanten Faktoren vordefinierten Kategorien zu.

Schreibe einen Prompt zur Ticket-Klassifizierung. Der erste Prompt sollte den Inhalt der Benutzeranfrage enthalten und sowohl die Begründung als auch die Absicht zurückgeben.

Hier ist ein Beispiel für einen Klassifizierungs-Prompt für das Ticket-Routing:

def classify_support_request(ticket_contents):
    # Definiere den Prompt für die Klassifizierungsaufgabe
    classification_prompt = f"""You will be acting as a customer support ticket classification system. Your task is to analyze customer support requests and output the appropriate classification intent for each request, along with your reasoning.

        Here is the customer support request you need to classify:

        <request>{ticket_contents}</request>

        Please carefully analyze the above request to determine the customer's core intent and needs. Consider what the customer is asking for has concerns about.

        First, write out your reasoning and analysis of how to classify this request inside <reasoning> tags.

        Then, output the appropriate classification label for the request inside a <intent> tag. The valid intents are:
        <intents>
        <intent>Support, Feedback, Complaint</intent>
        <intent>Order Tracking</intent>
        <intent>Refund/Exchange</intent>
        </intents>

        A request may have ONLY ONE applicable intent. Only include the intent that is most applicable to the request.

        As an example, consider the following request:
        <request>Hello! I had high-speed fiber internet installed on Saturday and my installer, Kevin, was absolutely fantastic! Where can I send my positive review? Thanks for your help!</request>

        Here is an example of how your output should be formatted (for the above example request):
        <reasoning>The user seeks information in order to leave positive feedback.</reasoning>
        <intent>Support, Feedback, Complaint</intent>

        Here are a few more examples:
        <examples>
        <example 2>
        Example 2 Input:
        <request>I wanted to write and personally thank you for the compassion you showed towards my family during my father's funeral this past weekend. Your staff was so considerate and helpful throughout this whole process; it really took a load off our shoulders. The visitation brochures were beautiful. We'll never forget the kindness you showed us and we are so appreciative of how smoothly the proceedings went. Thank you, again, Amarantha Hill on behalf of the Hill Family.</request>

        Example 2 Output:
        <reasoning>User leaves a positive review of their experience.</reasoning>
        <intent>Support, Feedback, Complaint</intent>
        </example 2>
        <example 3>

        […]

        </example 8>
        <example 9>
        Example 9 Input:
        <request>Your website keeps sending ad-popups that block the entire screen. It took me twenty minutes just to finally find the phone number to call and complain. How can I possibly access my account information with all of these popups? Can you access my account for me, since your website is broken? I need to know what the address is on file.</request>

        Example 9 Output:
        <reasoning>The user requests help accessing their web account information.</reasoning>
        <intent>Support, Feedback, Complaint</intent>
        </example 9>

        Remember to always include your classification reasoning before your actual intent output. The reasoning should be enclosed in <reasoning> tags and the intent in <intent> tags. Return only the reasoning and the intent.
        """

Hier sind die wichtigsten Bestandteile dieses Prompts:

  • Die Prompt-Vorlage fügt ticket_contents in die <request>-Tags ein.
  • Der Prompt gibt Claude eine klar definierte Rolle als Klassifizierungssystem, das den Ticketinhalt sorgfältig analysiert, um die Kernabsicht und die Bedürfnisse des Kunden zu bestimmen.
  • Der Prompt weist Claude in die richtige Ausgabeformatierung ein, in diesem Fall seine Begründung und Analyse innerhalb von <reasoning>-Tags anzugeben, gefolgt vom passenden Klassifizierungslabel innerhalb von <intent>-Tags.
  • Der Prompt legt die gültigen Absichtskategorien fest: Support, Feedback, Complaint, Order Tracking und Refund/Exchange.
  • Der Prompt enthält einige Beispiele (auch bekannt als „few-shot prompting“ (Few-Shot-Prompting)), um zu veranschaulichen, wie die Ausgabe formatiert sein sollte, was Genauigkeit und Konsistenz verbessert.

Wenn Claude seine Antwort in separate XML-Tag-Abschnitte aufteilt, kannst du reguläre Ausdrücke verwenden, um Begründung und Absicht unabhängig voneinander aus der Ausgabe zu extrahieren. So kannst du gezielte nächste Schritte im Ticket-Routing-Workflow erstellen, etwa nur die Absicht zu verwenden, um zu entscheiden, an welche Person das Ticket geroutet wird.

Deinen Prompt bereitstellen

Es ist schwer zu wissen, wie gut dein Prompt funktioniert, ohne ihn in einer Test-Produktionsumgebung bereitzustellen und Evaluierungen durchzuführen.

Erstelle die Bereitstellungsstruktur. Beginne damit, die Funktionssignatur für den Wrapper um den Aufruf von Claude zu definieren. Erweitere die Funktion, die du zuvor begonnen hast und die ticket_contents als Eingabe entgegennimmt, sodass sie nun die Begründung und die Absicht als Ausgabe zurückgibt. Wenn du bereits eine Automatisierung mit traditionellem ML hast, solltest du stattdessen deren Signatur folgen.

import re

# Erstelle eine Instanz des Claude API-Clients
client = anthropic.Anthropic()

# Lege das Standardmodell fest
DEFAULT_MODEL = "claude-haiku-5-5"


def classify_support_request(ticket_contents):
    # Definiere den Prompt für die Klassifizierungsaufgabe
    classification_prompt = f"""You will be acting as a customer support ticket classification system.
        […]
        ... The reasoning should be enclosed in <reasoning> tags and the intent in <intent> tags. Return only the reasoning and the intent.
        """
    # Sende den Prompt an die API, um die Support-Anfrage zu klassifizieren.
    message = client.messages.create(
        model=DEFAULT_MODEL,
        max_tokens=2048,
        output_config={"effort": "low"},
        messages=[{"role": "user", "content": classification_prompt}],
        stream=False,
    )
    reasoning_and_intent = next(
        (block.text for block in message.content if block.type == "text"), ""
    )

    # Verwende Pythons Bibliothek für reguläre Ausdrücke, um `reasoning` zu extrahieren.
    reasoning_match = re.search(
        r"<reasoning>(.*?)</reasoning>", reasoning_and_intent, re.DOTALL
    )
    reasoning = reasoning_match.group(1).strip() if reasoning_match else ""

    # Extrahiere auf die gleiche Weise auch den `intent`.
    intent_match = re.search(r"<intent>(.*?)</intent>", reasoning_and_intent, re.DOTALL)
    intent = intent_match.group(1).strip() if intent_match else ""

    return reasoning, intent

Dieser Code:

  • Erstellt eine Client-Instanz mit deinem API-Key.
  • Definiert eine Funktion classify_support_request(), die einen String ticket_contents entgegennimmt.
  • Sendet ticket_contents zur Klassifizierung an Claude und verwendet dabei classification_prompt.
  • Gibt die aus der Antwort extrahierte Begründung und Absicht des Modells zurück.

Da der gesamte Begründungs- und Absichtstext vor dem Parsen generiert werden muss, verwendet das Beispiel kein „streaming“ (Streaming) für die Antwort.


Deinen Prompt evaluieren

Prompting erfordert oft Tests und Optimierung, um produktionsreif zu sein. Um die Einsatzbereitschaft deiner Lösung zu bestimmen, evaluiere die Leistung anhand der Erfolgskriterien und Schwellenwerte, die du zuvor festgelegt hast.

Um deine Evaluierung durchzuführen, benötigst du Testfälle, auf denen du sie ausführen kannst. Der Rest dieses Leitfadens geht davon aus, dass du bereits deine Testfälle entwickelt hast.

Erstelle eine Evaluierungsfunktion

Die Beispiel-Evaluierung für diesen Leitfaden misst Claudes Leistung anhand von zwei zentralen Metriken:

  • Genauigkeit
  • Kosten pro Klassifizierung

Je nachdem, welche Faktoren für dich wichtig sind, musst du Claude möglicherweise anhand weiterer Dimensionen bewerten.

Um dies zu bewerten, ändere zunächst das Skript so, dass es die vorhergesagte Absicht mit der tatsächlichen Absicht vergleicht. Lass es dann die Token-Nutzung des API-Aufrufs zurückgeben, aus der du die Kosten berechnen kannst.

import re

# Erstelle eine Instanz des Claude API-Clients
client = anthropic.Anthropic()

# Lege das Standardmodell fest
DEFAULT_MODEL = "claude-haiku-5-5"


def classify_support_request(ticket_contents, actual_intent):
    # Definiere den Prompt für die Klassifizierungsaufgabe
    classification_prompt = f"""You will be acting as a customer support ticket classification system.
        […]
        ...The reasoning should be enclosed in <reasoning> tags and the intent in <intent> tags. Return only the reasoning and the intent.
        """

    message = client.messages.create(
        model=DEFAULT_MODEL,
        max_tokens=2048,
        output_config={"effort": "low"},
        messages=[{"role": "user", "content": classification_prompt}],
    )
    usage = message.usage  # Get the usage statistics for the API call for how many input and output tokens were used.
    reasoning_and_intent = next(
        (block.text for block in message.content if block.type == "text"), ""
    )

    # Verwende Pythons Bibliothek für reguläre Ausdrücke, um `reasoning` zu extrahieren.
    reasoning_match = re.search(
        r"<reasoning>(.*?)</reasoning>", reasoning_and_intent, re.DOTALL
    )
    reasoning = reasoning_match.group(1).strip() if reasoning_match else ""

    # Extrahiere auf die gleiche Weise auch den `intent`.
    intent_match = re.search(r"<intent>(.*?)</intent>", reasoning_and_intent, re.DOTALL)
    intent = intent_match.group(1).strip() if intent_match else ""

    # Prüfe, ob die Vorhersage des Modells korrekt ist.
    correct = actual_intent.strip() == intent.strip()

    # Gib reasoning, intent, correct und usage zurück.
    return reasoning, intent, correct, usage

Hier ist eine Aufschlüsselung der Änderungen:

  • Die Funktion classify_support_request() nimmt nun actual_intent aus den Testfällen entgegen und vergleicht es mit Claudes Absichtsklassifizierung, um zu bewerten, ob sie übereinstimmen.
  • Die Funktion extrahiert Nutzungsstatistiken für den API-Aufruf, um die Kosten anhand der verwendeten Eingabe- und Ausgabe-Token zu berechnen.

Deine Evaluierung durchführen

Eine ordnungsgemäße Evaluierung erfordert klare Schwellenwerte und Benchmarks, um zu bestimmen, was ein gutes Ergebnis ist. Das vorangehende Skript gibt die Werte zurück, die du benötigst, um Genauigkeit und Kosten pro Klassifizierung zu messen, aber du brauchst dennoch klar festgelegte Schwellenwerte. Zum Beispiel:

  • Genauigkeit: 95 % (bei 100 Tests)
  • Kosten pro Klassifizierung: durchschnittlich 50 % Reduzierung (über 100 Tests) gegenüber der aktuellen Routing-Methode

Mit diesen Schwellenwerten kannst du in großem Maßstab und mit unvoreingenommener Empirie feststellen, welche Methode für dich am besten ist und welche Änderungen du eventuell vornehmen musst, um deinen Anforderungen besser gerecht zu werden.


Leistung verbessern

In komplexen Szenarien kann es hilfreich sein, zusätzliche Strategien zur Leistungsverbesserung über die standardmäßigen Prompt-Engineering-Techniken und Strategien zur Implementierung von Guardrails hinaus in Betracht zu ziehen. Hier sind einige gängige Szenarien:

Verwende eine taxonomische Hierarchie für Fälle mit mehr als 20 Absichtskategorien

Mit wachsender Anzahl von Klassen steigt auch die Anzahl der benötigten Beispiele, was den Prompt möglicherweise unhandlich macht. Als Alternative kannst du die Implementierung eines hierarchischen Klassifizierungssystems mit einer Mischung aus Klassifikatoren in Betracht ziehen.

  1. Organisiere deine Absichten in einer taxonomischen Baumstruktur.
  2. Erstelle eine Reihe von Klassifikatoren auf jeder Ebene des Baums, um einen kaskadierenden Routing-Ansatz zu ermöglichen.

Du könntest zum Beispiel einen Klassifikator auf oberster Ebene haben, der Tickets grob in „Technische Probleme“, „Abrechnungsfragen“ und „Allgemeine Anfragen“ einteilt. Jede dieser Kategorien kann dann einen eigenen Unterklassifikator haben, um die Klassifizierung weiter zu verfeinern.

  • Vorteile – mehr Nuancen und Genauigkeit: Du kannst für jeden übergeordneten Pfad unterschiedliche Prompts erstellen, was eine gezieltere und kontextspezifischere Klassifizierung ermöglicht. Dies kann zu höherer Genauigkeit und einer differenzierteren Behandlung von Kundenanfragen führen.

  • Nachteile – erhöhte Latenz: Mehrere Klassifikatoren können zu einer erhöhten „latency“ (Latenz) führen, und Anthropic empfiehlt, diesen Ansatz mit dem schnellsten Modell, Haiku, umzusetzen.

Vektordatenbanken und Ähnlichkeitssuche verwenden, um stark variierende Tickets zu verarbeiten

Obwohl das Bereitstellen von Beispielen der effektivste Weg zur Leistungsverbesserung ist, kann es schwierig sein, genügend Beispiele in einen einzigen Prompt aufzunehmen, wenn Support-Anfragen stark variieren.

In diesem Szenario könntest du eine Vektordatenbank einsetzen, um Ähnlichkeitssuchen in einem Datensatz von Beispielen durchzuführen und die relevantesten Beispiele für eine bestimmte Anfrage abzurufen.

Dieser Ansatz, der im Klassifizierungsrezept ausführlich beschrieben wird, hat nachweislich die Leistung von 71 Prozent auf 93 Prozent Genauigkeit verbessert.

Erwartete Grenzfälle gezielt berücksichtigen

Hier sind einige Szenarien, in denen Claude Tickets möglicherweise falsch klassifiziert (es kann weitere geben, die spezifisch für deine Situation sind). Ziehe in diesen Szenarien in Betracht, im Prompt explizite Anweisungen oder Beispiele dafür bereitzustellen, wie Claude mit dem Randfall umgehen soll:


Claude in deinen übergeordneten Support-Workflow integrieren

Eine ordnungsgemäße Integration erfordert, dass du einige Entscheidungen darüber triffst, wie dein Claude-basiertes Ticket-Routing-Skript in die Architektur deines übergeordneten Ticket-Routing-Systems passt. Es gibt zwei Möglichkeiten, dies zu tun:

  • Push-basiert: Das von dir verwendete Support-Ticketsystem (zum Beispiel Zendesk) löst deinen Code aus, indem es ein Webhook-Ereignis an deinen Routing-Dienst sendet, der dann die Absicht klassifiziert und das Ticket weiterleitet.
    • Dieser Ansatz ist besser web-skalierbar, erfordert aber, dass du einen öffentlichen Endpunkt bereitstellst.
  • Pull-basiert: Dein Code ruft die neuesten Tickets nach einem festgelegten Zeitplan ab und leitet sie zum Zeitpunkt des Abrufs weiter.
    • Dieser Ansatz ist einfacher zu implementieren, führt aber möglicherweise zu unnötigen Aufrufen an das Support-Ticketsystem, wenn die Abruffrequenz zu hoch ist, oder ist möglicherweise zu langsam, wenn die Abruffrequenz zu niedrig ist.

Für beide Ansätze musst du dein Skript in einen Dienst einbetten. Die Wahl des Ansatzes hängt davon ab, welche APIs dein Support-Ticketsystem bereitstellt.


Besuche das Klassifizierungsrezept für weiteren Beispielcode und detaillierte Anleitungen zur Evaluierung.

Beginne mit dem Aufbau und der Evaluierung deines Workflows in der Claude Console.

War diese Seite hilfreich?