Agen dukungan pelanggan

Sebelum membangun dengan Claude

Memutuskan apakah akan menggunakan Claude untuk chat dukungan

Berikut adalah beberapa indikator utama bahwa Anda harus menggunakan LLM seperti Claude untuk mengotomatisasi bagian dari proses dukungan pelanggan Anda:

Beberapa pertimbangan untuk memilih Claude daripada LLM lain:

• Anda mengutamakan percakapan yang alami dan bernuansa: Pemahaman bahasa canggih Claude memungkinkan percakapan yang lebih alami dan sadar konteks yang terasa lebih mirip manusia daripada chat dengan LLM lain.
• Anda sering menerima pertanyaan yang kompleks dan terbuka: Claude dapat menangani berbagai topik dan pertanyaan tanpa menghasilkan respons kaleng atau memerlukan pemrograman ekstensif dari permutasi ucapan pengguna.
• Anda memerlukan dukungan multibahasa yang dapat diskalakan: Kemampuan multibahasa Claude memungkinkannya terlibat dalam percakapan dalam lebih dari 200 bahasa tanpa perlu chatbot terpisah atau proses terjemahan ekstensif untuk setiap bahasa yang didukung.

Definisikan interaksi chat ideal Anda

Garis besar interaksi pelanggan ideal untuk menentukan bagaimana dan kapan Anda mengharapkan pelanggan berinteraksi dengan Claude. Garis besar ini akan membantu menentukan persyaratan teknis solusi Anda.

Berikut adalah contoh interaksi chat untuk dukungan pelanggan asuransi mobil:

• Pelanggan: Memulai pengalaman chat dukungan
  • Claude: Menyapa pelanggan dengan hangat dan memulai percakapan
• Pelanggan: Bertanya tentang asuransi untuk mobil listrik baru mereka
  • Claude: Memberikan informasi relevan tentang cakupan kendaraan listrik
• Pelanggan: Mengajukan pertanyaan terkait kebutuhan unik untuk asuransi kendaraan listrik
  • Claude: Merespons dengan jawaban yang akurat dan informatif serta memberikan tautan ke sumber
• Pelanggan: Mengajukan pertanyaan di luar topik yang tidak terkait dengan asuransi atau mobil
  • Claude: Mengklarifikasi bahwa tidak membahas topik yang tidak terkait dan mengarahkan pengguna kembali ke asuransi mobil
• Pelanggan: Menyatakan minat pada kutipan asuransi
  • Claude: Mengajukan serangkaian pertanyaan untuk menentukan kutipan yang sesuai, beradaptasi dengan respons mereka
  • Claude: Mengirim permintaan untuk menggunakan alat API generasi kutipan bersama dengan informasi yang diperlukan yang dikumpulkan dari pengguna
  • Claude: Menerima informasi respons dari penggunaan alat API, mensintesis informasi menjadi respons alami, dan menyajikan kutipan yang diberikan kepada pengguna
• Pelanggan: Mengajukan pertanyaan lanjutan
  • Claude: Menjawab pertanyaan lanjutan sesuai kebutuhan
  • Claude: Memandu pelanggan ke langkah selanjutnya dalam proses asuransi dan menutup percakapan

Pecah interaksi menjadi tugas-tugas unik

Chat dukungan pelanggan adalah kumpulan dari berbagai tugas yang berbeda, dari menjawab pertanyaan hingga pengambilan informasi hingga mengambil tindakan atas permintaan, yang dibungkus dalam satu interaksi pelanggan. Sebelum Anda mulai membangun, pecah interaksi pelanggan ideal Anda menjadi setiap tugas yang Anda inginkan Claude dapat lakukan. Ini memastikan Anda dapat meminta dan mengevaluasi Claude untuk setiap tugas, dan memberi Anda gambaran yang baik tentang rentang interaksi yang perlu Anda perhitungkan saat menulis kasus uji.

Berikut adalah tugas-tugas utama yang terkait dengan contoh interaksi asuransi di atas:

1. Salam dan panduan umum

   • Menyapa pelanggan dengan hangat dan memulai percakapan
   • Memberikan informasi umum tentang perusahaan dan interaksi

2. Informasi Produk

   • Memberikan informasi tentang cakupan kendaraan listrik
     Ini akan memerlukan Claude memiliki informasi yang diperlukan dalam konteksnya, dan mungkin menyiratkan bahwa integrasi RAG diperlukan.
   • Menjawab pertanyaan terkait kebutuhan asuransi kendaraan listrik yang unik
   • Menjawab pertanyaan lanjutan tentang kutipan atau detail asuransi
   • Menawarkan tautan ke sumber saat sesuai

3. Manajemen Percakapan

   • Tetap pada topik (asuransi mobil)
   • Mengarahkan pertanyaan di luar topik kembali ke subjek yang relevan

4. Generasi Kutipan

   • Mengajukan pertanyaan yang sesuai untuk menentukan kelayakan kutipan
   • Menyesuaikan pertanyaan berdasarkan respons pelanggan
   • Mengirimkan informasi yang dikumpulkan ke API generasi kutipan
   • Menyajikan kutipan yang diberikan kepada pelanggan

Tetapkan kriteria keberhasilan

Bekerja dengan tim dukungan Anda untuk menentukan kriteria keberhasilan yang jelas dan menulis evaluasi terperinci dengan tolok ukur dan tujuan yang dapat diukur.

Berikut adalah kriteria dan tolok ukur yang dapat digunakan untuk mengevaluasi seberapa berhasil Claude melakukan tugas-tugas yang didefinisikan:

Berikut adalah kriteria dan tolok ukur yang dapat digunakan untuk mengevaluasi dampak bisnis dari menggunakan Claude untuk dukungan:

Cara mengimplementasikan Claude sebagai agen layanan pelanggan

Pilih model Claude yang tepat

Pilihan model tergantung pada trade-off antara biaya, akurasi, dan waktu respons.

Untuk chat dukungan pelanggan, claude-opus-4-1-20250805 sangat cocok untuk menyeimbangkan kecerdasan, latensi, dan biaya. Namun, untuk instance di mana Anda memiliki alur percakapan dengan beberapa prompt termasuk RAG, penggunaan alat, dan/atau prompt konteks panjang, claude-3-haiku-20240307 mungkin lebih cocok untuk mengoptimalkan latensi.

Bangun prompt yang kuat

Menggunakan Claude untuk dukungan pelanggan memerlukan Claude memiliki arahan dan konteks yang cukup untuk merespons dengan tepat, sambil memiliki fleksibilitas yang cukup untuk menangani berbagai pertanyaan pelanggan.

Mari kita mulai dengan menulis elemen-elemen prompt yang kuat, dimulai dengan prompt sistem:

IDENTITY = """You are Eva, a friendly and knowledgeable AI assistant for Acme Insurance 
Company. Your role is to warmly welcome customers and provide information on 
Acme's insurance offerings, which include car insurance and electric car 
insurance. You can also help customers get quotes for their insurance needs."""

Yang terbaik adalah memecah prompt kompleks menjadi subseksi dan menulis satu bagian pada satu waktu. Untuk setiap tugas, Anda mungkin menemukan keberhasilan yang lebih besar dengan mengikuti proses langkah demi langkah untuk menentukan bagian-bagian prompt yang Claude perlukan untuk melakukan tugas dengan baik. Untuk contoh dukungan pelanggan asuransi mobil ini, kami akan menulis secara bertahap semua bagian untuk prompt yang dimulai dengan tugas "Salam dan panduan umum". Ini juga membuat debugging prompt Anda lebih mudah karena Anda dapat dengan lebih cepat menyesuaikan bagian individual dari prompt keseluruhan.

Kami akan memasukkan semua bagian ini dalam file yang disebut config.py.

STATIC_GREETINGS_AND_GENERAL = """
<static_context>
Acme Auto Insurance: Your Trusted Companion on the Road

About:
At Acme Insurance, we understand that your vehicle is more than just a mode of transportation—it's your ticket to life's adventures. 
Since 1985, we've been crafting auto insurance policies that give drivers the confidence to explore, commute, and travel with peace of mind.
Whether you're navigating city streets or embarking on cross-country road trips, Acme is there to protect you and your vehicle. 
Our innovative auto insurance policies are designed to adapt to your unique needs, covering everything from fender benders to major collisions.
With Acme's award-winning customer service and swift claim resolution, you can focus on the joy of driving while we handle the rest. 
We're not just an insurance provider—we're your co-pilot in life's journeys.
Choose Acme Auto Insurance and experience the assurance that comes with superior coverage and genuine care. Because at Acme, we don't just 
insure your car—we fuel your adventures on the open road.

Note: We also offer specialized coverage for electric vehicles, ensuring that drivers of all car types can benefit from our protection.

Acme Insurance offers the following products:
- Car insurance
- Electric car insurance
- Two-wheeler insurance

Business hours: Monday-Friday, 9 AM - 5 PM EST
Customer service number: 1-800-123-4567
</static_context>
"""

Kami kemudian akan melakukan hal yang sama untuk informasi asuransi mobil dan asuransi mobil listrik kami.

STATIC_CAR_INSURANCE="""
<static_context>
Car Insurance Coverage:
Acme's car insurance policies typically cover:
1. Liability coverage: Pays for bodily injury and property damage you cause to others.
2. Collision coverage: Pays for damage to your car in an accident.
3. Comprehensive coverage: Pays for damage to your car from non-collision incidents.
4. Medical payments coverage: Pays for medical expenses after an accident.
5. Uninsured/underinsured motorist coverage: Protects you if you're hit by a driver with insufficient insurance.

Optional coverages include:
- Rental car reimbursement
- Roadside assistance
- New car replacement
</static_context>
"""

STATIC_ELECTRIC_CAR_INSURANCE="""
<static_context>
Electric Car Insurance:
Our specialized electric car insurance goes beyond traditional auto coverage, 
offering tailored protection for your high-tech investment. In addition to standard coverages, we offer:
- Safeguarding expensive battery systems
- Covering home charging equipment
- Adapting to the rapidly evolving world of electric vehicles

Whether you're driving a Rivian, Nissan Leaf, Chevrolet Bolt, 
or any other electric vehicle, our knowledgeable agents are ready to craft a policy 
that gives you the confidence to enjoy every electron-powered mile.
</static_context>
"""

Sekarang setelah kita memiliki konten statis, mari tambahkan setidaknya 4-5 contoh interaksi "baik" untuk memandu respons Claude. Contoh-contoh ini harus mewakili interaksi pelanggan ideal Anda dan dapat mencakup guardrail, panggilan alat, dll.

EXAMPLES="""
Here are a few examples of how you can interact with customers:

<example 1>
H: Hi, do you offer commercial insurance for small businesses?

A: Ah! Unfortunately, we don't offer commercial insurance at this time. 
However, we do provide a range of personal insurance products including car insurance and electric car insurance. 
Would you like to know more about these offerings?
</example 1>

<example 2>
H: Hi, what are your business hours?

A: Our business hours are Monday to Friday, 9 AM to 5 PM EST. 
If you have any questions or need assistance, feel free to reach out during those times. 
How else can I assist you today?
</example 2>

<example 3>
H: I'm shopping for car insurance. What does Acme offer?

A: Great choice! Acme's car insurance policies typically include:
- Liability coverage: Protects you if you're at fault in an accident
- Collision coverage: Pays for damage to your car in an accident
- Comprehensive coverage: Covers non-collision incidents like theft or vandalism
- Medical payments coverage: Pays for medical expenses after an accident
- Uninsured/underinsured motorist coverage: Protects you from drivers with insufficient insurance

We also offer optional coverages like rental car reimbursement, roadside assistance, and new car replacement. 
Would you like more details on any of these coverages, or do you have specific questions about insuring your vehicle?
</example 3>

<example 4>
H: I'd like to hear about your electric car insurance.

A: Certainly! Our electric car insurance is specially designed to meet the unique needs of electric vehicle owners. 
In addition to all the standard coverages we offer for regular cars, our electric car policies include:

- Battery coverage: Protection against damage or degradation of your vehicle's expensive battery system
- Tech package: Covers repairs or replacement of advanced electronics and onboard computer systems
- Charging station coverage: Protects both home and portable charging equipment
- Cybersecurity protection: Coverage against hacking or digital threats
- Specialized roadside assistance: Includes flatbed towing to protect the vehicle's undercarriage

We cover a wide range of electric vehicles, including popular models from Tesla, Rivian, Nissan, Chevrolet, and more. 
Is there a specific electric vehicle you're looking to insure, or would you like more details on any of these coverages?
</example 4>

<example 5>
H: I'd like to get a quote for my car insurance.

A: Certainly! I'd be happy to help you get a quote for your car insurance. 
To provide you with an accurate quote, I'll need to collect some information about your vehicle and the primary driver. 
Let's start with the basics:

1. What is the make and model of your vehicle?
2. What year was it manufactured?
3. Approximately how many miles have you driven?
4. What is the age of the primary driver?

Once you provide this information, I'll use our quoting tool to generate a personalized insurance quote for you.
</example 5>
"""

Anda juga akan ingin menyertakan instruksi penting yang menguraikan Do's dan Don'ts untuk bagaimana Claude harus berinteraksi dengan pelanggan. Ini mungkin berasal dari guardrail merek atau kebijakan dukungan.

ADDITIONAL_GUARDRAILS = """Please adhere to the following guardrails:
1. Only provide information about insurance types listed in our offerings.
2. If asked about an insurance type we don't offer, politely state 
that we don't provide that service.
3. Do not speculate about future product offerings or company plans.
4. Don't make promises or enter into agreements it's not authorized to make.
You only provide information and guidance.
5. Do not mention any competitor's products or services.
"""

Sekarang mari gabungkan semua bagian ini menjadi satu string untuk digunakan sebagai prompt kita.

TASK_SPECIFIC_INSTRUCTIONS = ' '.join([
   STATIC_GR

EETINGS_AND_GENERAL,
   STATIC_CAR_INSURANCE,
   STATIC_ELECTRIC_CAR_INSURANCE,
   EXAMPLES,
   ADDITIONAL_GUARDRAILS,
])

Tambahkan kemampuan dinamis dan agentik dengan penggunaan alat

Claude mampu mengambil tindakan dan mengambil informasi secara dinamis menggunakan fungsionalitas penggunaan alat sisi klien. Mulai dengan mencantumkan alat atau API eksternal apa pun yang harus digunakan prompt.

Untuk contoh ini, kita akan mulai dengan satu alat untuk menghitung kutipan.

Contoh kalkulator kutipan asuransi:

TOOLS = [{
  "name": "get_quote",
  "description": "Calculate the insurance quote based on user input. Returned value is per month premium.",
  "input_schema": {
    "type": "object",
    "properties": {
      "make": {"type": "string", "description": "The make of the vehicle."},
      "model": {"type": "string", "description": "The model of the vehicle."},
      "year": {"type": "integer", "description": "The year the vehicle was manufactured."},
      "mileage": {"type": "integer", "description": "The mileage on the vehicle."},
      "driver_age": {"type": "integer", "description": "The age of the primary driver."}
    },
    "required": ["make", "model", "year", "mileage", "driver_age"]
  }
}]

def get_quote(make, model, year, mileage, driver_age):
    """Returns the premium per month in USD"""
    # You can call an http endpoint or a database to get the quote.
    # Here, we simulate a delay of 1 seconds and return a fixed quote of 100.
    time.sleep(1)
    return 100

Deploy prompt Anda

Sulit untuk mengetahui seberapa baik prompt Anda bekerja tanpa mendeploynya dalam pengaturan produksi uji dan menjalankan evaluasi jadi mari kita bangun aplikasi kecil menggunakan prompt kita, Anthropic SDK, dan streamlit untuk antarmuka pengguna.

Dalam file yang disebut chatbot.py, mulai dengan menyiapkan kelas ChatBot, yang akan merangkum interaksi dengan Anthropic SDK.

Kelas harus memiliki dua metode utama: generate_message dan process_user_input.

from anthropic import Anthropic
from config import IDENTITY, TOOLS, MODEL, get_quote
from dotenv import load_dotenv

load_dotenv()

class ChatBot:
   def __init__(self, session_state):
       self.anthropic = Anthropic()
       self.session_state = session_state

   def generate_message(
       self,
       messages,
       max_tokens,
   ):
       try:
           response = self.anthropic.messages.create(
               model=MODEL,
               system=IDENTITY,
               max_tokens=max_tokens,
               messages=messages,
               tools=TOOLS,
           )
           return response
       except Exception as e:
           return {"error": str(e)}

   def process_user_input(self, user_input):
       self.session_state.messages.append({"role": "user", "content": user_input})

       response_message = self.generate_message(
           messages=self.session_state.messages,
           max_tokens=2048,
       )

       if "error" in response_message:
           return f"An error occurred: {response_message['error']}"

       if response_message.content[-1].type == "tool_use":
           tool_use = response_message.content[-1]
           func_name = tool_use.name
           func_params = tool_use.input
           tool_use_id = tool_use.id

           result = self.handle_tool_use(func_name, func_params)
           self.session_state.messages.append(
               {"role": "assistant", "content": response_message.content}
           )
           self.session_state.messages.append({
               "role": "user",
               "content": [{
                   "type": "tool_result",
                   "tool_use_id": tool_use_id,
                   "content": f"{result}",
               }],
           })

           follow_up_response = self.generate_message(
               messages=self.session_state.messages,
               max_tokens=2048,
           )

           if "error" in follow_up_response:
               return f"An error occurred: {follow_up_response['error']}"

           response_text = follow_up_response.content[0].text
           self.session_state.messages.append(
               {"role": "assistant", "content": response_text}
           )
           return response_text
      
       elif response_message.content[0].type == "text":
           response_text = response_message.content[0].text
           self.session_state.messages.append(
               {"role": "assistant", "content": response_text}
           )
           return response_text
      
       else:
           raise Exception("An error occurred: Unexpected response type")

   def handle_tool_use(self, func_name, func_params):
       if func_name == "get_quote":
           premium = get_quote(**func_params)
           return f"Quote generated: ${premium:.2f} per month"
      
       raise Exception("An unexpected tool was used")

Bangun antarmuka pengguna Anda

Uji deploy kode ini dengan Streamlit menggunakan metode utama. Fungsi main() ini menyiapkan antarmuka chat berbasis Streamlit.

Kami akan melakukan ini dalam file yang disebut app.py

import streamlit as st
from chatbot import ChatBot
from config import TASK_SPECIFIC_INSTRUCTIONS

def main():
   st.title("Chat with Eva, Acme Insurance Company's Assistant🤖")

   if "messages" not in st.session_state:
       st.session_state.messages = [
           {'role': "user", "content": TASK_SPECIFIC_INSTRUCTIONS},
           {'role': "assistant", "content": "Understood"},
       ]

   chatbot = ChatBot(st.session_state)

   # Display user and assistant messages skipping the first two
   for message in st.session_state.messages[2:]:
       # ignore tool use blocks
       if isinstance(message["content"], str):
           with st.chat_message(message["role"]):
               st.markdown(message["content"])

   if user_msg := st.chat_input("Type your message here..."):
       st.chat_message("user").markdown(user_msg)

       with st.chat_message("assistant"):
           with st.spinner("Eva is thinking..."):
               response_placeholder = st.empty()
               full_response = chatbot.process_user_input(user_msg)
               response_placeholder.markdown(full_response)

if __name__ == "__main__":
   main()

Jalankan program dengan:

streamlit run app.py

Evaluasi prompt Anda

Prompting sering memerlukan pengujian dan optimisasi agar siap produksi. Untuk menentukan kesiapan solusi Anda, evaluasi kinerja chatbot menggunakan proses sistematis yang menggabungkan metode kuantitatif dan kualitatif. Membuat evaluasi empiris yang kuat berdasarkan kriteria keberhasilan yang Anda tentukan akan memungkinkan Anda mengoptimalkan prompt Anda.

Tingkatkan kinerja

Dalam skenario kompleks, mungkin membantu untuk mempertimbangkan strategi tambahan untuk meningkatkan kinerja di luar teknik rekayasa prompt standar & strategi implementasi guardrail. Berikut adalah beberapa skenario umum:

Kurangi latensi konteks panjang dengan RAG

Ketika berhadapan dengan sejumlah besar konteks statis dan dinamis, termasuk semua informasi dalam prompt dapat menyebabkan biaya tinggi, waktu respons yang lebih lambat, dan mencapai batas jendela konteks. Dalam skenario ini, mengimplementasikan teknik Retrieval Augmented Generation (RAG) dapat secara signifikan meningkatkan kinerja dan efisiensi.

Dengan menggunakan model embedding seperti Voyage untuk mengonversi informasi menjadi representasi vektor, Anda dapat membuat sistem yang lebih dapat diskalakan dan responsif. Pendekatan ini memungkinkan pengambilan informasi yang relevan secara dinamis berdasarkan kueri saat ini, daripada menyertakan semua konteks yang mungkin dalam setiap prompt.

Mengimplementasikan RAG untuk kasus penggunaan dukungan resep RAG telah terbukti meningkatkan akurasi, mengurangi waktu respons, dan mengurangi biaya API dalam sistem dengan persyaratan konteks yang ekstensif.

Integrasikan data real-time dengan penggunaan alat

Ketika berhadapan dengan kueri yang memerlukan informasi real-time, seperti saldo akun atau detail kebijakan, pendekatan RAG berbasis embedding tidak cukup. Sebaliknya, Anda dapat memanfaatkan penggunaan alat untuk secara signifikan meningkatkan kemampuan chatbot Anda untuk memberikan respons real-time yang akurat. Misalnya, Anda dapat menggunakan penggunaan alat untuk mencari informasi pelanggan, mengambil detail pesanan, dan membatalkan pesanan atas nama pelanggan.

Pendekatan ini, yang diuraikan dalam resep penggunaan alat: agen layanan pelanggan kami, memungkinkan Anda mengintegrasikan data langsung dengan mulus ke dalam respons Claude dan memberikan pengalaman pelanggan yang lebih personal dan efisien.

Perkuat guardrail input dan output

Ketika mendeploykan chatbot, terutama dalam skenario layanan pelanggan, sangat penting untuk mencegah risiko yang terkait dengan penyalahgunaan, kueri di luar cakupan, dan respons yang tidak pantas. Meskipun Claude secara inheren tahan terhadap skenario seperti itu, berikut adalah langkah tambahan untuk memperkuat guardrail chatbot Anda:

• Kurangi halusinasi: Implementasikan mekanisme fact-checking dan kutipan untuk mendasarkan respons pada informasi yang diberikan.
• Periksa silang informasi: Verifikasi bahwa respons agen selaras dengan kebijakan perusahaan Anda dan fakta yang diketahui.
• Hindari komitmen kontraktual: Pastikan agen tidak membuat janji atau masuk ke dalam perjanjian yang tidak berwenang untuk dibuat.
• Mitigasi jailbreak: Gunakan metode seperti layar harmlessness dan validasi input untuk mencegah pengguna mengeksploitasi kerentanan model, yang bertujuan untuk menghasilkan konten yang tidak pantas.
• Hindari menyebut pesaing: Implementasikan filter penyebutan pesaing untuk mempertahankan fokus merek dan tidak menyebut produk atau layanan pesaing mana pun.
• Jaga Claude tetap dalam karakter: Cegah Claude mengubah gaya atau konteks mereka, bahkan selama interaksi yang panjang dan kompleks.
• Hapus Informasi Identitas Pribadi (PII): Kecuali secara eksplisit diperlukan dan diotorisasi, hapus PII apa pun dari respons.

Kurangi waktu respons yang dirasakan dengan streaming

Ketika berhadapan dengan respons yang berpotensi panjang, mengimplementasikan streaming dapat secara signifikan meningkatkan keterlibatan dan kepuasan pengguna. Dalam skenario ini, pengguna menerima jawaban secara progresif alih-alih menunggu seluruh respons dihasilkan.

Berikut cara mengimplementasikan streaming:

1. Gunakan Anthropic Streaming API untuk mendukung respons streaming.
2. Siapkan frontend Anda untuk menangani potongan teks yang masuk.
3. Tampilkan setiap potongan saat tiba, mensimulasikan pengetikan real-time.
4. Implementasikan mekanisme untuk menyimpan respons penuh, memungkinkan pengguna melihatnya jika mereka menavigasi pergi dan kembali.

Dalam beberapa kasus, streaming memungkinkan penggunaan model yang lebih canggih dengan latensi dasar yang lebih tinggi, karena tampilan progresif mengurangi dampak waktu pemrosesan yang lebih lama.

Skalakan Chatbot Anda

Seiring kompleksitas Chatbot Anda tumbuh, arsitektur aplikasi Anda dapat berkembang untuk menyesuaikan. Sebelum Anda menambahkan lapisan lebih lanjut ke arsitektur Anda, pertimbangkan opsi yang kurang exhaustive berikut:

• Pastikan bahwa Anda memanfaatkan prompt Anda secara maksimal dan mengoptimalkan melalui rekayasa prompt. Gunakan panduan rekayasa prompt kami untuk menulis prompt yang paling efektif.
• Tambahkan alat tambahan ke prompt (yang dapat mencakup rantai prompt) dan lihat apakah Anda dapat mencapai fungsionalitas yang diperlukan.

Jika Chatbot Anda menangani tugas yang sangat bervariasi, Anda mungkin ingin mempertimbangkan menambahkan pengklasifikasi niat terpisah untuk merutekan kueri pelanggan awal. Untuk aplikasi yang ada, ini akan melibatkan pembuatan pohon keputusan yang akan merutekan kueri pelanggan melalui pengklasifikasi dan kemudian ke percakapan khusus (dengan set alat dan prompt sistem mereka sendiri). Perhatikan, metode ini memerlukan panggilan tambahan ke Claude yang dapat meningkatkan latensi.

Integrasikan Claude ke dalam alur kerja dukungan Anda

Meskipun contoh kami telah berfokus pada fungsi Python yang dapat dipanggil dalam lingkungan Streamlit, mendeploykan Claude untuk chatbot dukungan real-time memerlukan layanan API.

Berikut cara Anda dapat mendekati ini:

1. Buat pembungkus API: Kembangkan pembungkus API sederhana di sekitar fungsi klasifikasi Anda. Misalnya, Anda dapat menggunakan Flask API atau Fast API untuk membungkus kode Anda menjadi Layanan HTTP. Layanan HTTP Anda dapat menerima input pengguna dan mengembalikan respons Asisten secara keseluruhan. Dengan demikian, layanan Anda dapat memiliki karakteristik berikut:

   • Server-Sent Events (SSE): SSE memungkinkan streaming respons real-time dari server ke klien. Ini sangat penting untuk memberikan pengalaman yang mulus dan interaktif saat bekerja dengan LLM.
   • Caching: Mengimplementasikan caching dapat secara signifikan meningkatkan waktu respons dan mengurangi panggilan API yang tidak perlu.
   • Retensi konteks: Mempertahankan konteks ketika pengguna menavigasi pergi dan kembali penting untuk kontinuitas dalam percakapan.

2. Bangun antarmuka web: Implementasikan UI web yang ramah pengguna untuk berinteraksi dengan agen yang didukung Claude.