カスタマーサポートプロセスの一部を自動化するためにClaudeのようなLLMを採用すべきかどうかを示す主な指標は以下のとおりです。
他のLLMではなくClaudeを選択する際の考慮事項:
顧客がClaudeとどのように、いつやり取りすることを想定しているかを定義するために、理想的な顧客インタラクションの概要を作成します。この概要は、ソリューションの技術要件を決定するのに役立ちます。
以下は、自動車保険のカスタマーサポートにおけるチャットインタラクションの例です。
カスタマーサポートチャットは、質問への回答から情報検索、リクエストへの対応まで、複数の異なるタスクが1つの顧客インタラクションにまとめられたものです。構築を開始する前に、理想的な顧客インタラクションを、Claudeに実行させたいすべてのタスクに分解してください。これにより、すべてのタスクについてClaudeにプロンプトを与え、評価できるようになり、テストケースを作成する際に考慮すべきインタラクションの範囲を把握できます。
上記の保険インタラクションの例に関連する主なタスクは以下のとおりです。
挨拶と一般的なガイダンス
製品情報
会話管理
見積もり生成
サポートチームと協力して、測定可能なベンチマークと目標を含む成功基準を定義し、詳細な評価を作成してください。
以下は、Claudeが定義されたタスクをどの程度うまく実行しているかを評価するために使用できる基準とベンチマークです。
以下は、サポートにClaudeを採用することのビジネスインパクトを評価するために使用できる基準とベンチマークです。
モデルの選択は、コスト、正確性、応答時間のトレードオフによって決まります。
カスタマーサポートチャットには、インテリジェンス、「latency」(レイテンシ)、コストのバランスが取れたClaude Opus 4.8が適しています。ただし、RAG、ツール使用、および/または長いコンテキストのプロンプトを含む複数のプロンプトで構成される会話フローがある場合は、レイテンシを最適化するためにClaude Haiku 4.5の方が適している場合があります。
カスタマーサポートにClaudeを使用するには、Claudeが適切に応答するための十分な指示とコンテキストを持ちながら、幅広い顧客の問い合わせに対応できる柔軟性を持つ必要があります。
まず、システムプロンプトから始めて、強力なプロンプトの要素を記述します。
IDENTITY = """You are Eva, a friendly and knowledgeable AI assistant for Acme Insurance
Company. Your role is to warmly welcome customers and provide information on
Acme's insurance offerings, which include car insurance and electric car
insurance. You can also help customers get quotes for their insurance needs."""Userターン内に記述されている場合に最もよく機能します(唯一の例外はロールプロンプティングです)。詳細については、システムプロンプトでClaudeに役割を与えるをお読みください。複雑なプロンプトはサブセクションに分解し、一度に1つの部分を記述するのが最善です。各タスクについて、Claudeがタスクをうまく実行するために必要なプロンプトの部分を定義するステップバイステップのプロセスに従うことで、より大きな成功が得られる場合があります。この自動車保険カスタマーサポートの例では、「挨拶と一般的なガイダンス」タスクから始めて、プロンプトのすべての部分を段階的に記述していきます。これにより、プロンプト全体の個々の部分をより迅速に調整できるため、プロンプトのデバッグも容易になります。
これらすべての部分をconfig.pyというファイルに配置します。
STATIC_GREETINGS_AND_GENERAL = """
<static_context>
Acme Auto Insurance: Your Trusted Companion on the Road
About:
At Acme Insurance, we understand that your vehicle is more than just a mode of transportation—it's your ticket to life's adventures.
Since 1985, we've been crafting auto insurance policies that give drivers the confidence to explore, commute, and travel with peace of mind.
Whether you're navigating city streets or embarking on cross-country road trips, Acme is there to protect you and your vehicle.
Our innovative auto insurance policies are designed to adapt to your unique needs, covering everything from fender benders to major collisions.
With Acme's award-winning customer service and swift claim resolution, you can focus on the joy of driving while we handle the rest.
We're not just an insurance provider—we're your co-pilot in life's journeys.
Choose Acme Auto Insurance and experience the assurance that comes with superior coverage and genuine care. Because at Acme, we don't just
insure your car—we fuel your adventures on the open road.
Note: We also offer specialized coverage for electric vehicles, ensuring that drivers of all car types can benefit from our protection.
Acme Insurance offers the following products:
- Car insurance
- Electric car insurance
- Two-wheeler insurance
Business hours: Monday-Friday, 9 AM - 5 PM EST
Customer service number: 1-800-123-4567
</static_context>
"""次に、自動車保険と電気自動車保険の情報についても同様に行います。
STATIC_CAR_INSURANCE = """
<static_context>
Car Insurance Coverage:
Acme's car insurance policies typically cover:
1. Liability coverage: Pays for bodily injury and property damage you cause to others.
2. Collision coverage: Pays for damage to your car in an accident.
3. Comprehensive coverage: Pays for damage to your car from non-collision incidents.
4. Medical payments coverage: Pays for medical expenses after an accident.
5. Uninsured/underinsured motorist coverage: Protects you if you're hit by a driver with insufficient insurance.
Optional coverages include:
- Rental car reimbursement
- Roadside assistance
- New car replacement
</static_context>
"""
STATIC_ELECTRIC_CAR_INSURANCE = """
<static_context>
Electric Car Insurance:
Our specialized electric car insurance goes beyond traditional auto coverage,
offering tailored protection for your high-tech investment. In addition to standard coverages, we offer:
- Safeguarding expensive battery systems
- Covering home charging equipment
- Adapting to the rapidly evolving world of electric vehicles
Whether you're driving a Rivian, Nissan Leaf, Chevrolet Bolt,
or any other electric vehicle, our knowledgeable agents are ready to craft a policy
that gives you the confidence to enjoy every electron-powered mile.
</static_context>
"""静的コンテンツが準備できたので、Claudeの応答をガイドするために、少なくとも4〜5個の「良い」インタラクションのサンプルを追加します。これらの例は理想的な顧客インタラクションを代表するものであるべきで、ガードレール、ツール呼び出しなどを含めることができます。
EXAMPLES = """
Here are a few examples of how you can interact with customers:
<example 1>
H: Hi, do you offer commercial insurance for small businesses?
A: Ah! Unfortunately, we don't offer commercial insurance at this time.
However, we do provide a range of personal insurance products including car insurance and electric car insurance.
Would you like to know more about these offerings?
</example 1>
<example 2>
H: Hi, what are your business hours?
A: Our business hours are Monday to Friday, 9 AM to 5 PM EST.
If you have any questions or need assistance, feel free to reach out during those times.
How else can I assist you today?
</example 2>
<example 3>
H: I'm shopping for car insurance. What does Acme offer?
A: Great choice! Acme's car insurance policies typically include:
- Liability coverage: Protects you if you're at fault in an accident
- Collision coverage: Pays for damage to your car in an accident
- Comprehensive coverage: Covers non-collision incidents like theft or vandalism
- Medical payments coverage: Pays for medical expenses after an accident
- Uninsured/underinsured motorist coverage: Protects you from drivers with insufficient insurance
We also offer optional coverages like rental car reimbursement, roadside assistance, and new car replacement.
Would you like more details on any of these coverages, or do you have specific questions about insuring your vehicle?
</example 3>
<example 4>
H: I'd like to hear about your electric car insurance.
A: Certainly! Our electric car insurance is specially designed to meet the unique needs of electric vehicle owners.
In addition to all the standard coverages we offer for regular cars, our electric car policies include:
- Battery coverage: Protection against damage or degradation of your vehicle's expensive battery system
- Tech package: Covers repairs or replacement of advanced electronics and onboard computer systems
- Charging station coverage: Protects both home and portable charging equipment
- Cybersecurity protection: Coverage against hacking or digital threats
- Specialized roadside assistance: Includes flatbed towing to protect the vehicle's undercarriage
We cover a wide range of electric vehicles, including popular models from Tesla, Rivian, Nissan, Chevrolet, and more.
Is there a specific electric vehicle you're looking to insure, or would you like more details on any of these coverages?
</example 4>
<example 5>
H: I'd like to get a quote for my car insurance.
A: Certainly! I'd be happy to help you get a quote for your car insurance.
To provide you with an accurate quote, I'll need to collect some information about your vehicle and the primary driver.
Let's start with the basics:
1. What is the make and model of your vehicle?
2. What year was it manufactured?
3. Approximately how many miles have you driven?
4. What is the age of the primary driver?
Once you provide this information, I'll use our quoting tool to generate a personalized insurance quote for you.
</example 5>
"""また、Claudeが顧客とどのようにやり取りすべきかについて、すべきこととすべきでないことを概説する重要な指示も含める必要があります。 これはブランドガードレールやサポートポリシーから引用することができます。
ADDITIONAL_GUARDRAILS = """Please adhere to the following guardrails:
1. Only provide information about insurance types listed in our offerings.
2. If asked about an insurance type we don't offer, politely state
that we don't provide that service.
3. Do not speculate about future product offerings or company plans.
4. Don't make promises or enter into agreements it's not authorized to make.
You only provide information and guidance.
5. Do not mention any competitor's products or services.
"""次に、これらすべてのセクションを1つの文字列に結合して、プロンプトとして使用します。
TASK_SPECIFIC_INSTRUCTIONS = " ".join(
[
STATIC_GREETINGS_AND_GENERAL,
STATIC_CAR_INSURANCE,
STATIC_ELECTRIC_CAR_INSURANCE,
EXAMPLES,
ADDITIONAL_GUARDRAILS,
]
)Claudeは、クライアントサイドのツール使用機能を使用して、動的にアクションを実行し、情報を取得することができます。まず、プロンプトが利用すべき外部ツールやAPIをリストアップします。
この例では、見積もりを計算するための1つのツールから始めます。
保険見積もり計算ツールの例:
TOOLS = [
{
"name": "get_quote",
"description": "Calculate the insurance quote based on user input. Returned value is per month premium.",
"input_schema": {
"type": "object",
"properties": {
"make": {"type": "string", "description": "The make of the vehicle."},
"model": {"type": "string", "description": "The model of the vehicle."},
"year": {
"type": "integer",
"description": "The year the vehicle was manufactured.",
},
"mileage": {
"type": "integer",
"description": "The mileage on the vehicle.",
},
"driver_age": {
"type": "integer",
"description": "The age of the primary driver.",
},
},
"required": ["make", "model", "year", "mileage", "driver_age"],
},
}
]
def get_quote(make, model, year, mileage, driver_age):
"""Returns the premium per month in USD"""
# HTTPエンドポイントやデータベースを呼び出して見積もりを取得できます。
# ここでは、1秒の遅延をシミュレートし、固定の見積もり値100を返します。
time.sleep(1)
return 100テスト本番環境にデプロイして評価を実行しなければ、プロンプトがどの程度うまく機能するかを知ることは困難です。そこで、プロンプト、Anthropic SDK、およびユーザーインターフェース用のstreamlitを使用して、小さなアプリケーションを構築しましょう。
chatbot.pyというファイルで、Anthropic SDKとのインタラクションをカプセル化するChatBotクラスの設定から始めます。
このクラスには、generate_messageとprocess_user_inputという2つの主要なメソッドが必要です。
from anthropic import Anthropic
from config import IDENTITY, TOOLS, MODEL, get_quote
from dotenv import load_dotenv
load_dotenv()
class ChatBot:
def __init__(self, session_state):
self.anthropic = Anthropic()
self.session_state = session_state
def generate_message(
self,
messages,
max_tokens,
):
try:
response = self.anthropic.messages.create(
model=MODEL,
system=IDENTITY,
max_tokens=max_tokens,
messages=messages,
tools=TOOLS,
)
return response
except Exception as e:
return {"error": str(e)}
def process_user_input(self, user_input):
self.session_state.messages.append({"role": "user", "content": user_input})
response_message = self.generate_message(
messages=self.session_state.messages,
max_tokens=2048,
)
if "error" in response_message:
return f"An error occurred: {response_message['error']}"
if response_message.content[-1].type == "tool_use":
tool_use = response_message.content[-1]
func_name = tool_use.name
func_params = tool_use.input
tool_use_id = tool_use.id
result = self.handle_tool_use(func_name, func_params)
self.session_state.messages.append(
{"role": "assistant", "content": response_message.content}
)
self.session_state.messages.append(
{
"role": "user",
"content": [
{
"type": "tool_result",
"tool_use_id": tool_use_id,
"content": f"{result}",
}
],
}
)
follow_up_response = self.generate_message(
messages=self.session_state.messages,
max_tokens=2048,
)
if "error" in follow_up_response:
return f"An error occurred: {follow_up_response['error']}"
response_text = follow_up_response.content[0].text
self.session_state.messages.append(
{"role": "assistant", "content": response_text}
)
return response_text
elif response_message.content[0].type == "text":
response_text = response_message.content[0].text
self.session_state.messages.append(
{"role": "assistant", "content": response_text}
)
return response_text
else:
raise Exception("An error occurred: Unexpected response type")
def handle_tool_use(self, func_name, func_params):
if func_name == "get_quote":
premium = get_quote(**func_params)
return f"Quote generated: ${premium:.2f} per month"
raise Exception("An unexpected tool was used")mainメソッドを使用してStreamlitでこのコードをテストデプロイします。このmain()関数は、Streamlitベースのチャットインターフェースを設定します。
これをapp.pyというファイルで行います。
import streamlit as st
from chatbot import ChatBot
from config import TASK_SPECIFIC_INSTRUCTIONS
def main():
st.title("Chat with Eva, Acme Insurance Company's Assistant🤖")
if "messages" not in st.session_state:
st.session_state.messages = [
{"role": "user", "content": TASK_SPECIFIC_INSTRUCTIONS},
{"role": "assistant", "content": "Understood"},
]
chatbot = ChatBot(st.session_state)
# 最初の2つをスキップしてユーザーとアシスタントのメッセージを表示
for message in st.session_state.messages[2:]:
# ツール使用ブロックは無視
if isinstance(message["content"], str):
with st.chat_message(message["role"]):
st.markdown(message["content"])
if user_msg := st.chat_input("Type your message here..."):
st.chat_message("user").markdown(user_msg)
with st.chat_message("assistant"):
with st.spinner("Eva is thinking..."):
response_placeholder = st.empty()
full_response = chatbot.process_user_input(user_msg)
response_placeholder.markdown(full_response)
if __name__ == "__main__":
main()次のコマンドでプログラムを実行します。
streamlit run app.pyプロンプトを本番環境で使用できるようにするには、多くの場合、テストと最適化が必要です。ソリューションの準備状況を判断するには、定量的および定性的な方法を組み合わせた体系的なプロセスを使用してチャットボットのパフォーマンスを評価します。定義した成功基準に基づいて強力な経験的評価を作成することで、プロンプトを最適化できます。
複雑なシナリオでは、標準的なプロンプトエンジニアリング手法やガードレール実装戦略を超えて、パフォーマンスを改善するための追加戦略を検討することが役立つ場合があります。以下は一般的なシナリオです。
大量の静的および動的コンテキストを扱う場合、すべての情報をプロンプトに含めると、高コスト、応答時間の遅延、「context window」(コンテキストウィンドウ)の制限に達する可能性があります。このシナリオでは、「Retrieval Augmented Generation」(検索拡張生成)、すなわちRAGの手法を実装することで、パフォーマンスと効率を大幅に改善できます。
Voyageなどの埋め込みモデルを使用して情報をベクトル表現に変換することで、よりスケーラブルで応答性の高いシステムを作成できます。このアプローチにより、すべてのプロンプトにすべての可能なコンテキストを含めるのではなく、現在のクエリに基づいて関連情報を動的に取得できます。
サポートユースケース向けのRAGの実装(RAGレシピ)は、広範なコンテキスト要件を持つシステムにおいて、正確性の向上、応答時間の短縮、APIコストの削減につながることが示されています。
アカウント残高やポリシーの詳細など、リアルタイム情報を必要とするクエリを扱う場合、埋め込みベースのRAGアプローチでは不十分です。代わりに、ツール使用を活用することで、チャットボットが正確でリアルタイムな応答を提供する能力を大幅に強化できます。たとえば、ツール使用を使用して、顧客情報の検索、注文詳細の取得、顧客に代わっての注文キャンセルを行うことができます。
ツール使用:カスタマーサービスエージェントのレシピで概説されているこのアプローチにより、ライブデータをClaudeの応答にシームレスに統合し、よりパーソナライズされた効率的な顧客体験を提供できます。
チャットボットをデプロイする際、特にカスタマーサービスのシナリオでは、誤用、範囲外のクエリ、不適切な応答に関連するリスクを防ぐことが重要です。Claudeは本質的にそのようなシナリオに対して耐性がありますが、チャットボットのガードレールを強化するための追加手順は以下のとおりです。
長くなる可能性のある応答を扱う場合、「streaming」(ストリーミング)を実装することで、ユーザーエンゲージメントと満足度を大幅に向上させることができます。このシナリオでは、ユーザーは応答全体が生成されるのを待つのではなく、回答を段階的に受け取ります。
ストリーミングの実装方法は以下のとおりです。
場合によっては、ストリーミングにより、段階的な表示が長い処理時間の影響を軽減するため、ベースレイテンシが高いより高度なモデルの使用が可能になります。
チャットボットの複雑さが増すにつれて、アプリケーションアーキテクチャもそれに合わせて進化させることができます。アーキテクチャにさらなるレイヤーを追加する前に、以下のより簡易なオプションを検討してください。
チャットボットが非常に多様なタスクを処理する場合は、最初の顧客クエリをルーティングするために別のインテント分類器を追加することを検討してください。既存のアプリケーションの場合、これには、分類器を通じて顧客クエリをルーティングし、その後、専門的な会話(それぞれ独自のツールセットとシステムプロンプトを持つ)にルーティングする決定木を作成することが含まれます。なお、この方法ではClaudeへの追加呼び出しが必要となり、レイテンシが増加する可能性があります。
上記の例はStreamlit環境内で呼び出し可能なPython関数に焦点を当てていますが、リアルタイムサポートチャットボット用にClaudeをデプロイするにはAPIサービスが必要です。
以下のようにアプローチできます。
APIラッパーを作成する:分類関数の周りにシンプルなAPIラッパーを開発します。たとえば、Flask APIまたはFast APIを使用して、コードをHTTPサービスにラップできます。HTTPサービスはユーザー入力を受け取り、アシスタントの応答全体を返すことができます。したがって、サービスは以下の特性を持つことができます。
Webインターフェースを構築する:Claudeを搭載したエージェントとやり取りするためのユーザーフレンドリーなWeb UIを実装します。
より多くのサンプルコードと詳細なガイダンスについては、RAGクックブックレシピをご覧ください。
情報の正確性と説明可能性を確保する方法については、引用クックブックレシピをご覧ください。
Was this page helpful?