访问摘要 cookbook,查看使用 Claude 实现法律摘要的示例。
以下是一些关键指标,表明您应该使用像 Claude 这样的 LLM 来总结法律文件:
对于任何给定的文件,都不存在唯一正确的摘要。如果没有明确的指导,Claude 可能难以确定应包含哪些细节。为了获得最佳结果,请确定您希望在摘要中包含的具体信息。
例如,在总结转租协议时,您可能希望提取以下要点:
details_to_extract = [
"Parties involved (sublessor, sublessee, and original lessor)",
"Property details (address, description, and permitted use)",
"Term and rent (start date, end date, monthly rent, and security deposit)",
"Responsibilities (utilities, maintenance, and repairs)",
"Consent and notices (landlord's consent, and notice requirements)",
"Special provisions (furniture, parking, and subletting restrictions)",
]评估摘要的质量是一项众所周知的挑战性任务。与许多其他自然语言处理任务不同,摘要的评估通常缺乏明确、客观的指标。这个过程可能非常主观,不同的读者会重视摘要的不同方面。以下是您在评估 Claude 执行法律摘要的效果时可能需要考虑的标准。
请参阅建立成功标准指南了解更多信息。
在总结法律文件时,模型的准确性极其重要。对于此类需要高准确性的用例,Claude Opus 5 是一个绝佳的选择。如果您的文件规模和数量很大,以至于成本开始成为一个问题,您也可以尝试使用较小的模型,例如 Claude Haiku 4.5。
为了帮助估算这些成本,以下是使用 Opus 和 Haiku 模型总结 1,000 份转租协议的成本比较:
内容规模
估算令牌数
Claude Opus 5 估算成本
Claude Opus 4.8 估算成本
Claude Haiku 4.5 估算成本
在开始总结文件之前,您需要准备数据。这包括从 PDF 中提取文本、清理文本,并确保其可以被 Claude 处理。
以下是在示例 PDF 上演示此过程:
from io import BytesIO
import re
import pypdf
import requests
def get_llm_text(pdf_file):
reader = pypdf.PdfReader(pdf_file)
text = "\n".join([page.extract_text() for page in reader.pages])
# 移除页码
text = re.sub(r"\n\s*\d+\s*\n", "\n", text)
# 移除多余的空白字符
text = re.sub(r"\s+", " ", text)
return text
# 根据 GitHub 仓库构建完整 URL
url = "https://raw.githubusercontent.com/anthropics/claude-cookbooks/main/capabilities/summarization/data/Sample Sublease Agreement.pdf"
url = url.replace(" ", "%20")
# 将 PDF 文件下载到内存中
response = requests.get(url)
# 从内存中加载 PDF
pdf_file = BytesIO(response.content)
document_text = get_llm_text(pdf_file)
print(document_text[:50000])在此示例中,您首先下载摘要 cookbook中使用的示例转租协议的 PDF。该协议来源于 sec.gov 网站上公开可用的转租协议。
该示例使用 pypdf 库提取 PDF 的内容并将其转换为文本。然后通过删除页码和多余的空白来清理文本数据。
Claude 可以适应各种摘要风格。您可以更改提示的细节来引导 Claude 更详细或更简洁、包含更多或更少的技术术语,或者提供更高层次或更低层次的上下文摘要。
以下是一个示例,展示如何创建一个提示,以确保在分析转租协议时生成的摘要遵循一致的结构:
# 初始化 Anthropic 客户端
client = anthropic.Anthropic()
def summarize_document(
text, details_to_extract, model="claude-opus-5", max_tokens=1000
):
# 格式化要提取的详细信息,以便放入提示的上下文中
details_to_extract_str = "\n".join(details_to_extract)
# 提示模型总结转租协议
prompt = f"""Summarize the following sublease agreement. Focus on these key aspects:
{details_to_extract_str}
Provide the summary in bullet points nested within the XML header for each section. For example:
<parties involved>
- Sublessor: [Name]
// Add more details as needed
</parties involved>
If any information is not explicitly stated in the document, note it as "Not specified". Do not preamble.
Sublease agreement text:
{text}
"""
response = client.messages.create(
model=model,
max_tokens=max_tokens,
system="You are a legal analyst specializing in real estate law, known for highly accurate and detailed summaries of sublease agreements.",
messages=[
{"role": "user", "content": prompt},
],
)
return next(block.text for block in response.content if block.type == "text")
sublease_summary = summarize_document(document_text, details_to_extract)
print(sublease_summary)此代码实现了一个 summarize_document 函数,该函数使用 Claude 来总结转租协议的内容。该函数接受一个文本字符串和一个要提取的细节列表作为输入。在此示例中,代码使用前面代码片段中定义的 document_text 和 details_to_extract 变量调用该函数。
在函数内部,为 Claude 生成一个提示,其中包括要总结的文件、要提取的细节以及总结文件的具体说明。该提示指示 Claude 以嵌套在 XML 标头中的形式,对每个要提取的细节进行摘要回复。
由于代码将摘要的每个部分输出在标签内,因此每个部分都可以作为后处理步骤轻松解析出来。这种方法可以生成适合您用例的结构化摘要,使每个摘要都遵循相同的模式。
提示通常需要经过测试和优化才能投入生产。要确定您的解决方案是否就绪,请使用结合定量和定性方法的系统化流程来评估摘要的质量。基于您定义的成功标准创建强大的实证评估可以让您优化提示。以下是您可能希望在实证评估中包含的一些指标:
以下是在将解决方案部署到生产环境时需要牢记的一些额外注意事项。
确保无责任风险: 了解摘要中的错误可能带来的法律影响,这可能导致您的组织或客户承担法律责任。提供免责声明或法律声明,说明摘要是由 AI 生成的,应由法律专业人士审查。
处理多种文件类型: 本指南讨论了如何从 PDF 中提取文本。在现实世界中,文件可能有多种格式(例如 PDF、Word 文档和文本文件)。确保您的数据提取管道可以转换您预期接收的所有文件格式。
并行化对 Claude 的 API 调用: 包含大量令牌的长文档可能需要长达一分钟的时间让 Claude 生成摘要。对于大型文档集合,您可能希望并行向 Claude 发送 API 调用,以便在合理的时间范围内完成摘要。请参阅 Anthropic 的速率限制以确定可以并行执行的最大 API 调用数量。
在复杂场景中,除了标准的提示工程技术之外,考虑其他策略来提高性能可能会有所帮助。以下是一些高级策略:
法律摘要通常涉及处理长文档或一次处理许多相关文档,以至于超出 Claude 的上下文窗口。您可以使用一种称为元摘要(meta-summarization)的分块方法来处理这种用例。该技术涉及将文档分解为更小的、可管理的块,然后分别处理每个块。然后,您可以将每个块的摘要组合起来,创建整个文档的元摘要。
以下是如何执行元摘要的示例:
# 初始化 Anthropic 客户端
client = anthropic.Anthropic()
def chunk_text(text, chunk_size=20000):
return [text[i : i + chunk_size] for i in range(0, len(text), chunk_size)]
def summarize_long_document(
text, details_to_extract, model="claude-opus-5", max_tokens=1000
):
# 格式化要提取的详细信息,以便放入提示的上下文中
details_to_extract_str = "\n".join(details_to_extract)
# 遍历各个分块并逐一总结
chunk_summaries = [
summarize_document(
chunk, details_to_extract, model=model, max_tokens=max_tokens
)
for chunk in chunk_text(text)
]
final_summary_prompt = f"""
You are looking at the chunked summaries of multiple documents that are all related.
Combine the following summaries of the document from different truthful sources into a coherent overall summary:
<chunked_summaries>
{"".join(chunk_summaries)}
</chunked_summaries>
Focus on these key aspects:
{details_to_extract_str}
Provide the summary in bullet points nested within the XML header for each section. For example:
<parties involved>
- Sublessor: [Name]
// Add more details as needed
</parties involved>
If any information is not explicitly stated in the document, note it as "Not specified". Do not preamble.
"""
response = client.messages.create(
model=model,
max_tokens=max_tokens,
system="You are a legal expert that summarizes notes on one document.",
messages=[
{"role": "user", "content": final_summary_prompt},
],
)
return next(block.text for block in response.content if block.type == "text")
long_summary = summarize_long_document(document_text, details_to_extract)
print(long_summary)summarize_long_document 函数在之前的 summarize_document 函数的基础上构建,将文档拆分为更小的块并分别总结每个块。
代码通过将 summarize_document 函数应用于原始文档中每个 20,000 字符的块来实现这一点。然后将各个摘要组合起来,并从这些块摘要中创建最终摘要。
请注意,对于示例 PDF 来说,summarize_long_document 函数并不是严格必需的,因为整个文档都在 Claude 的上下文窗口范围内。但是,对于超出 Claude 上下文窗口的文档,或者在一起总结多个相关文档时,它就变得至关重要。无论如何,这种元摘要技术通常能在最终摘要中捕捉到之前单一摘要方法遗漏的其他重要细节。
使用 LLM 搜索文档集合通常涉及"retrieval-augmented generation"(检索增强生成),即 RAG。然而,在涉及大型文档或需要精确信息检索的场景中,基本的 RAG 方法可能不够。摘要索引文档是一种高级 RAG 方法,它提供了一种更高效的文档检索排序方式,比传统 RAG 方法使用更少的上下文。在这种方法中,您首先使用 Claude 为语料库中的每个文档生成简洁的摘要,然后使用 Claude 对每个摘要与所提问题的相关性进行排序。有关此方法的更多详细信息,包括基于代码的示例,请查看摘要 cookbook中的摘要索引文档部分。
另一种提高 Claude 生成摘要能力的高级技术是"fine-tuning"(微调)。微调涉及在专门符合您法律摘要需求的自定义数据集上训练 Claude,确保 Claude 适应您的用例。以下是如何执行微调的概述:
识别错误: 首先收集 Claude 摘要不足的实例——这可能包括遗漏关键法律细节、误解上下文或使用不恰当的法律术语。
整理数据集: 一旦您识别出这些问题,就编译一个包含这些问题示例的数据集。该数据集应包括原始法律文件以及您更正后的摘要,确保 Claude 学习到期望的行为。
执行微调: 微调涉及在您整理的数据集上重新训练模型,以调整其权重和参数。这种重新训练有助于 Claude 更好地适应您法律领域的特定要求,提高其按照您的标准总结文件的能力。
迭代改进: 微调不是一次性的过程。随着 Claude 继续生成摘要,您可以迭代地添加其表现不佳的新示例,进一步完善其能力。随着时间的推移,这种持续的反馈循环将产生一个高度专业化于您的法律摘要任务的模型。
查看如何使用 Claude 总结合同的完整代码实现示例。
探索引用 cookbook 示例,了解如何确保信息的准确性和可解释性。
Was this page helpful?