법률 문서 요약

법률 요약 구현 예시를 보려면 요약 쿡북을 방문하세요.

Claude로 구축하기 전에

법률 요약에 Claude를 사용할지 결정하기

법률 문서를 요약하기 위해 Claude와 같은 LLM을 사용해야 하는 주요 지표는 다음과 같습니다:

요약에서 추출할 세부 사항 결정하기

어떤 문서에 대해서든 하나의 올바른 요약이란 존재하지 않습니다. 명확한 방향 없이는 Claude가 어떤 세부 사항을 포함해야 할지 결정하기 어려울 수 있습니다. 최적의 결과를 얻으려면 요약에 포함하고자 하는 구체적인 정보를 식별하세요.

예를 들어, 전대차 계약서를 요약할 때 다음과 같은 핵심 사항을 추출하고 싶을 수 있습니다:

details_to_extract = [
    'Parties involved (sublessor, sublessee, and original lessor)',
    'Property details (address, description, and permitted use)', 
    'Term and rent (start date, end date, monthly rent, and security deposit)',
    'Responsibilities (utilities, maintenance, and repairs)',
    'Consent and notices (landlord\'s consent, and notice requirements)',
    'Special provisions (furniture, parking, and subletting restrictions)'
]

성공 기준 수립하기

요약의 품질을 평가하는 것은 매우 어려운 작업으로 알려져 있습니다. 다른 많은 자연어 처리 작업과 달리, 요약 평가에는 명확하고 객관적인 지표가 부족한 경우가 많습니다. 이 과정은 매우 주관적일 수 있으며, 독자마다 요약의 다른 측면을 중요하게 여깁니다. Claude의 법률 요약 성능을 평가할 때 고려할 수 있는 기준은 다음과 같습니다.

자세한 내용은 성공 기준 수립 가이드를 참조하세요.

Claude를 사용하여 법률 문서를 요약하는 방법

적합한 Claude 모델 선택하기

법률 문서를 요약할 때 모델 정확도는 매우 중요합니다. Claude Opus 4.6은 높은 정확도가 요구되는 이와 같은 사용 사례에 탁월한 선택입니다. 문서의 크기와 수량이 커서 비용이 우려되기 시작하는 경우, Claude Haiku 4.5와 같은 더 작은 모델을 사용해 볼 수도 있습니다.

이러한 비용을 추정하는 데 도움이 되도록, Sonnet과 Haiku를 사용하여 1,000개의 전대차 계약서를 요약하는 비용을 비교한 내용은 다음과 같습니다:

• 콘텐츠 크기

  • 계약서 수: 1,000
  • 계약서당 문자 수: 300,000
  • 총 문자 수: 3억

• 예상 토큰

  • 입력 토큰: 8,600만 (문자 3.5개당 토큰 1개 기준)
  • 요약당 출력 토큰: 350
  • 총 출력 토큰: 350,000

• Claude Opus 4.6 예상 비용

  • 입력 토큰 비용: 86 MTok * $5.00/MTok = $430
  • 출력 토큰 비용: 0.35 MTok * $25.00/MTok = $8.75
  • 총 비용: $430.00 + $8.75 = $438.75

• Claude Haiku 3 예상 비용

  • 입력 토큰 비용: 86 MTok * $0.25/MTok = $21.50
  • 출력 토큰 비용: 0.35 MTok * $1.25/MTok = $0.44
  • 총 비용: $21.50 + $0.44 = $21.96

문서를 Claude가 처리할 수 있는 형식으로 변환하기

문서 요약을 시작하기 전에 데이터를 준비해야 합니다. 여기에는 PDF에서 텍스트를 추출하고, 텍스트를 정리하며, Claude가 처리할 수 있도록 준비하는 작업이 포함됩니다.

다음은 샘플 PDF에 대한 이 프로세스의 시연입니다:

from io import BytesIO
import re

import pypdf
import requests

def get_llm_text(pdf_file):
    reader = pypdf.PdfReader(pdf_file)
    text = "\n".join([page.extract_text() for page in reader.pages])

    # Remove extra whitespace
    text = re.sub(r'\s+', ' ', text) 

    # Remove page numbers
    text = re.sub(r'\n\s*\d+\s*\n', '\n', text) 

    return text


# Create the full URL from the GitHub repository
url = "https://raw.githubusercontent.com/anthropics/anthropic-cookbook/main/skills/summarization/data/Sample Sublease Agreement.pdf"
url = url.replace(" ", "%20")

# Download the PDF file into memory
response = requests.get(url)

# Load the PDF from memory
pdf_file = BytesIO(response.content)

document_text = get_llm_text(pdf_file) 
print(document_text[:50000]) 

이 예시에서는 먼저 요약 쿡북에서 사용된 샘플 전대차 계약서의 PDF를 다운로드합니다. 이 계약서는 sec.gov 웹사이트에서 공개적으로 이용 가능한 전대차 계약서에서 가져온 것입니다.

pypdf 라이브러리를 사용하여 PDF의 내용을 추출하고 텍스트로 변환합니다. 그런 다음 추가 공백과 페이지 번호를 제거하여 텍스트 데이터를 정리합니다.

강력한 프롬프트 구축하기

Claude는 다양한 요약 스타일에 적응할 수 있습니다. 프롬프트의 세부 사항을 변경하여 Claude가 더 상세하거나 간결하게, 더 많거나 적은 전문 용어를 포함하도록, 또는 해당 맥락에 대해 더 높은 수준이나 낮은 수준의 요약을 제공하도록 안내할 수 있습니다.

다음은 전대차 계약서를 분석할 때 생성된 요약이 일관된 구조를 따르도록 하는 프롬프트를 만드는 방법의 예시입니다:

import anthropic

# Initialize the Anthropic client
client = anthropic.Anthropic()

def summarize_document(text, details_to_extract, model="claude-opus-4-6", max_tokens=1000):

    # Format the details to extract to be placed within the prompt's context
    details_to_extract_str = '\n'.join(details_to_extract)
    
    # Prompt the model to summarize the sublease agreement
    prompt = f"""Summarize the following sublease agreement. Focus on these key aspects:

    {details_to_extract_str}

    Provide the summary in bullet points nested within the XML header for each section. For example:

    <parties involved>
    - Sublessor: [Name]
    // Add more details as needed
    </parties involved>
    
    If any information is not explicitly stated in the document, note it as "Not specified". Do not preamble.

    Sublease agreement text:
    {text}
    """

    response = client.messages.create(
        model=model,
        max_tokens=max_tokens,
        system="You are a legal analyst specializing in real estate law, known for highly accurate and detailed summaries of sublease agreements.",
        messages=[
            {"role": "user", "content": prompt},
            {"role": "assistant", "content": "Here is the summary of the sublease agreement: <summary>"}
        ],
        stop_sequences=["</summary>"]
    )

    return response.content[0].text

sublease_summary = summarize_document(document_text, details_to_extract)
print(sublease_summary)

이 코드는 Claude를 사용하여 전대차 계약서의 내용을 요약하는 summarize_document 함수를 구현합니다. 이 함수는 텍스트 문자열과 추출할 세부 사항 목록을 입력으로 받습니다. 이 예시에서는 이전 코드 스니펫에서 정의한 document_text와 details_to_extract 변수를 사용하여 함수를 호출합니다.

함수 내에서 요약할 문서, 추출할 세부 사항, 문서 요약을 위한 구체적인 지침을 포함하는 프롬프트가 Claude를 위해 생성됩니다. 프롬프트는 Claude에게 XML 헤더 내에 중첩된 각 추출 세부 사항의 요약으로 응답하도록 지시합니다.

요약의 각 섹션을 태그 내에 출력하기로 결정했기 때문에, 각 섹션은 후처리 단계에서 쉽게 파싱할 수 있습니다. 이 접근 방식은 사용 사례에 맞게 조정할 수 있는 구조화된 요약을 가능하게 하여, 각 요약이 동일한 패턴을 따르도록 합니다.

프롬프트 평가하기

프롬프팅은 프로덕션에 사용할 수 있으려면 테스트와 최적화가 필요한 경우가 많습니다. 솔루션의 준비 상태를 판단하려면 정량적 방법과 정성적 방법을 결합한 체계적인 프로세스를 사용하여 요약의 품질을 평가하세요. 정의한 성공 기준에 기반한 강력한 경험적 평가를 만들면 프롬프트를 최적화할 수 있습니다. 경험적 평가에 포함할 수 있는 지표는 다음과 같습니다:

프롬프트 배포하기

솔루션을 프로덕션에 배포할 때 염두에 두어야 할 추가 고려 사항은 다음과 같습니다.

1. 책임 면제 보장: 요약의 오류로 인한 법적 영향을 이해하세요. 이는 조직이나 고객에게 법적 책임을 초래할 수 있습니다. 요약이 AI에 의해 생성되었으며 법률 전문가의 검토를 받아야 한다는 면책 조항이나 법적 고지를 제공하세요.

2. 다양한 문서 유형 처리: 이 가이드에서는 PDF에서 텍스트를 추출하는 방법을 논의했습니다. 실제 환경에서 문서는 다양한 형식(PDF, Word 문서, 텍스트 파일 등)으로 제공될 수 있습니다. 데이터 추출 파이프라인이 수신할 것으로 예상되는 모든 파일 형식을 변환할 수 있는지 확인하세요.

3. Claude에 대한 API 호출 병렬화: 토큰 수가 많은 긴 문서는 Claude가 요약을 생성하는 데 최대 1분이 소요될 수 있습니다. 대규모 문서 컬렉션의 경우, 합리적인 시간 내에 요약을 완료할 수 있도록 Claude에 대한 API 호출을 병렬로 보내는 것이 좋습니다. 병렬로 수행할 수 있는 최대 API 호출 수를 확인하려면 Anthropic의 속도 제한을 참조하세요.

성능 향상

복잡한 시나리오에서는 표준 프롬프트 엔지니어링 기법 외에 성능을 향상시키기 위한 추가 전략을 고려하는 것이 도움이 될 수 있습니다. 다음은 몇 가지 고급 전략입니다:

메타 요약을 수행하여 긴 문서 요약하기

법률 요약은 종종 긴 문서나 많은 관련 문서를 한꺼번에 처리해야 하며, Claude의 컨텍스트 윈도우를 초과할 수 있습니다. 이러한 사용 사례를 처리하기 위해 메타 요약이라는 청킹 방법을 사용할 수 있습니다. 이 기법은 문서를 더 작고 관리 가능한 청크로 분할한 다음 각 청크를 개별적으로 처리하는 것을 포함합니다. 그런 다음 각 청크의 요약을 결합하여 전체 문서의 메타 요약을 생성할 수 있습니다.

다음은 메타 요약을 수행하는 방법의 예시입니다:

import anthropic

# Initialize the Anthropic client
client = anthropic.Anthropic()

def chunk_text(text, chunk_size=20000):
    return [text[i:i+chunk_size] for i in range(0, len(text), chunk_size)]

def summarize_long_document(text, details_to_extract, model="claude-opus-4-6", max_tokens=1000):

    # Format the details to extract to be placed within the prompt's context
    details_to_extract_str = '\n'.join(details_to_extract)

    # Iterate over chunks and summarize each one
    chunk_summaries = [summarize_document(chunk, details_to_extract, model=model, max_tokens=max_tokens) for chunk in chunk_text(text)]
    
    final_summary_prompt = f"""
    
    You are looking at the chunked summaries of multiple documents that are all related. 
    Combine the following summaries of the document from different truthful sources into a coherent overall summary:

    <chunked_summaries>
    {"".join(chunk_summaries)}
    </chunked_summaries>

    Focus on these key aspects:
    {details_to_extract_str})

    Provide the summary in bullet points nested within the XML header for each section. For example:

    <parties involved>
    - Sublessor: [Name]
    // Add more details as needed
    </parties involved>
    
    If any information is not explicitly stated in the document, note it as "Not specified". Do not preamble.
    """

    response = client.messages.create(
        model=model,
        max_tokens=max_tokens,
        system="You are a legal expert that summarizes notes on one document.",
        messages=[
            {"role": "user",  "content": final_summary_prompt},
            {"role": "assistant", "content": "Here is the summary of the sublease agreement: <summary>"}

        ],
        stop_sequences=["</summary>"]
    )
    
    return response.content[0].text

long_summary = summarize_long_document(document_text, details_to_extract)
print(long_summary)

summarize_long_document 함수는 이전의 summarize_document 함수를 기반으로 문서를 더 작은 청크로 분할하고 각 청크를 개별적으로 요약합니다.

이 코드는 원본 문서 내의 20,000자 청크 각각에 summarize_document 함수를 적용하여 이를 달성합니다. 그런 다음 개별 요약을 결합하고, 이러한 청크 요약에서 최종 요약을 생성합니다.

summarize_long_document 함수는 전체 문서가 Claude의 컨텍스트 윈도우 내에 맞기 때문에 예시 PDF에는 엄밀히 필요하지 않습니다. 그러나 Claude의 컨텍스트 윈도우를 초과하는 문서나 여러 관련 문서를 함께 요약할 때는 필수적입니다. 그럼에도 불구하고, 이 메타 요약 기법은 이전의 단일 요약 접근 방식에서 놓쳤던 추가적인 중요한 세부 사항을 최종 요약에서 포착하는 경우가 많습니다.

요약 인덱싱된 문서를 사용하여 대규모 문서 컬렉션 탐색하기

LLM으로 문서 컬렉션을 검색하는 것은 일반적으로 검색 증강 생성(RAG)을 포함합니다. 그러나 대규모 문서를 다루거나 정확한 정보 검색이 중요한 시나리오에서는 기본 RAG 접근 방식이 충분하지 않을 수 있습니다. 요약 인덱싱된 문서는 기존 RAG 방법보다 적은 컨텍스트를 사용하여 검색을 위한 문서 순위를 매기는 더 효율적인 방법을 제공하는 고급 RAG 접근 방식입니다. 이 접근 방식에서는 먼저 Claude를 사용하여 코퍼스의 각 문서에 대한 간결한 요약을 생성한 다음, Claude를 사용하여 질문에 대한 각 요약의 관련성 순위를 매깁니다. 코드 기반 예시를 포함한 이 접근 방식에 대한 자세한 내용은 요약 쿡북의 요약 인덱싱된 문서 섹션을 확인하세요.

Claude를 파인튜닝하여 데이터셋에서 학습시키기

Claude의 요약 생성 능력을 향상시키는 또 다른 고급 기법은 파인튜닝입니다. 파인튜닝은 법률 요약 요구 사항에 특별히 맞춰진 커스텀 데이터셋으로 Claude를 훈련시켜 사용 사례에 적응하도록 하는 것을 포함합니다. 파인튜닝을 수행하는 방법에 대한 개요는 다음과 같습니다:

1. 오류 식별: Claude의 요약이 부족한 사례를 수집하는 것부터 시작하세요 - 여기에는 중요한 법률 세부 사항 누락, 맥락 오해, 부적절한 법률 용어 사용 등이 포함될 수 있습니다.

2. 데이터셋 큐레이션: 이러한 문제를 식별한 후, 이러한 문제가 있는 예시의 데이터셋을 편집하세요. 이 데이터셋에는 원본 법률 문서와 수정된 요약이 함께 포함되어야 하며, Claude가 원하는 동작을 학습할 수 있도록 해야 합니다.

3. 파인튜닝 수행: 파인튜닝은 큐레이션된 데이터셋에서 모델을 재훈련하여 가중치와 매개변수를 조정하는 것을 포함합니다. 이 재훈련은 Claude가 법률 도메인의 특정 요구 사항을 더 잘 이해하도록 도와, 기준에 따라 문서를 요약하는 능력을 향상시킵니다.

4. 반복적 개선: 파인튜닝은 일회성 프로세스가 아닙니다. Claude가 계속 요약을 생성함에 따라, 성능이 부족했던 새로운 예시를 반복적으로 추가하여 기능을 더욱 정교하게 다듬을 수 있습니다. 시간이 지남에 따라 이러한 지속적인 피드백 루프는 법률 요약 작업에 고도로 특화된 모델을 만들어 낼 것입니다.