기능

임베딩

텍스트 임베딩은 의미적 유사성을 측정할 수 있게 해주는 텍스트의 수치적 표현입니다. 이 가이드는 임베딩, 그 응용 분야, 그리고 검색, 추천, 이상 탐지와 같은 작업에 임베딩 모델을 사용하는 방법을 소개합니다.

임베딩 구현 전에

임베딩 제공업체를 선택할 때, 필요와 선호도에 따라 고려할 수 있는 여러 요소가 있습니다:

데이터셋 크기 및 도메인 특수성: 모델 훈련 데이터셋의 크기와 임베딩하고자 하는 도메인과의 관련성. 더 크거나 더 도메인별 데이터는 일반적으로 더 나은 도메인 내 임베딩을 생성합니다
추론 성능: 임베딩 조회 속도와 종단 간 지연 시간. 이는 대규모 프로덕션 배포에서 특히 중요한 고려사항입니다
커스터마이제이션: 개인 데이터에 대한 지속적인 훈련 옵션 또는 매우 특정한 도메인에 대한 모델 특화. 이는 고유한 어휘에서의 성능을 향상시킬 수 있습니다

Anthropic으로 임베딩 얻는 방법

Anthropic은 자체 임베딩 모델을 제공하지 않습니다. 위의 모든 고려사항을 포괄하는 다양한 옵션과 기능을 가진 임베딩 제공업체 중 하나는 Voyage AI입니다.

Voyage AI는 최첨단 임베딩 모델을 만들고 금융 및 의료와 같은 특정 산업 도메인을 위한 맞춤형 모델이나 개별 고객을 위한 맞춤 미세 조정 모델을 제공합니다.

이 가이드의 나머지 부분은 Voyage AI에 대한 것이지만, 특정 사용 사례에 가장 적합한 것을 찾기 위해 다양한 임베딩 벤더를 평가하시기를 권장합니다.

사용 가능한 모델

Voyage는 다음 텍스트 임베딩 모델 사용을 권장합니다:

모델	컨텍스트 길이	임베딩 차원	설명
`voyage-3-large`	32,000	1024 (기본값), 256, 512, 2048	최고의 범용 및 다국어 검색 품질. 자세한 내용은 블로그 포스트를 참조하세요.
`voyage-3.5`	32,000	1024 (기본값), 256, 512, 2048	범용 및 다국어 검색 품질에 최적화됨. 자세한 내용은 블로그 포스트를 참조하세요.
`voyage-3.5-lite`	32,000	1024 (기본값), 256, 512, 2048	지연 시간과 비용에 최적화됨. 자세한 내용은 블로그 포스트를 참조하세요.
`voyage-code-3`	32,000	1024 (기본값), 256, 512, 2048	코드 검색에 최적화됨. 자세한 내용은 블로그 포스트를 참조하세요.
`voyage-finance-2`	32,000	1024	금융 검색 및 RAG에 최적화됨. 자세한 내용은 블로그 포스트를 참조하세요.
`voyage-law-2`	16,000	1024	법률 및 긴 컨텍스트 검색 및 RAG에 최적화됨. 모든 도메인에서 성능도 향상됨. 자세한 내용은 블로그 포스트를 참조하세요.

또한 다음 멀티모달 임베딩 모델이 권장됩니다:

모델	컨텍스트 길이	임베딩 차원	설명
`voyage-multimodal-3`	32000	1024	PDF 스크린샷, 슬라이드, 표, 그림 등과 같은 콘텐츠가 풍부한 이미지와 인터리브된 텍스트를 벡터화할 수 있는 풍부한 멀티모달 임베딩 모델. 자세한 내용은 블로그 포스트를 참조하세요.

어떤 텍스트 임베딩 모델을 사용할지 결정하는 데 도움이 필요하신가요? FAQ를 확인해보세요.

Voyage AI 시작하기

Voyage 임베딩에 액세스하려면:

Voyage AI 웹사이트에 가입
API 키 획득
편의를 위해 API 키를 환경 변수로 설정:

export VOYAGE_API_KEY="<your secret key>"

공식 voyageai Python 패키지 또는 아래 설명된 HTTP 요청을 사용하여 임베딩을 얻을 수 있습니다.

Voyage Python 라이브러리

voyageai 패키지는 다음 명령을 사용하여 설치할 수 있습니다:

pip install -U voyageai

그런 다음 클라이언트 객체를 생성하고 텍스트를 임베딩하는 데 사용할 수 있습니다:

import voyageai

vo = voyageai.Client()
# 이는 자동으로 환경 변수 VOYAGE_API_KEY를 사용합니다.
# 또는 vo = voyageai.Client(api_key="<your secret key>")를 사용할 수 있습니다

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-3.5", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings는 각각 1024개의 부동소수점 숫자를 포함하는 두 개의 임베딩 벡터 목록이 됩니다. 위 코드를 실행한 후 두 임베딩이 화면에 출력됩니다:

[-0.013131560757756233, 0.019828535616397858, ...]   # "Sample text 1"에 대한 임베딩
[-0.0069352793507277966, 0.020878976210951805, ...]  # "Sample text 2"에 대한 임베딩

임베딩을 생성할 때 embed() 함수에 몇 가지 다른 인수를 지정할 수 있습니다.

Voyage python 패키지에 대한 자세한 정보는 Voyage 문서를 참조하세요.

Voyage HTTP API

Voyage HTTP API를 요청하여 임베딩을 얻을 수도 있습니다. 예를 들어, 터미널에서 curl 명령을 통해 HTTP 요청을 보낼 수 있습니다:

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-3.5"
  }'

받게 될 응답은 임베딩과 토큰 사용량을 포함하는 JSON 객체입니다:

{
  "object": "list",
  "data": [
    {
      "embedding": [-0.013131560757756233, 0.019828535616397858, ...],
      "index": 0
    },
    {
      "embedding": [-0.0069352793507277966, 0.020878976210951805, ...],
      "index": 1
    }
  ],
  "model": "voyage-3.5",
  "usage": {
    "total_tokens": 10
  }
}

Voyage HTTP API에 대한 자세한 정보는 Voyage 문서를 참조하세요.

AWS Marketplace

Voyage 임베딩은 AWS Marketplace에서 사용할 수 있습니다. AWS에서 Voyage에 액세스하는 지침은 여기에서 확인할 수 있습니다.

빠른 시작 예제

이제 임베딩을 얻는 방법을 알았으니 간단한 예제를 살펴보겠습니다.

검색할 6개 문서의 작은 코퍼스가 있다고 가정해보겠습니다

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature."
]

먼저 Voyage를 사용하여 각각을 임베딩 벡터로 변환합니다

import voyageai

vo = voyageai.Client()

# 문서들을 임베딩
doc_embds = vo.embed(
    documents, model="voyage-3.5", input_type="document"
).embeddings

임베딩을 통해 벡터 공간에서 의미적 검색/검색을 수행할 수 있습니다. 예제 쿼리가 주어졌을 때,

query = "When is Apple's conference call scheduled?"

이를 임베딩으로 변환하고, 임베딩 공간에서의 거리를 기반으로 가장 관련성이 높은 문서를 찾기 위해 최근접 이웃 검색을 수행합니다.

import numpy as np

# 쿼리를 임베딩
query_embd = vo.embed(
    [query], model="voyage-3.5", input_type="query"
).embeddings[0]

# 유사성 계산
# Voyage 임베딩은 길이 1로 정규화되므로 내적과
# 코사인 유사성이 동일합니다.
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

문서와 쿼리를 임베딩할 때 각각 input_type="document"와 input_type="query"를 사용한다는 점에 주목하세요. 더 자세한 사양은 여기에서 찾을 수 있습니다.

출력은 쿼리와 실제로 가장 관련성이 높은 5번째 문서가 될 것입니다:

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

벡터 데이터베이스를 포함하여 임베딩으로 RAG를 수행하는 방법에 대한 자세한 쿡북 세트를 찾고 있다면 RAG 쿡북을 확인해보세요.

FAQ

가격

최신 가격 세부 정보는 Voyage의 가격 페이지를 방문하세요.

기능

임베딩

임베딩 구현 전에

임베딩 제공업체를 선택할 때, 필요와 선호도에 따라 고려할 수 있는 여러 요소가 있습니다:

데이터셋 크기 및 도메인 특수성: 모델 훈련 데이터셋의 크기와 임베딩하고자 하는 도메인과의 관련성. 더 크거나 더 도메인별 데이터는 일반적으로 더 나은 도메인 내 임베딩을 생성합니다
추론 성능: 임베딩 조회 속도와 종단 간 지연 시간. 이는 대규모 프로덕션 배포에서 특히 중요한 고려사항입니다
커스터마이제이션: 개인 데이터에 대한 지속적인 훈련 옵션 또는 매우 특정한 도메인에 대한 모델 특화. 이는 고유한 어휘에서의 성능을 향상시킬 수 있습니다

Anthropic으로 임베딩 얻는 방법

이 가이드의 나머지 부분은 Voyage AI에 대한 것이지만, 특정 사용 사례에 가장 적합한 것을 찾기 위해 다양한 임베딩 벤더를 평가하시기를 권장합니다.

사용 가능한 모델

Voyage는 다음 텍스트 임베딩 모델 사용을 권장합니다:

모델	컨텍스트 길이	임베딩 차원	설명
`voyage-3-large`	32,000	1024 (기본값), 256, 512, 2048	최고의 범용 및 다국어 검색 품질. 자세한 내용은 블로그 포스트를 참조하세요.
`voyage-3.5`	32,000	1024 (기본값), 256, 512, 2048	범용 및 다국어 검색 품질에 최적화됨. 자세한 내용은 블로그 포스트를 참조하세요.
`voyage-3.5-lite`	32,000	1024 (기본값), 256, 512, 2048	지연 시간과 비용에 최적화됨. 자세한 내용은 블로그 포스트를 참조하세요.
`voyage-code-3`	32,000	1024 (기본값), 256, 512, 2048	코드 검색에 최적화됨. 자세한 내용은 블로그 포스트를 참조하세요.
`voyage-finance-2`	32,000	1024	금융 검색 및 RAG에 최적화됨. 자세한 내용은 블로그 포스트를 참조하세요.
`voyage-law-2`	16,000	1024	법률 및 긴 컨텍스트 검색 및 RAG에 최적화됨. 모든 도메인에서 성능도 향상됨. 자세한 내용은 블로그 포스트를 참조하세요.

또한 다음 멀티모달 임베딩 모델이 권장됩니다:

모델	컨텍스트 길이	임베딩 차원	설명
`voyage-multimodal-3`	32000	1024	PDF 스크린샷, 슬라이드, 표, 그림 등과 같은 콘텐츠가 풍부한 이미지와 인터리브된 텍스트를 벡터화할 수 있는 풍부한 멀티모달 임베딩 모델. 자세한 내용은 블로그 포스트를 참조하세요.

어떤 텍스트 임베딩 모델을 사용할지 결정하는 데 도움이 필요하신가요? FAQ를 확인해보세요.

Voyage AI 시작하기

Voyage 임베딩에 액세스하려면:

Voyage AI 웹사이트에 가입
API 키 획득
편의를 위해 API 키를 환경 변수로 설정:

export VOYAGE_API_KEY="<your secret key>"

공식 voyageai Python 패키지 또는 아래 설명된 HTTP 요청을 사용하여 임베딩을 얻을 수 있습니다.

Voyage Python 라이브러리

voyageai 패키지는 다음 명령을 사용하여 설치할 수 있습니다:

pip install -U voyageai

그런 다음 클라이언트 객체를 생성하고 텍스트를 임베딩하는 데 사용할 수 있습니다:

import voyageai

vo = voyageai.Client()
# 이는 자동으로 환경 변수 VOYAGE_API_KEY를 사용합니다.
# 또는 vo = voyageai.Client(api_key="<your secret key>")를 사용할 수 있습니다

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-3.5", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings는 각각 1024개의 부동소수점 숫자를 포함하는 두 개의 임베딩 벡터 목록이 됩니다. 위 코드를 실행한 후 두 임베딩이 화면에 출력됩니다:

[-0.013131560757756233, 0.019828535616397858, ...]   # "Sample text 1"에 대한 임베딩
[-0.0069352793507277966, 0.020878976210951805, ...]  # "Sample text 2"에 대한 임베딩

임베딩을 생성할 때 embed() 함수에 몇 가지 다른 인수를 지정할 수 있습니다.

Voyage python 패키지에 대한 자세한 정보는 Voyage 문서를 참조하세요.

Voyage HTTP API

Voyage HTTP API를 요청하여 임베딩을 얻을 수도 있습니다. 예를 들어, 터미널에서 curl 명령을 통해 HTTP 요청을 보낼 수 있습니다:

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-3.5"
  }'

받게 될 응답은 임베딩과 토큰 사용량을 포함하는 JSON 객체입니다:

{
  "object": "list",
  "data": [
    {
      "embedding": [-0.013131560757756233, 0.019828535616397858, ...],
      "index": 0
    },
    {
      "embedding": [-0.0069352793507277966, 0.020878976210951805, ...],
      "index": 1
    }
  ],
  "model": "voyage-3.5",
  "usage": {
    "total_tokens": 10
  }
}

Voyage HTTP API에 대한 자세한 정보는 Voyage 문서를 참조하세요.

AWS Marketplace

Voyage 임베딩은 AWS Marketplace에서 사용할 수 있습니다. AWS에서 Voyage에 액세스하는 지침은 여기에서 확인할 수 있습니다.

빠른 시작 예제

이제 임베딩을 얻는 방법을 알았으니 간단한 예제를 살펴보겠습니다.

검색할 6개 문서의 작은 코퍼스가 있다고 가정해보겠습니다

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature."
]

먼저 Voyage를 사용하여 각각을 임베딩 벡터로 변환합니다

import voyageai

vo = voyageai.Client()

# 문서들을 임베딩
doc_embds = vo.embed(
    documents, model="voyage-3.5", input_type="document"
).embeddings

임베딩을 통해 벡터 공간에서 의미적 검색/검색을 수행할 수 있습니다. 예제 쿼리가 주어졌을 때,

query = "When is Apple's conference call scheduled?"

이를 임베딩으로 변환하고, 임베딩 공간에서의 거리를 기반으로 가장 관련성이 높은 문서를 찾기 위해 최근접 이웃 검색을 수행합니다.

import numpy as np

# 쿼리를 임베딩
query_embd = vo.embed(
    [query], model="voyage-3.5", input_type="query"
).embeddings[0]

# 유사성 계산
# Voyage 임베딩은 길이 1로 정규화되므로 내적과
# 코사인 유사성이 동일합니다.
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

문서와 쿼리를 임베딩할 때 각각 input_type="document"와 input_type="query"를 사용한다는 점에 주목하세요. 더 자세한 사양은 여기에서 찾을 수 있습니다.

출력은 쿼리와 실제로 가장 관련성이 높은 5번째 문서가 될 것입니다:

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

벡터 데이터베이스를 포함하여 임베딩으로 RAG를 수행하는 방법에 대한 자세한 쿡북 세트를 찾고 있다면 RAG 쿡북을 확인해보세요.

FAQ

가격

최신 가격 세부 정보는 Voyage의 가격 페이지를 방문하세요.

임베딩 구현 전에

Anthropic으로 임베딩 얻는 방법

사용 가능한 모델

Voyage AI 시작하기

Voyage Python 라이브러리

Voyage HTTP API

AWS Marketplace

빠른 시작 예제

FAQ

Voyage 임베딩이 우수한 품질을 갖는 이유는 무엇인가요?

어떤 임베딩 모델이 사용 가능하며 어떤 것을 사용해야 하나요?

어떤 유사성 함수를 사용해야 하나요?

문자, 단어, 토큰 간의 관계는 무엇인가요?

input_type 매개변수를 언제 그리고 어떻게 사용해야 하나요?

어떤 양자화 옵션이 사용 가능한가요?

Matryoshka 임베딩을 어떻게 잘라낼 수 있나요?

가격

임베딩 구현 전에

Anthropic으로 임베딩 얻는 방법

사용 가능한 모델

Voyage AI 시작하기

Voyage Python 라이브러리

Voyage HTTP API

AWS Marketplace

빠른 시작 예제

FAQ

Voyage 임베딩이 우수한 품질을 갖는 이유는 무엇인가요?

어떤 임베딩 모델이 사용 가능하며 어떤 것을 사용해야 하나요?

어떤 유사성 함수를 사용해야 하나요?

문자, 단어, 토큰 간의 관계는 무엇인가요?

input_type 매개변수를 언제 그리고 어떻게 사용해야 하나요?

어떤 양자화 옵션이 사용 가능한가요?

Matryoshka 임베딩을 어떻게 잘라낼 수 있나요?

가격