Embeddings

Model embedding mengandalkan jaringan neural yang kuat untuk menangkap dan mengompresi konteks semantik, mirip dengan model generatif. Tim peneliti AI berpengalaman Voyage mengoptimalkan setiap komponen proses embedding, termasuk:

• Arsitektur model
• Pengumpulan data
• Fungsi loss
• Pemilihan optimizer

Pelajari lebih lanjut tentang pendekatan teknis Voyage di blog Voyage AI.

Untuk embedding serbaguna, model yang direkomendasikan adalah:

• voyage-4-large: Kualitas terbaik
• voyage-4-lite: Latensi dan biaya terendah
• voyage-4: Performa seimbang

Untuk retrieval, gunakan parameter input_type untuk menentukan apakah teks tersebut bertipe query atau dokumen.

Model spesifik domain:

• Tugas hukum: voyage-law-2
• Kode dan dokumentasi pemrograman: voyage-code-3
• Tugas terkait keuangan: voyage-finance-2

Untuk retrieval tingkat chunk dan tingkat dokumen: voyage-context-4

Anda dapat menggunakan embeddings Voyage dengan kemiripan dot-product, kemiripan cosine, atau jarak Euclidean. Untuk penjelasan tentang kemiripan embedding, lihat panduan kemiripan vektor ini.

Embeddings Voyage AI dinormalisasi ke panjang 1, yang berarti bahwa:

• Kemiripan cosine setara dengan kemiripan dot-product, sementara yang terakhir dapat dihitung lebih cepat.
• Kemiripan cosine dan jarak Euclidean menghasilkan peringkat yang identik.

Lihat panduan tokenisasi Voyage.

Untuk semua tugas dan kasus penggunaan retrieval (misalnya, RAG), gunakan parameter input_type untuk menentukan apakah teks input adalah query atau dokumen. Jangan menghilangkan input_type atau mengatur input_type=None. Menentukan apakah teks input adalah query atau dokumen dapat menciptakan representasi vektor padat yang lebih baik untuk retrieval, yang dapat menghasilkan kualitas retrieval yang lebih baik.

Saat menggunakan parameter input_type, prompt khusus ditambahkan di awal teks input sebelum proses embedding. Secara spesifik:

📘 Prompt yang terkait dengan input_type

• Untuk query, prompt-nya adalah “Represent the query for retrieving supporting documents: “.
• Untuk dokumen, prompt-nya adalah “Represent the document for retrieval: “.
• Contoh
  • Ketika input_type="query", query seperti "When is Apple's conference call scheduled?" akan menjadi "Represent the query for retrieving supporting documents: When is Apple's conference call scheduled?"
  • Ketika input_type="document", query seperti "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET." akan menjadi "Represent the document for retrieval: Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET."

voyage-large-2-instruct, seperti namanya, dilatih agar responsif terhadap instruksi tambahan yang ditambahkan di awal teks input. Untuk klasifikasi, clustering, atau subtugas MTEB lainnya, gunakan instruksi voyage-large-2-instruct.

Kuantisasi pada embeddings mengonversi nilai presisi tinggi, seperti bilangan floating-point presisi tunggal 32-bit, ke format presisi lebih rendah seperti integer 8-bit atau nilai biner 1-bit, sehingga mengurangi penyimpanan, memori, dan biaya sebesar 4x dan 32x, secara berurutan. Model Voyage yang didukung memungkinkan kuantisasi dengan menentukan tipe data output menggunakan parameter output_dtype:

• float: Setiap embedding yang dikembalikan adalah daftar bilangan floating-point presisi tunggal 32-bit (4-byte). Ini adalah default dan memberikan presisi / akurasi retrieval tertinggi.
• int8 dan uint8: Setiap embedding yang dikembalikan adalah daftar integer 8-bit (1-byte) dengan rentang dari -128 hingga 127 dan 0 hingga 255, secara berurutan.
• binary dan ubinary: Setiap embedding yang dikembalikan adalah daftar integer 8-bit yang merepresentasikan nilai embedding bit tunggal terkuantisasi yang dikemas dalam bit: int8 untuk binary dan uint8 untuk ubinary. Panjang daftar integer yang dikembalikan adalah 1/8 dari dimensi embedding yang sebenarnya. Tipe binary menggunakan metode offset binary, yang dapat Anda pelajari lebih lanjut di FAQ embeddings.

Contoh kuantisasi biner

Pertimbangkan delapan nilai embedding berikut: -0.03955078, 0.006214142, -0.07446289, -0.039001465, 0.0046463013, 0.00030612946, -0.08496094, dan 0.03994751. Dengan kuantisasi biner, nilai yang kurang dari atau sama dengan nol akan dikuantisasi menjadi nol biner, dan nilai positif menjadi satu biner, sehingga menghasilkan urutan biner berikut: 0, 1, 0, 0, 1, 1, 0, 1. Kedelapan bit ini kemudian dikemas menjadi satu integer 8-bit, 01001101 (dengan bit paling kiri sebagai bit paling signifikan).

• ubinary: Urutan biner tersebut langsung dikonversi dan direpresentasikan sebagai unsigned integer (uint8) 77.
• binary: Urutan biner tersebut direpresentasikan sebagai signed integer (int8) -51, yang dihitung menggunakan metode offset binary (77 - 128 = -51).

Matryoshka learning menciptakan embeddings dengan representasi kasar-ke-halus dalam satu vektor. Model Voyage, seperti voyage-code-3, yang mendukung beberapa dimensi output menghasilkan embeddings Matryoshka semacam ini. Anda dapat memotong vektor-vektor ini dengan mempertahankan subset dimensi terdepan. Misalnya, kode Python berikut menunjukkan cara memotong vektor 1024 dimensi menjadi 256 dimensi:

import voyageai
import numpy as np


def embd_normalize(v: np.ndarray) -> np.ndarray:
    """
    Normalize the rows of a 2D numpy array to unit vectors by dividing each row by its Euclidean
    norm. Raises a ValueError if any row has a norm of zero to prevent division by zero.
    """
    row_norms = np.linalg.norm(v, axis=1, keepdims=True)
    if np.any(row_norms == 0):
        raise ValueError("Cannot normalize rows with a norm of zero.")
    return v / row_norms


vo = voyageai.Client()

# Hasilkan vektor voyage-code-3, yang secara default berupa bilangan floating-point berdimensi 1024
embd = vo.embed(["Sample text 1", "Sample text 2"], model="voyage-code-3").embeddings

# Tetapkan dimensi yang lebih pendek
short_dim = 256

# Ubah ukuran dan normalisasi vektor ke dimensi yang lebih pendek
resized_embd = embd_normalize(np.array(embd)[:, :short_dim]).tolist()