Векторні бази даних

[0.12, -0.56, 0.44, ..., -0.03]

from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection
from pymilvus.model.dense import SentenceTransformerEmbeddingFunction

# 1. Підключення до Milvus (за замовчуванням localhost:19530)
connections.connect("default", host="localhost", port="19530")

# 2. Ініціалізація функції ембедингу з моделлю e5-base-v2
# Ця модель потребує:
# - Префікс "passage: " для документів
# - Префікс "query: " для пошукових запитів
ef = SentenceTransformerEmbeddingFunction("intfloat/e5-base-v2")

# 3. Визначення схеми колекції:
# - "id" — цілочисельний ідентифікатор (первинний ключ)
# - "text" — вихідний текст документа (рядок)
# - "emb" — ембединг-вектор розмірності 768
fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True, auto_id=False),
    FieldSchema(name="text", dtype=DataType.VARCHAR, max_length=512),
    FieldSchema(name="emb", dtype=DataType.FLOAT_VECTOR, dim=768)
]
schema = CollectionSchema(fields, description="Колекція з ембедингами від e5-base-v2")

# 4. Створення колекції в Milvus із заданою схемою
collection = Collection("e5_collection", schema)

# 5. Підготовка і вставка документів
# Важливо: перед подачею в модель потрібно додати префікс "passage: "
raw_docs = ["Hello world", "Milvus vector database", "Semantic search with e5 model"]
docs = [f"passage: {d}" for d in raw_docs]  # додаємо префікс
ids = [1, 2, 3]

# Обчислюємо ембединги для документів використовуючи e5‑base
embs = ef.encode_documents(docs)

# Вставляємо в колекцію:
# - ідентифікатори
# - вихідні (чисті) тексти без префіксів
# - ембединги
collection.insert([ids, raw_docs, embs])

# 6. Створення індексу за полем "emb" для пришвидшення пошуку
collection.create_index(
    field_name="emb",
    index_params={
        # тип індексу
        "index_type": "IVF_FLAT",

        # параметр розбиття на кластери
        "params": {"nlist": 128},

        # метрика відстані (евклідова відстань)
        "metric_type": "L2"
    }
)

# 7. Завантаження колекції в оперативну пам'ять
# Без цього пошук працювати не буде
collection.load()

# 8. Пошуковий запит
# Аналогічно — використовуємо префікс "query: " перед текстом запиту
query_docs = ["query: vector database"]
q_emb = ef.encode_queries(query_docs)

# Виконуємо семантичний пошук за ембедингами
results = collection.search(
    # ембединг пошукового запиту
    data=q_emb,

    # поле, за яким здійснюється пошук
    anns_field="emb",

    # параметри пошуку
    param={"metric_type": "L2", "params": {"nprobe": 10}},

    # кількість найближчих сусідів
    limit=2,

    # додаткові поля, які потрібно повернути
    output_fields=["text"]
)

# 9. Виводимо результати пошуку
for i, hits in enumerate(results):
    print(f"Результати для запиту: '{query_docs[i]}'")
    if not hits:
        print("Нічого не знайдено")
        continue
    for rank, hit in enumerate(hits, start=1):
        print(f"  {rank}:")
        print(f"    ID: {hit.id}")
        print(f"    Текст: {hit.entity.get('text')}")
        print(f"    Відстань: {hit.distance:.4f}")

# Результати для запиту: 'query: vector database'
#  1:
#    ID: 2
#    Текст: Milvus vector database
#    Відстань: 2.8374
#  2:
#    ID: 3
#    Текст: Semantic search with e5 model
#    Відстань: 5.4931

# 10. Видалення документа за ID
# У цьому випадку видаляється документ з id = 1
collection.delete(expr="id in [1]")

# 11. Видалення всієї колекції (якщо більше не потрібна)
collection.drop()