Redis®*: RAG pipeline Node.js aplinkoje

Ši dokumentacija yra Vektorinė paieška ir RAG vadovo dalis. Visą vadovą rasite čia: Semantinė paieška, rekomendacijos ir retrieval-augmented generation su Redis.

👋 Sveiki atvykę į Stackhero dokumentaciją!

Stackhero siūlo paruoštą naudoti Redis cloud sprendimą, kuris suteikia daugybę privalumų, įskaitant:

  • Įtraukta Redis Commander žiniatinklio sąsaja.
  • Neribotas žinučių dydis ir perdavimas.
  • Paprasti atnaujinimai vienu paspaudimu.
  • Optimali veikla ir stipri apsauga dėl privačios, dedikuotos infrastruktūros.

Taupykite laiką ir palengvinkite sau darbą: išbandyti Stackhero Redis cloud hosting sprendimą užtrunka tik 5 minutes!

import { createClient, SCHEMA_FIELD_TYPE, SCHEMA_VECTOR_FIELD_ALGORITHM } from 'redis';

const client = createClient({ url: process.env.STACKHERO_REDIS_URL_TLS });
await client.connect();

const DIMENSIONS = 1536;
const toBytes = embedding => Buffer.from(new Float32Array(embedding).buffer);

// 1. Sukurkite indeksą vieną kartą, paleidžiant aplikaciją
try {
  await client.ft.create(
    'chunksIndex',
    {
      content: SCHEMA_FIELD_TYPE.TEXT,
      documentId: SCHEMA_FIELD_TYPE.TAG,
      embedding: {
        type: SCHEMA_FIELD_TYPE.VECTOR,
        ALGORITHM: SCHEMA_VECTOR_FIELD_ALGORITHM.HNSW,
        TYPE: 'FLOAT32',
        DIM: DIMENSIONS,
        DISTANCE_METRIC: 'COSINE'
      }
    },
    { ON: 'HASH', PREFIX: 'chunk:' }
  );
}
catch (error) {
  if (!error.message.includes('Index already exists')) {
    throw error;
  }
}

// 2. Indeksuokite fragmentus (embedding gaunamas iš jūsų modelio tiekėjo)
async function indexChunk({ id, documentId, content, embedding }) {
  await client.hSet(`chunk:${id}`, {
    content,
    documentId,
    embedding: toBytes(embedding)
  });
}

// 3. Gaukite fragmentus, artimiausius klausimui, ribojant pagal dokumentą
async function retrieve({ questionEmbedding, documentId, count = 5 }) {
  const results = await client.ft.search(
    'chunksIndex',
    `(@documentId:{${documentId}})=>[KNN ${count} @embedding $queryVector AS score]`,
    {
      PARAMS: { queryVector: toBytes(questionEmbedding) },
      SORTBY: 'score',
      RETURN: [ 'content', 'score' ],
      DIALECT: 2
    }
  );

  return results.documents.map(({ value }) => value.content);
}

// 4. Pateikite juos savo modeliui kaip kontekstą
const context = await retrieve({ questionEmbedding, documentId: 'doc42' });
const prompt = `Atsakykite naudodami tik šį kontekstą:\n\n${context.join('\n\n')}\n\nKlausimas: ${question}`;