Grundkonzepte
Embedding (Einbettung)
Dichter Zahlenvektor, der die Bedeutung eines Textes kodiert.
Ein Embedding wandelt ein Textstück in eine Liste aus Hunderten oder Tausenden Zahlen um. Bedeutungsähnliche Texte liegen in diesem Vektorraum nah beieinander. Es ist die Grundlage semantischer Suche, von Empfehlungssystemen und von RAG-Architekturen. Embeddings zu erzeugen ist deutlich günstiger als Text zu erzeugen.
Verwandte Begriffe
Vektordatenbank
Datenbank, die auf das Speichern und Durchsuchen hochdimensionaler Embedding-Vektoren ausgelegt ist.
RAG (Retrieval-Augmented Generation)
Antworten anreichern, indem passende Dokumente aus einer externen Quelle geholt werden.
Semantische Suche
Suche, die Ergebnisse nach Bedeutung statt nach exakter Wortübereinstimmung liefert.
Tokenizer
Algorithmus, der Rohtext in eine Folge von Tokens umwandelt.