Daten-Embedding

noucore setzt standardmäßig auf hochperformante, lokal deploybare Open-Weight-Embedding-Modelle (wie die BGE-Large-Familie oder Multilingual-E5-Modelle), die im Leaderboard (MTEB) führend sind. Diese Modelle transformieren Text in hochdimensionale Vektoren mit meist 768 oder 1024 Dimensionen. Auf Wunsch können wir über Techniken wie Matryoshka Representation Learning (MRL) die Dimensionen flexibel reduzieren, um Speicherplatz und Suchlatenz in der Vektor-DB zu optimieren, ohne spürbaren Präzisionsverlust.

Das ist genau der Punkt, warum eine nackte Anbindung scheitert. Standard-Modelle verstehen oft keine internen Teilenummern oder hochspezifische Industrie-Abkürzungen. Wir lösen dies durch eine hybride Suchstrategie (Hybrid Search): In der Wissensbasis kombiniert noucore die semantische Vektorsuche (Dense Retrieval) mit einer klassischen, optimierten Keyword-Suche (Sparse Retrieval via BM25). Zudem reichern wir die Chunks vor dem Embedding gezielt mit kontrollierten Vokabularen und Synonym-Listen an.

Nein. Ein vollständiges Re-Indexing (Full Re-Embedding) ist dank unseres ereignisgesteuerten Data Integration Layers (Layer 03) im Regelbetrieb nicht notwendig. Über inkrementelle Updates (Incremental Updates) überwacht noucore Dateisysteme oder Enterprise-Schnittstellen (z. B. Pimcore via Webhooks). Wird ein Dokument geändert, berechnet die Pipeline nur für die betroffenen Chunks die Vektoren neu und aktualisiert diese atomar in der Vektor-DB. Das spart massive GPU-Rechenzeit.

Wenn ein Dokument blind nach einer festen Zeichenanzahl abgeschnitten wird, gehen semantische Zusammenhänge verloren. Die noucore Pipeline nutzt ein rekursives, strukturbasiertes Chunking. Das System analysiert die Dokumenten-Struktur (Überschriften, Absätze, Markdown-Listen) und trennt primär an logischen Grenzen. Zusätzlich setzen wir einen dynamischen Overlap (Überlappung von z. B. 10–20 % der Token-Länge) ein. So wird sichergestellt, dass der Kontext an den Rändern zweier Chunks mathematisch erhalten bleibt.

Tabellen sind die Achillesferse nackter KI-Importe, da Zeilen und Spalten im reinen Fließtext ihre logische Zuordnung verlieren. Die noucore Ingestion-Pipeline enthält spezialisierte Konverter, die Tabellenstrukturen (z. B. aus ERP-Systemen oder PIM-Datenblättern) in ein KI-lesbares Format transformieren – etwa durch Serialisierung in strukturiertes JSON oder semantisch angereichertes Markdown (z. B. „[Spaltenname] von [Zeilenobjekt] ist [Wert]“). Erst dieses strukturierte Format wird dem Embedding-Modell übergeben.

Durch den Einsatz nativer Cross-Lingual-Embedding-Modelle mappt noucore unterschiedliche Sprachen in denselben mathematischen Vektorraum. Das bedeutet: Ein deutschsprachiger Prompt eines Mitarbeiters findet in der Vektordatenbank auch englische, französische oder italienische Dokumenten-Chunks, sofern sie inhaltlich (semantisch) die exakte Antwort liefern. Die Übersetzung in die gewünschte Ausgabesprache übernimmt im letzten Schritt das generative LLM.

Die Abfragegeschwindigkeit in der Wissensbasis (Wahlweise via Qdrant oder Weaviate) wird durch modernste Indizierungsalgorithmen wie HNSW (Hierarchical Navigable Small World) sichergestellt. HNSW wandelt die Vektorsuche von einem linearen Scan in eine hocheffiziente Graphen-Suche um. Selbst bei Datenbeständen im zweistelligen Millionenbereich liefert der noucore Retriever die Top-K-Ergebnisse im einstelligen Millisekundenbereich – bei minimaler CPU-Last und hoher paralleler Nutzerlast.

Vector Drift beschreibt das Phänomen, wenn sich die Art und Struktur eintreffender Unternehmensdaten im Laufe der Zeit so stark verändert, dass das ursprüngliche Embedding-Modell die neuen Kontexte nicht mehr optimal abbilden kann. Um dies zu verhindern, implementieren wir ein automatisiertes Data-Monitoring. Die IT-Abteilung erhält über Telemetrie-Dashboards (Grafana) Berichte über die Verteilung und Dichte im Vektorraum (z. B. via Kosinus-Ähnlichkeits-Metriken), um rechtzeitig zu signalisieren, wann ein Modell-Upgrade oder eine Feinabstimmung der Chunking-Parameter sinnvoll ist.