Oossa

Privates Dense Retrieval verlängert RAG-Abläufe um 0,38 Sekunden

Ein Hashing-Filter schützt Suchanfragen und erhöht die Latenz bei der Suche in großem Maßstab nur um 6,5 Prozent.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Peichun Hua und seine Mitautoren haben ein Verfahren für privates Dense Retrieval vorgestellt. Dabei wählt ein gelernter binärer Hash eine kurze Kandidatenliste aus. Anschließend werden die Treffer verschlüsselt neu sortiert, sodass sowohl die Suchanfrage als auch die endgültigen Dokumente verborgen bleiben. Bei einem Datensatz mit 2,68 Millionen Passagen verlängert das Verfahren einen RAG-Durchlauf mit Qwen3-32B über eine 10-Gbit/s-Verbindung um lediglich 0,38 Sekunden. Mit nur 200–500 Kandidaten erreicht es dieselbe Qualität wie eine Suche im gesamten Korpus.

Warum es wichtig ist

Unternehmen können private Suchfunktionen für große Dokumentensammlungen einführen, ohne dass sich die Suche merklich verlangsamt.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.