Das Context-Window-Dilemma
Documentenfragen-Systeme stoßen auf ein grundlegendes Problem: LLMs haben begrenzte Context Windows. Wächst die Dokumentmenge, funktioniert das klassische Approach – Texte einfach aneinanderhängen – nicht mehr. Die gängige Lösung, Dokumente in Chunks zu zerlegen und die Ergebnisse zu aggregieren, verlagert das Problem nur: Je mehr Chunks, desto schwieriger wird es, alle Informationen konsistent zu kombinieren.
Der SLIDERS-Ansatz
Hier setzt SLIDERS an – ein Framework, das strukturiertes Reasoning in den Prozess bringt. Statt Text-zu-Text zu arbeiten, extrahiert SLIDERS relevante Informationen in eine relationale Datenbank. Damit wird Reasoning über SQL statt über verkettete Texte möglich.
Dieser Wechsel hat entscheidende Vorteile:
- Skalierbarkeit: SQL-Abfragen über strukturierte Daten skalieren besser als Prompt-Aggregation
- Konsistenz: Redundante oder widersprüchliche Informationen werden systematisch erkannt
- Persistente Strukturen: Der Wissensstand bleibt über alle Chunks hinweg kohärent
Data Reconciliation als kritischer Schritt
Die Extraktion allein reicht nicht. SLIDERS führt deshalb eine Reconciliation-Phase ein, die drei Probleme adressiert:
- Duplikate: Informationen tauchen über verschiedene Chunks verteilt mehrfach auf
- Inkonsistenzen: Widersprechende Daten werden erkannt und abgestimmt
- Lücken: Unvollständige Records werden durch Provenance und Extraction Rationales repariert
Der Reconciliation-Prozess nutzt Metadaten und Nachverfolgung, um lokal extrahierte Daten global kohärent zu machen.
Messbare Ergebnisse
In Tests schlägt SLIDERS etablierte Baselines deutlich:
- Auf drei existierenden Benchmarks übertrifft es alle Konkurrenten um durchschnittlich 6,6 Punkte – selbst bei Dokumentmengen im Context Window von GPT-4.1
- Auf zwei neuen Benchmarks mit 3,9M und 36M Tokens liegen die Verbesserungen bei ~19 und ~32 Punkten
Besonders interessant: SLIDERS funktioniert auch auf Datensätzen, die technisch noch ins Context Window passen – es profitiert also nicht nur von zusätzlicher Kapazität, sondern von besserer Organisation.
Praktische Implikation
Das Framework zeigt einen Weg aus dem Skalierungsproblem auf. Statt die Context-Grenzen zu verschieben, wird die Informationsverarbeitung selbst effizienter strukturiert. Für Anwendungen wie Compliance-Analyse, Legal Research oder Enterprise Search könnten solche Ansätze zentral werden – nicht als Workaround, sondern als Standardmethode.