Das Attention-Skalierungsproblem
Standard Attention ist rechenintensiv: Die Komplexität wächst quadratisch mit der Sequenzlänge (O(n²)). Bei langen Kontexten wird das schnell zum Bottleneck. Bisherige Efficient-Attention-Ansätze reduzieren zwar den Rechenaufwand, degradieren aber oft die Modellqualität, wenn sie in vortrainierte Modelle integriert werden.
Wie Focus funktioniert
Focus löst das Problem durch selektive Aufmerksamkeit. Statt dass alle Token-Paare interagieren, lernt die Methode, welche Paare relevant sind. Das Kernkonzept sind Centroids – kleine, trainierbare Ankerpunkte, die als Gate fungieren.
Token werden Centroid-Gruppen zugeordnet. Nur Tokens der gleichen Gruppe können sich gegenseitig über längere Distanzen "sehen". Das reduziert die Anzahl der Attention-Operationen drastisch. Der Overhead ist minimal: Pro Layer braucht es nur etwa 148K Parameter – das ist negligible im Vergleich zu großen Modellen.
Praktische Vorteile
Das Elegante an Focus ist die Komposierbarkeit. Man kann die Methode zu bestehenden vortrainierten Modellen hinzufügen, indem man nur die Centroids trainiert. Alle anderen Gewichte bleiben eingefroren. Das spart Rechenzeit und Speicher beim Fine-Tuning erheblich.
Die experimentellen Ergebnisse sind überzeugt:
- Zero Degradation: Auf Downstream-Tasks zeigt sich über verschiedene Modellgrößen (124M bis 70B Parameter) und fünf Attention-Architekturen kein Qualitätsverlust.
- Sogar Verbesserungen: Bei 124M-Parametern übertrifft sparse Focus-Attention die volle Attention leicht (30.3 vs. 31.4 Perplexity). Bei 7B-Parametern, von Grund auf trainiert, sind die Werte praktisch identisch.
- Performance-Gains: Mit Top-K Group Membership erreicht Focus eine 2x Speedup bei besserer Qualität als das Original. Durch eine FlashAttention-Dekomposition sogar 8.6x Speedup bei 1M Tokens – ohne Custom Kernels.
Fazit
Focus adressiert ein echtes Problem: Wie macht man Attention skalierbarer, ohne dabei Qualität zu opfern? Der Ansatz ist praktisch, weil er sich nachträglich integrieren lässt, und empirisch solide validiert über verschiedene Skalierungsebenen.