Ein von Google DeepMind geführtes Forschungskonsortium hat ein White Paper veröffentlicht, das Visual General Intelligence (VGI) als alternativen Weg zur künstlichen allgemeinen Intelligenz vorschlägt — basierend auf visueller Erfahrung statt Sprache.
Am 26. August auf arXiv veröffentlicht, stellt das Papier die vorherrschende sprachzentrierte Sicht auf die AGI-Entwicklung in Frage. Während große Sprachmodelle wie GPT bemerkenswerte Transferfähigkeiten durch autoregressive Training auf Web-Skalen-Text demonstriert haben, argumentieren die Autoren, dass Sehen eine fundamentalere und physikalisch fundiertere Grundlage für Intelligenz bieten könnte.
„Welche Fähigkeiten und Formen von Intelligenz können aus visuellen Modalitäten wie Bildern, Videos und Geometrie entstehen?" fragt das Papier. Die Autoren, angeführt von Hirokatsu Kataoka von Google DeepMind und einschließlich Forschern von Oxford, CMU und anderen Institutionen, schlagen vor, dass visuelle Intelligenz durch Skalierung generativer Videomodelle sich zur allgemeinen Intelligenz entwickeln könnte — ähnlich wie GPT Sprachmodellierung skaliert hat.
Das Papier umreißt mehrere Kernprinzipien für VGI: Wiederherstellung der zugrundeliegenden physischen Struktur von Szenen (Geometrie, Materialien, Pose und Dynamiken), lebenslanges Lernen ohne katastrophelles Vergessen, aktive Wahrnehmung und neue Evaluierungsmetriken.
Ein zentrales Argument ist, dass komplexe visuelle Systeme Hunderte von Millionen Jahren vor der menschlichen Sprache entstanden sind, was darauf hindeutet, dass Sehen als primärer Treiber für das Verständnis von Umgebung, Kausalität und räumlichen Beziehungen dient.
