Die Studie „GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models“ untersucht, wie gut große Sprachmodelle wie GPT-4 von OpenAI und Meta’s Llama mathematische Probleme lösen können. Trotz verbesserter Ergebnisse in Benchmarks wie GSM8K zeigen die Modelle Schwächen, insbesondere wenn sich Zahlenwerte ändern oder zusätzliche Klauseln hinzugefügt werden. Die Autoren führen diese Einschränkungen auf die mangelnde Fähigkeit der Modelle zu echtem logischen Denken zurück. Die Modelle basieren eben auf Mustererkennung und nicht auf echter Logik. Würde man KI mit symbolbasierter Logik kombinieren, kann die Genauigkeit und Verlässlichkeit verbessert werden. Dies könnte künftige Anwendungen präziser und robuster machen.