AI and the Problem of Knowledge Collapse
L'IA et le Problème de l'Effondrement du Savoir
Résumé
While artificial intelligence has the potential to process vast amounts of data, generate new insights, and unlock greater productivity, its widespread adoption may entail unforeseen consequences. We identify conditions under which AI, by reducing the cost of access to certain modes of knowledge, can paradoxically harm public understanding. While large language models are trained on vast amounts of diverse data, they naturally generate output towards the 'center' of the distribution. This is generally useful, but widespread reliance on recursive AI systems could lead to a process we define as "knowledge collapse", and argue this could harm innovation and the richness of human understanding and culture. However, unlike AI models that cannot choose what data they are trained on, humans may strategically seek out diverse forms of knowledge if they perceive them to be worthwhile. To investigate this, we provide a simple model in which a community of learners or
innovators choose to use traditional methods or to rely on a discounted AI-assisted process and
identify conditions under which knowledge collapse occurs. In our default model, a 20% discount
on AI-generated content generates public beliefs 2.3 times further from the truth than when there
is no discount. An empirical approach to measuring the distribution of LLM outputs is provided in
theoretical terms and illustrated through a specific example comparing the diversity of outputs
across different models and prompting styles. Finally, we consider further research directions to
counteract harmful outcomes.
Alors que l'intelligence artificielle a le potentiel de traiter de vastes quantités de données, de générer de nouvelles perspectives et de débloquer une plus grande productivité, son adoption généralisée peut entraîner des conséquences imprévues. Nous identifions des conditions dans lesquelles l'IA, en réduisant le coût d'accès à certains modes de connaissance, peut paradoxalement nuire à la connaissance publique. Alors que les grands modèles de langage sont entraînés sur de vastes quantités de données diverses, ils génèrent naturellement des résultats vers le "centre" de la distribution. Cela est généralement utile, mais une dépendance généralisée aux systèmes d'IA récursifs pourrait conduire à un processus que nous définissons comme "effondrement de la connaissance", et nous soutenons que cela pourrait nuire à l'innovation et à la richesse de la compréhension et de la culture humaine. Cependant, contrairement aux modèles d'IA qui ne peuvent pas choisir les données sur lesquelles ils sont entraînés, les humains peuvent stratégiquement rechercher des formes de connaissance diversifiées s'ils les jugent utiles. Pour examiner cela, nous proposons un modèle simple dans lequel une communauté d'apprenants ou d'innovateurs choisit d'utiliser des méthodes traditionnelles ou de s'appuyer sur un processus assisté par IA à prix réduit et identifions les conditions dans lesquelles l'effondrement de la connaissance se produit. Dans notre modèle par défaut, une réduction de 20 % sur le contenu généré par l'IA produit des croyances publiques 2,3 fois plus éloignées de la vérité que lorsqu'il n'y a pas de réduction. Une approche empirique pour mesurer la distribution des résultats des grands modèles de langage est fournie en termes théoriques et illustrée par un exemple spécifique comparant la diversité des résultats entre différents modèles et conception de prompts. Enfin, nous proposons d’autres axes de recherche pour contrecarrer les résultats néfastes.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
