L’Université de Stanford a publié un modèle basé sur l’IA « indicateur de transparence », Llama 2 en tête mais « échoue » avec 54%

Selon IT House rapporté le 20 octobre, l’Université de Stanford a récemment publié le modèle de base de l’IA « indicateur de transparence », dont l’indicateur le plus élevé est Lama 2 de Meta, mais la « transparence » pertinente n’est que de 54%, de sorte que les chercheurs estiment que presque tous les modèles d’IA sur le marché « manquent de transparence ».

Il est rapporté que la recherche a été dirigée par Rishi Bommasani, chef du Centre de recherche sur les modèles de base HAI (CRFM), et a étudié les 10 modèles de base les plus populaires à l’étranger. Rishi Bommasani estime que le « manque de transparence » a toujours été un problème auquel l’industrie de l’IA est confrontée, et en ce qui concerne les « indicateurs de transparence » spécifiques du modèle, IT House a constaté que le contenu d’évaluation pertinent tourne principalement autour du « droit d’auteur de l’ensemble de données d’entraînement du modèle », des « ressources informatiques utilisées pour entraîner le modèle », de la « crédibilité du contenu généré par le modèle », de la « capacité du modèle lui-même », du « risque que le modèle soit incité à générer du contenu préjudiciable », de la « vie privée des utilisateurs utilisant le modèle », etc., soit un total de 100 éléments.

L’enquête finale a montré que Lama 2 de Meta était en tête avec 54 % de transparence, tandis que la transparence GPT-4 d’OpenAI n’était que de 48 % et que PaLM 2 de Google se classait cinquième avec 40 %.