Tsinghua KEG Lab et Zhipu AI ont lancé conjointement CogAgent, un modèle de compréhension d’images de grande taille

Tsinghua KEG Lab a récemment coopéré avec Zhipu AI pour lancer conjointement une nouvelle génération de CogAgent de grand modèle de compréhension d’images. Basé sur le CogVLM lancé précédemment, le modèle utilise des modalités visuelles au lieu du texte pour fournir une perception plus complète et plus directe de l’interface graphique par le biais d’un agent visuel de l’interface graphique pour la planification et la prise de décision. Il est rapporté que CogAgent peut accepter une entrée d’image haute résolution 1120×1120, avec une réponse visuelle aux questions, un positionnement visuel (mise à la terre), un agent GUI et d’autres capacités, dans 9 listes de compréhension d’images classiques (y compris VQAv2, STVQA, DocVQA, TextVQA, MM-VET, POPE, etc.) a atteint le premier résultat en capacité générale.