ByteDance и Чжэцзянский университет совместно запустили Vista-LLaMA, мультимодальную большую языковую модель, которая может интерпретировать видеоконтент
Bit ByteDance в партнерстве с Чжэцзянским университетом запустила Vista-LLaMA, мультимодальную большую языковую модель, предназначенную для понимания видеоконтента и способную выводить высококачественные описания видео. Благодаря инновационной визуальной и вербальной обработке токенов, Vista-LLaMA решает проблему «галлюцинаций» в видеоконтенте.
Vista-LLaMA превосходно справляется с несколькими тестами вопросов и ответов с открытым видео, особенно в тестах NExT-QA и MSRVTT-QA. Он достиг точности 60,7% в тесте NExT-QA с нулевым выстрелом и 60,5% в тесте MSRVTT-QA, превзойдя все существующие методы SOTA. Эти результаты демонстрируют эффективность и точность Vista-LLaMA в понимании и формировании описания видеоконтента.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
ByteDance и Чжэцзянский университет совместно запустили Vista-LLaMA, мультимодальную большую языковую модель, которая может интерпретировать видеоконтент
Bit ByteDance в партнерстве с Чжэцзянским университетом запустила Vista-LLaMA, мультимодальную большую языковую модель, предназначенную для понимания видеоконтента и способную выводить высококачественные описания видео. Благодаря инновационной визуальной и вербальной обработке токенов, Vista-LLaMA решает проблему «галлюцинаций» в видеоконтенте.
Vista-LLaMA превосходно справляется с несколькими тестами вопросов и ответов с открытым видео, особенно в тестах NExT-QA и MSRVTT-QA. Он достиг точности 60,7% в тесте NExT-QA с нулевым выстрелом и 60,5% в тесте MSRVTT-QA, превзойдя все существующие методы SOTA. Эти результаты демонстрируют эффективность и точность Vista-LLaMA в понимании и формировании описания видеоконтента.