Datos de Jinshi el 26 de febrero, Fourth Paradigm (06682.HK) lanzó hoy la solución integrada de inferencia de modelos grandes SageOneIA, que reduce aún más el costo de la inferencia de modelos grandes. Por ejemplo, la versión Full Blood de DeepSeekV3/R1 solo requiere dos máquinas integradas para su uso. Además, la solución integrada también incorpora la tecnología inteligente de pooling de Potencia computacional, lo que permite a las empresas cambiar de forma flexible entre la versión Full Blood y varios modelos de destilación, mejorando la utilización de GPU en más del 30% y aumentando el rendimiento de inferencia en un promedio de 5-10 veces en base a modelos grandes como DeepSeekV3/R1, QWen2.5, LLama3.3, entre otros.
Ver originales
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Cuarta paradigma lanza la solución integrada de modelo grande de inferencia SageOne IA
Datos de Jinshi el 26 de febrero, Fourth Paradigm (06682.HK) lanzó hoy la solución integrada de inferencia de modelos grandes SageOneIA, que reduce aún más el costo de la inferencia de modelos grandes. Por ejemplo, la versión Full Blood de DeepSeekV3/R1 solo requiere dos máquinas integradas para su uso. Además, la solución integrada también incorpora la tecnología inteligente de pooling de Potencia computacional, lo que permite a las empresas cambiar de forma flexible entre la versión Full Blood y varios modelos de destilación, mejorando la utilización de GPU en más del 30% y aumentando el rendimiento de inferencia en un promedio de 5-10 veces en base a modelos grandes como DeepSeekV3/R1, QWen2.5, LLama3.3, entre otros.