A 26 de fevereiro, a Jinshi Data soube que a Fourth Paradigm lançou a solução de inferência de ponta de grande modelo ModelHub AIoT, onde os utilizadores podem implantar facilmente modelos de destilação de pequeno porte, incluindo DeepSeek R1, Qwen 2.5, Série Llama 2/3, e realizar operações offline. Os utilizadores podem alternar flexivelmente entre vários modelos, equilibrando a compressão e o desempenho da inferência, e resolvendo a complexidade da implantação e otimização. A empresa afirmou que esta solução não só consegue satisfazer as necessidades dos utilizadores em termos de privacidade e tempo real, mas também reduz significativamente os custos de inferência de grandes modelos de IA.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
A Fourth Paradigm lança a solução de ponta de inferência de modelos de grande escala ModelHub AIoT
A 26 de fevereiro, a Jinshi Data soube que a Fourth Paradigm lançou a solução de inferência de ponta de grande modelo ModelHub AIoT, onde os utilizadores podem implantar facilmente modelos de destilação de pequeno porte, incluindo DeepSeek R1, Qwen 2.5, Série Llama 2/3, e realizar operações offline. Os utilizadores podem alternar flexivelmente entre vários modelos, equilibrando a compressão e o desempenho da inferência, e resolvendo a complexidade da implantação e otimização. A empresa afirmou que esta solução não só consegue satisfazer as necessidades dos utilizadores em termos de privacidade e tempo real, mas também reduz significativamente os custos de inferência de grandes modelos de IA.