Mots-clés: inference-speed

• 

  J'ai voulu faire aussi bien que nos modèles Anthropic et OpenAI avec de l'open-weight. Le pipeline a compté davantage.

  Pendant un mois, j'ai essayé de faire aussi bien que notre preset propriétaire, qui combine des modèles Anthropic et OpenAI, avec des modèles open-weight bon marché : GLM, Kimi, DeepSeek, Qwen. Le produit final était presque identique, car le pipeline découpe le travail en toutes petites tâches. Pour le prix et la vitesse, en revanche, rien à voir : les relances dévoraient les tokens bon marché, et l'écart réel a fini autour d'un facteur 5.

  Lire la suite →