Теги: inference-speed

• 

  Я попробовал заменить наши модели Anthropic и OpenAI на open-weight. Важнее оказалась не модель, а пайплайн.

  Целый месяц я пытался заменить наш проприетарный пресет — связку моделей Anthropic и OpenAI — на дешёвые open-weight: GLM, Kimi, DeepSeek, Qwen. Итоговый продукт получился почти таким же, потому что пайплайн дробит работу на крошечные задачи. А вот что не совпало — это цена и скорость, и дешёвые токены постоянно сгорали на retry, оставляя реальный разрыв в 5x.

  Читать далее →