Теги: inference-speed

• 

  Я спробував зрівняти наші моделі від Anthropic та OpenAI з open-weight. Виявилося, що важливіший пайплайн.

  Цілий місяць я намагався зрівняти наш пропрієтарний пресет — комбінацію моделей Anthropic та OpenAI — з дешевими open-weight: GLM, Kimi, DeepSeek, Qwen. Кінцевий продукт вийшов майже однаковим, бо пайплайн дробить роботу на крихітні задачі. Однаковими не вийшли ціна та швидкість — а дешеві токени постійно з'їдалися retry, лишаючи реальний розрив у 5 разів.

  Читати далі →