Tagi: inference-speed

• 

  Próbowałem dorównać naszym modelom od Anthropic i OpenAI modelami open-weight. Pipeline okazał się ważniejszy.

  Przez miesiąc próbowałem dorównać naszemu firmowemu presetowi — kombinacji modeli Anthropic i OpenAI — tanimi modelami open-weight: GLM, Kimi, DeepSeek, Qwen. Produkt końcowy wyszedł niemal taki sam, bo pipeline rozbija pracę na drobne zadania. Tym, co się nie zgadzało, była cena i szybkość — a tanie tokeny wciąż pożerały retry, zostawiając realną, pięciokrotną różnicę.

  Czytaj dalej →