Тэгі: inference-speed

• 

  Я спрабаваў дацягнуць адкрытыя вагі да нашых мадэляў ад Anthropic і OpenAI. Пайплайн аказаўся важнейшым.

  Цэлы месяц я спрабаваў дацягнуць наш прапрыетарны прэсет — спалучэнне мадэляў Anthropic і OpenAI — да танных мадэляў з адкрытымі вагамі: GLM, Kimi, DeepSeek, Qwen. Канчатковы прадукт выйшаў амаль той самы, бо пайплайн дробіць працу на крыхотныя задачы. Чаго не выйшла аднолькавым — гэта цана і хуткасць, а танныя токены пастаянна з'ядаліся рэтраямі, пакідаючы рэальную розніцу ў 5 разоў.

  Чытаць далей →