Tag: inference-speed
-
Notatnik założycielaPrzez miesiąc próbowałem wymienić modele, które piszą nasz kod
Przez miesiąc testowałem w naszym pipelinie wytwarzania oprogramowania modele z otwartymi wagami. Limity rozumowania, formaty odpowiedzi i zachowanie dostawców sprawiły, że zmiana kosztowała więcej pracy, niż się spodziewałem. To notatki z czerwca, bez benchmarku kosztów.
Zaktualizowano
Czytaj dalej →