Themen: inference-speed

• 

  Ich wollte unsere Anthropic-und-OpenAI-Modelle durch Open Weights ersetzen. Wichtiger war die Pipeline.

  Einen Monat lang habe ich versucht, unser proprietäres Preset — eine Kombination aus Anthropic- und OpenAI-Modellen — durch günstige Open-Weight-Modelle zu ersetzen: GLM, Kimi, DeepSeek, Qwen. Das Endprodukt fiel nahezu gleich aus, weil die Pipeline die Arbeit in winzige Aufgaben zerlegt. Nicht gleich waren Preis und Geschwindigkeit — und die günstigen Token wurden von Retries aufgefressen, was am Ende eine reale 5-fache Lücke ließ.

  Weiterlesen →