Прыкладна месяц я спрабаваў дацягнуць нашы прапрыетарныя мадэлі да мадэляў з адкрытымі вагамі.
Не па ўсёй кампаніі — толькі ў машынным аддзяленні. OwlMeans — гэта пайплайн распрацоўкі на аснове AI: ты апісваеш, чаго хочаш, у форме гісторый карыстальніка, а каманда спецыялізаваных роляў AI ператварае іх у паўнавартасны фулстэк-застасунак, які належыць табе. Пад капотам кожная з гэтых роляў выклікае моўную мадэль. Сёння гэта спалучэнне мадэляў Anthropic і OpenAI — Claude цягне асноўны воз, а OpenAI падключаны для пэўных роляў. Гэтай звязцы я давяраю. Яна ж мае і сваю цану.
Дык я зрабіў відавочны эксперымент. У мадэляў з адкрытымі вагамі быў вельмі гучны год — да сярэдзіны 2025-га лепшыя LLM з адкрытымі вагамі выходзілі з Кітая: GLM, Kimi, Qwen і DeepSeek на роўных секліся з прапрыетарным фронцірам у кадаванні. І каштуюць яны дробку ад той цаны. Калі б я мог гнаць свой пайплайн на адкрытых вагах без пагаршэння выніку, матэматыка была б неадольнай.
Месяц я ўбудоўваў іх, ганяў бенчмаркі і тонка наладжваў. Вось што адбылося насамрэч — уключаючы тую частку, якую я не чакаў і якая аказалася самай сутнасцю.
Стаўка: пайплайн павінен зрабіць мадэль узаемазаменнай
Вось што наогул прымусіла мяне думаць, што гэта спрацуе.
OwlMeans не падае мадэлі расплывісты запыт і не моліцца. Ён раскрышвае праект на вельмі дробныя, шчыльна абмежаваныя задачы, кожная з якіх бяжыць з вельмі малым кантэкстам — адна гісторыя карыстальніка, адзін фікс, змена аб’ёмам у адзін файл. Роля бізнес-аналітыка фармулюе працу, архітэктар яе праектуе, роля распрацоўніка рэалізуе адзін зрэз, а правільшчык наводзіць чысціню. Ніхто не просіць адну мадэль «пабудаваць застасунак». Яе просяць зрабіць адну невялікую, дакладна вызначаную рэч.
У гэтага дызайну ёсць ціхі пабочны эфект: чым меншая і дакладней апісаная задача, тым менш важны выбар мадэлі. Калі кантэкст крыхотны, а інструкцыя дакладная, амаль любая кампетэнтная мадэль прыходзіць прыкладна ў адно і тое ж месца. Менш прасторы бліснуць — і менш прасторы збочыць. Менавіта таму нашы выдаткі на токены застаюцца разумнымі — даследаванні агентных цыклаў прама кажуць, што кошт токенаў расце як квадрат кантэксту, які ты пераапладжваеш на кожным кроку, таму трымаць кожную задачу маленькай — гэта розніца паміж пасільным рахункам і тым, што пайшоў у разнос.
Дык гіпотэза мая была простая: калі пайплайн ужо ператварае задачу ў таварны мінімум, ён мусіць ператварыць у таварны мінімум і мадэль. Падмяні прапрыетарную мадэль на GLM — і застасунак, што выйдзе з другога канца, мусіць быць у асноўным тым самым застасункам.
У гэтым я ў асноўным меў рацыю. І гэта не мела значэння так, як я спадзяваўся.
Што зламалася першым: мадэлі, якія занадта думаюць
Шлях адкрытых ваг не быў гладкі.
Першай сцяной сталі «думаючыя» мадэлі. GLM, Kimi, Qwen — яны разважаюць па змаўчанні. Гучыць выдатна, пакуль ты не ставіш жорсткі ліміт на вывад, і мадэль не траціць увесь свой бюджэт на ціхае разважанне, а потым вяртае нічога. Пусты змест. Роля кодара спрацоўвае, мадэль дадумваецца роўна да токенавай столі і аддае пусты радок. Пайплайн давіцца неадказам.
Я ставіў effort: none. Гэта моўчкі ігнаравалася. Мадэль працягвала думаць.
Гэта не мая асабістая дзівацтва — гэта брудны сакрэт разважальных мадэляў у прадакшэне. Намаганне на разважанне, як трапна піша адзін добры разбор, — гэта ручка кошту, а не ручка якасці: пакруці яе ўгору — і атрымаеш патроены аб’ём думальных токенаў дзеля некалькіх пунктаў бенчмарка, а ў дадатак сюрпрызы ў рахунку і пустыя вывады, калі разважанне з’ядае месца, дзе мусіў жыць твой адказ. Выйсце было непрыгожым: жорсткі, абсалютны ліміт на токены разважання для кожнай ролі, наладжаны мадэль за мадэллю, каб думанне не магло замарыць голадам вывад. Кодарам — кароткі павадок на разважанне; ролям планавання — больш свабоды. Універсальнага налажэння няма. Кожная мадэль хацела сваё.
Другой сцяной стаў структураваны вывад. Мой пайплайн абапіраецца на тое, што мадэлі вяртаюць чысты, валідны па схеме JSON, каб наступная стадыя магла на ім дзейнічаць. Прапрыетарныя API цяпер у гэтым вельмі добрыя — строгі рэжым структураванага вываду ў OpenAI зніжае памылкі фармату ніжэй за 0.1%. Шмат якія мадэлі з адкрытымі вагамі, на шмат якіх правайдэрах, да гэтага не дацягваюць. Яны выдаюць пакалечаны JSON у адчувальнай долі адказаў, асабліва на доўгіх вывадах і ўкладзеных схемах. Дык я перастаў навязваць JSON хісткім мадэлям і дазволіў ім замест гэтага карыстацца выклікамі інструментаў, а яшчэ перапісаў апрацоўку зыходнікаў так, каб агент даставаў толькі рэлевантныя ўрыўкі і прыкладаў патч-дыфы, а не перапісваў цэлыя файлы. Меншы кантэкст, менш шанцаў зламаць фармат. Гэтая адна змена зрабіла для надзейнасці адкрытых ваг больш, чым любая падмена мадэлі.
Трэцяй сцяной сталі самі правайдэры. Адна і тая ж адкрытая мадэль паводзіць сябе па-рознаму ў залежнасці ад таго, хто яе хостзіць — хуткасць, надзейнасць, нават наогул тое, ці працуе структураваны вывад. Я праганяў іх процьму. Некаторыя былі выдатныя. Некаторыя правальвалі валідацыю схемы на кожным выкліку. Некаторыя ўсякалі вывад. Некаторыя проста не маглі абслужыць патрэбныя мне мадэлі. У выніку я павёў маршрутызацыю праз OpenRouter, які раскідвае кожную мадэль па шаснаццаці-дваццаці з лішкам базавых правайдэрах і пераключаецца паміж імі пры збоях — і абапёрся на яго варыянт :nitro, што сартуе правайдэраў па чыстай прапускной здольнасці, каб адваяваць хуткасць. Пад канец я мог пераключыць увесь пайплайн паміж прэсетам адкрытых ваг і прапрыетарным адным сцяжком і прагнаць адзін і той жа праект праз абодва.
Менавіта гэты пераключальнік нарэшце дазволіў мне параўнаць іх сумленна. І самае цікавае было ў параўнанні.
Нечаканасць: вывад быў у асноўным той самы
Я чакаў, што адкрытыя мадэлі будуць выдаваць прыкметна горшы код. Не выдалі.
Паколькі пайплайн дробіць усё на крыхотныя задачы, канчатковы вынік выйшаў амаль аднолькавы ва ўсіх мадэлях. Тая ж структура, тыя ж паводзіны, той самы застасунак. Адрозненні былі дробныя і амаль эстэтычныя — пераважна якасць CSS і зрэдку нейкая аздоба. Вось частка, якую я лічу па-сапраўднаму смешнай: больш прасунутыя мадэлі грашылі мацней. Дай фронцірнай мадэлі маленькую дакладную задачу — і яна пачынае творыць: дадае ў UI вензель, якога ніхто не прасіў, вырашае, што тваёй форме патрэбна анімацыя. Haiku проста робіць тое, што трэба. Чым разумнейшая мадэль, тым імавернейшая імправізацыя якраз тады, калі імправізацыя — гэта апошняе, чаго ты хочаш.
Дык пытанне якасці — тое, вакол якога ўсе б’юцца на бенчмаркавых рэйтынгах — у асноўным растала. І засталося мне глядзець на дзве восі, і толькі дзве: цана і хуткасць.
І я б сцвярджаў, што гэта сумленнае месца, дзе ўся гэтая галіна мусіць асесці. Нейтральныя дата-крамы ўжо раздзяляюць мадэлі роўна па гэтых лініях — інтэлект, хуткасць і цана як тры розныя слупкі — бо як толькі інтэлект «дастаткова добры» для задачы, з хуткасцю і цаной ты і жывеш насамрэч.
Дзе танныя мадэлі перастаюць быць таннымі
На паперы адкрытыя вагі выйграюць цану з разгромным лікам. Яны — дробка ад таго, што каштуе за токен прэсет з Anthropic і OpenAI. Гэта і ёсць уся прычына, навошта за гэта брацца.
Але цана за токен — гэта пастка, і я ўваліўся ў яе наўпрост.
З прапрыетарнага боку асноўную нагрузку нясуць мадэлі Anthropic — і Sonnet з Haiku робяць менш памылак, ды інферацца хутчэй, чым тое, што я атрымліваю праз OpenRouter, нават з уключаным Nitro. На адзін запыт розніца ў хуткасці не драматычная. Але яна назапашваецца. А памылкі — вось сапраўдны падатак: з прэсетам адкрытых ваг агенту даводзіцца спыняцца і нешта ладзіць часцей. Дрэнны вяртаны JSON тут, заблытаны дыф там, рэтрай, перапланаванне. Кожнае з гэтага — лішнія токены і лішні рэальны час.
Вось матэматыка, якую ніхто не выносіць на старонку з коштамі. Мадэль, што ўпяцёра танейшая за токен, але якой трэба рэтрайціся, на практыцы не ўпяцёра танейшая — 20% збояў на кроку прыкладна падвойвае твой рахунак за токены, а ў агентным цыкле гэтыя збоі назапашваюцца праз крокі. Уся галіна ціха пераадкрывае для сябе, што танейшыя токены нараджаюць большыя рахункі, бо рэтраі з’ядаюць эканомію жыўцом.
Менавіта гэта я і назіраў. Перавага па цане на лічыльніку перажоўвалася цыклам «спыніся і паладзь». А калі я склаў усё разам — больш павольную інферэнцыю, лішнія рэтраі, перапланаванне — рэальная розніца паміж маім прапрыетарным прэсетам і прэсетам адкрытых ваг выйшла каля 5 разоў. Не на бенчмарку. На сапраўднай працы, ад пачатку да канца.
Каб было ясна, чаго я не сцвярджаю: гэта не пра тое, што адкрытыя вагі дрэнныя. Гэта пра адкрытыя вагі, у маім пайплайне, сёння, на правайдэрах, якія я тэставаў, з той наладкай, якую я паспеў зрабіць. Што падводзіць мяне да часткі, у якой я найменш упэўнены.
Чаму я пакуль не давяраю ўласным лічбам
Вось нязручнае прызнанне. У мяне ёсць лічба 5x. Я ёй не цалкам давяраю — і думаю, што і ты не мусіш, — не таму, што яна няправільная, а з-за таго, як такія рэчы звычайна мераюць.
Эпоха бенчмаркаў ламаецца на вачах. Стандартныя бенчмаркі кадавання насычаныя і забруджаныя; увесь 2025 год галіна назірала, як табель перастае адлюстроўваць рэальную здольнасць. А лянівы скарот, па які ўсе цягнуцца — даць моцнай мадэлі ацаніць вывад — сам па сабе ненадзейны: LLM-як-суддзя паказвае вялікую, чулую да парадку варыятыўнасць на задачах кадавання. Прасіць адну фронцірную мадэль сказаць мне, ці добры код іншай мадэлі, — гэта не доказ. Гэта вайб з даверным інтэрвалам.
Дык мой наступны крок — не яшчэ адзін бенчмарк. Гэта паглядзець на сам код, што гэтыя мадэлі навайбкодзілі, уласнымі вачыма і па рэальных метрыках — ці збіраецца ён, ці праходзіць тэсты, ці прыдатны да суправаджэння, ці хацеў бы я яго мець. Цалкам магчыма, што GLM і Kimi выявяцца тымі, хто дае лепшы агульны вынік, калі я суджу па сапраўдным артэфакце, а не па сінтэтычным балу. Магчыма і тое, што адкрытыя мадэлі проста яшчэ не наладжаны як след — бюджэты разважання і тузін дробных ручак амаль напэўна патрабуюць наладкі пад кожную мадэль, а я толькі дакрануўся да гэтага. Маё сумленнае чаканне: у момант, калі ты сыходзіш з сінтэтычных бенчмаркаў і пачынаеш параўноўваць рэальныя вывады, уся карціна робіцца мутнейшай, а не чысцейшай.
Я буду капаць далей. Але месяц ужо навучыў мяне таму, што насамрэч мае значэнне, і гэта не мадэль.
Урок, што вартасней за вынік
Адыдзі на секунду ад рэйтынгу.
Усё, што зрабіла адкрытыя вагі прыдатнымі да працы ў маім пайплайне — ліміты разважання пад кожную мадэль, каб думанне не марыла голадам вывад; адкат на выклікі інструментаў для хісткага JSON; выманне ўрыўкаў і патч-дыфы, што сціскаюць кантэкст; пераключэнне правайдэраў пры збоях і маршрутызацыя па прапускной здольнасці; прызначэнне мадэляў пад кожную ролю — нічога з гэтага не мадэль. Гэта структура вакол мадэлі. Гэта месяц непрыгожай інжынерыі, што ляжыць паміж «танныя токены існуюць» і «ты адгрузіў працоўны софт».
Уласна, гэта і ёсць увесь прадукт. Кадавальны агент — гэта кадавальны агент, а не каманда распрацоўкі. Мадэль — тавар; яе можна падмяніць заўтра, і пасля гэтага месяца я магу дакладна сказаць табе, колькі насамрэч дае гэтая падмена. Каштоўнасцю ніколі не была мадэль. Каштоўнасць — гэта пайплайн, які прымушае любую мадэль вырабляць код, які ты можаш мець і суправаджаць — і які бярэ на сябе рэтраі, збоі фармату, наладку пад кожную мадэль, каб ты не плаціў за іх сваімі выходнымі.
Гэта тое самае абяцанне, якое OwlMeans дае кліентам, і я толькі што месяц даказваў яго сабе знутры: OwlMeans — гэта каманда вакол агента. Ты апісваеш свой прадукт у форме гісторый карыстальніка. Пайплайн раскладае яго, праганяе, ладзіць і аддае табе тыпізаванае манарэпа, якое тваё — код, які ты працягваеш развіваць з любым агентам, якім захочаш. Кошт прадказальны на адну гісторыю, бо менавіта пайплайн робіць яго прадказальным.
Ты можаш прапусціць мой месяц
Дык вось сумленная прапанова, і я зраблю яе так, як хацеў бы, каб зрабілі мне.
Калі ты вайбкодзіш сапраўдны прадукт, ты сутыкнешся роўна з гэтым пытаннем — якая мадэль, які правайдэр, як трымаць рахунак нізкім без таго, каб вывад развальваўся. Ты можаш зрабіць тое, што зрабіў я: патраціць тыдні на абвязку прэсетаў, выявіць, што effort: none — гэта хлусня, назіраць, як твае танныя токены выпараюцца ў рэтраі, і вызнаваць пад кожную мадэль, што там праўда насамрэч. Мне гэта было варта, бо будаваць гэты рухавік — гэта мая праца.
Гэта не твая праца.
Ты можаш дазволіць пайплайну, які ўжо адваяваў гэтую бітву, зрабіць яе за цябе — падабраць эканоміку мадэляў, праглынуць рэтраі, забяспечыць структуру і вярнуць табе ўласны, прыдатны да суправаджэння код з коштам, які ты можаш прадказаць на адну гісторыю. Вось прапанова. Я спаліў месяц і процьму токенаў, каб знайсці гэтыя 5x. Ты можаш проста ўзяць гатовы пайплайн.
Калі праблема ў тым, каб зэканоміць час і токены на вайбкодзінгу, — гэта самы танны месяц R&D, які табе ніколі не давядзецца праводзіць.
OwlMeans — гэта пайплайн распрацоўкі на аснове AI: апішы, чаго хочаш, у форме гісторый карыстальніка і атрымай фулстэк-застасункі, чат-боты, AI-агентаў і дата-пайплайны — тыпізаваныя, гатовыя да SSO і твае, каб развіваць іх далей з любым агентам. Паглядзі, на што ён здольны →