LLM шлюзының TCO-сын нөлдік үстеме шешпейді

Токенге нөлдік үстеме делдал модельдің жария мөлшерлемесіне қанша қосқанын ғана көрсетеді. Ол тікелей корпоративтік келісімдегі жеңілдік, резервтелген қуат бағасы, валюта айырмасының шығыны, қолдау немесе инженерлердің жұмыс сағаты туралы ештеңе айтпайды. Сондықтан үстемесіз шлюз тікелей келісімшарттан қымбат болуы мүмкін, ал жеңілдігі бар келісімшарт пайдаланудың алғашқы тоқсанынан кейін шлюзден ұтылуы ықтимал.

Бірдей көлем, сапа және қызмет деңгейін беретін екі жұмыс архитектурасының толық құнын салыстыру керек. Айырмашылық бірнеше жүктеме сценарийінде және команданың еңбегін есептегеннен кейін де сақталса ғана нұсқаны арзан деп санаймын. Мұндай есепсіз прайс-парақ шығынның тым тар бөлігіне ғана дәл сан береді.

Нөлдік үстеме ең төмен бағаны білдірмейді

Үстемесіз шлюз мөлшерлемесі әдетте жеткізушінің кіріс және шығыс токендеріне қойған негізгі бағасын қайталайды. Егер тікелей келісім компанияға d жеңілдігін берсе, тұтыну деңгейінің өзінде шлюз сол жеңілдік мөлшеріне қымбат: жеткізушінің айлық шоты 10 млн теңге, ал жеңілдік 12% болса, басқа шығындарды қоспай-ақ айырма 1,2 млн теңге болады. Бұл шлюздің жасырын комиссиясы емес. Бұл компания тікелей келісімнен бас тартқанда жоғалтатын шарт.

Жеңілдік өздігінен әрекет етпейді. Жеткізуші оны жылдық көлемге, алдын ала төлемге, таңдалған өңірге, белгілі бір модельдер тобына немесе бұлтқа жұмсалатын жалпы сомаға байланыстыруы мүмкін. Қаржы тобы уәде етілген пайызды емес, нақты шоттағы тиімді мөлшерлемені есептеуі керек: кезең ішіндегі жеткізушіге төленген барлық соманы өңделген кіріс, кэштелген кіріс және шығыс токендеріне бөліңіз, олардың бағасы әртүрлі екенін ескеріңіз.

Бір Excel бағанында жиі жоғалып кететін маңызды айырма бар. Тұтынуға берілген жеңілдік орындалған сұраудың бағасын төмендетеді. Қуат резерві қолданба пайдаланбаса да қолжетімді өткізу қабілетін сатып алады. Бірінші жағдайда қауіп трафик өскенде туады, екіншісінде компания қате болжам үшін төлейді. Екі тетікті де «жеңілдік» деп біріктіру қауіпті: толық пайдаланылмаған резерв тартымды келісімдік мөлшерлемені бюджеттегі ең қымбат жолға оңай айналдырады.

Коммерциялық ұсыныстан төрт санды тексеріңіз: ауыспалы тұтынуға берілетін жеңілдік, ең төмен төлем, міндеттеме мерзімі және шектен асқан көлемді төлеу ережесі. Сатушы тек пайызды көрсетсе, ұсынысты шлюзбен салыстыруға әлі болмайды.

Нәтижесі бірдей екі архитектураны салыстырыңыз

Дұрыс салыстыру бірдей модель атауынан емес, бизнес үшін бірдей нәтижеден басталады. Екі архитектура да сұраулардың қажет шегіне төтеп беруі, қолайлы кідіріс беруі, деректі рұқсат етілген юрисдикцияда сақтауы, керек аудит ізін қалдыруы және мәселені жоғары деңгейге жеткізетін жұмыс жолын ұсынуы тиіс. Міндетті шарттың біреуін орындамайтын арзан сызба балама емес.

Бір айға арналған негізгі жүктеме бейінін бекітіңіз. Кіріс токендері, кэштелген кіріс токендері бөлек, шығыс токендері, сұраулар саны, минутына шаққандағы ең жоғары токен саны, пакеттік өңдеу үлесі және модельдер бойынша бөлініс керек. Шекті мәні жоқ орташа көлем жеткіліксіз, өйткені резервтелген қуат, квота және ауысуға арналған қор дәл сол шекке тәуелді.

Содан кейін екі контурды сипаттаңыз. Тікелей нұсқада әр жеткізушіні, бөлек келісімшартты, өңірді, биллингті, SDK немесе адаптерді, резервтік бағытты және интеграция иесін жазыңыз. Шлюз нұсқасында модель тарифтерін, жергілікті бақылау құралдарын, шот валютасын, кілт бойынша шектеулерді және жеткізуші істен шыққандағы әрекетті көрсетіңіз. Бір контурдың мүмкіндігін екіншісіне автоматты түрде көшірмеңіз. Мысалы, каталогта екінші модельдің болуы автоматты ауысуды дәлелдемейді, ал корпоративтік келісім қолданба кодына көмек берілетінін білдірмейді.

Салыстыру бірлігін де алдын ала таңдаңыз. Тұрақты сервис үшін жіберілген миллион сұраудың емес, сәтті әрі пайдалы миллион жауаптың құнын есептеген дұрыс. 429 жауабынан кейінгі қайталау, тайм-аут, бос жауап және тексеруден өтпеген нәтиже токен мен еңбекті жұмсайды, бірақ пайдалы жауап бермейді. Модель сапасы әртүрлі болса, өз evaluation жинағыңыздағы белгіленген межеге жету құнын қосыңыз. Қайта шақыруы көп арзан модельдің токені арзан болғанымен, қорытынды шығынды өсіруі мүмкін.

Есеп кезеңі ең ұзақ міндеттемеге сәйкес болуы керек. Жылдық келісімшартты бір аймен салыстыру жаңылыстырады: маусымдық төмендеу, іске қосудың кешігуі және модель ауыстыру жылдық кестеде ғана көрінеді. Әдетте 12 айды ай сайын есептеп, күтілетін, төмен және жоғары трафикті бөлек көрсетемін.

Корпоративтік жеңілдіктің кіру және шығу құны бар

Компания уәде етілген көлемді шынымен пайдаланса және жеңілдікті қажет модельдерге қолдана алса, тікелей келісім ұтады. Ең төмен міндеттеме пайдаланылмаған қалдықты шығынға айналдырса, ол ұтылады. Формула қарапайым: тиімді жеңілдік бірден барлық міндетті төлемнің сол нақты тұтынуды жария мөлшерлемемен алғандағы құнына қатынасын шегеруге тең. Міндетті төлем нақты трафиктің жария құнынан жоғары болса, «жеңілдік» теріс мәнге айналады.

Нақты мөлшерлемелер өзгеріп отырса да, жеткізушілердің құжаттамасы тетікті жақсы түсіндіреді. OpenAI Scale Tier белгілі бір модель нұсқасына арналған кіріс және шығыс өткізу қабілетінің алдын ала белгіленген бірліктерін ең төмен сатып алу мерзімімен сатады. Amazon Bedrock Provisioned Throughput Model Units үшін сағат сайын ақы алады, ал ұзақ міндеттемеде мөлшерлемені төмендетеді; ресурс жойылғанға дейін биллинг жалғасады. Microsoft Foundry өңделген токен санына қарамастан іске қосылған PTU үшін ақы есептейді және резервті сатып алмай тұрып орналастыруды жасауды бөлек ескертеді. Google Cloud Provisioned Throughput қызметін мерзім ортасында тоқтатуға болмайтын міндеттеме деп сипаттайды. Ортақ қорытынды қарапайым, бірақ пайдалы: резервті жеңілдік көлемімен емес, пайдалану деңгейімен бағалаңыз.

Тікелей келісімшарттың шығу құны да бар. Қолданба міндеттеме біткенге дейін модельді ауыстыруы, өнім жоспарланған трафикке жетпеуі немесе қауіпсіздік қызметі таңдалған өңірге тыйым салуы мүмкін. Мәселе туғанша пайдаланылмаған міндеттемені нөл деп санамай, оның күтілетін құнын TCO-ға енгізіңіз. Сценарийлік есеп үшін қалған міндетті төлемді команда бюджетке келіскен мерзімінен бұрын шығу ықтималдығына көбейту жеткілікті.

Токен жеңілдігі мен резерв жеңілдігін тәуелсіз екі пайыз ретінде қоспаңыз. Резерв қандай сұрауларды қамтитынын, артық көлем қалай төленетінін, оған жалпы бұлт жеңілдігі жүретінін және міндеттемені модельдер арасында көшіруге болатынын анықтаңыз. Шарттарды келісімшартқа сүйеніп формуламен жазу мүмкін болмаса, жеткізушіден 60%, 90% және 120% пайдалану кезіндегі шот үлгісін сұраңыз.

Валюта мен есеп айырысу тиімді мөлшерлемені өзгертеді

Валюта шығыны төлем күніндегі бағаммен шектелмейді. Компания банктің сатып алу мен сату бағамы арасындағы айырманы, халықаралық аударым комиссиясын, карта немесе эквайринг ақысын, айырбастау құнын және жабу құжаттарын салыстыруға кеткен еңбекті төлейді. Үлкен шотта шағын бағам айырмасы токенді үнемдеуге арналған бірнеше инженерлік оңтайландырудан да маңызды болуы мүмкін.

Басқару бюджеті жүргізілетін валютада есептеңіз, Қазақстанда бұл әдетте теңге. Әр айға ресми анықтамалық бағамды емес, комиссияларымен бірге нақты есептен шығарылған бағамды қолданыңыз. Тікелей жеткізуші шотты доллармен, ал шлюз B2B-инвойсты теңгемен берсе, айырманы банк көшірмесі және бухгалтер жұмсаған уақыт бойынша бағалаңыз. Теңгедегі болжамды шот жалпы соманың аз болуына кепілдік бермейді, бірақ құбылудың және әкімшілік жұмыстың бір бөлігін жояды.

Жылдық модельде үш валюталық сценарий болғаны дұрыс. Негізгі сценарий бюджет бағамын қолданады, стресс сценарийі теңгенің әлсіреуін, кері сценарий оның нығаюын көрсетеді. Дәл болжам жасап отырғандай көрінудің қажеті жоқ. Мақсат - жеңімпаз қай бағамда ауысатынын көру. Валюталық шекті баламаның теңгедегі толық құнын тікелей контурдың долларлық төлеміне бөлу арқылы есептеңіз, бірақ алдымен жергілікті тұрақты шығындарды қосыңыз.

Салық пен оны есепке алу тәртібін басқа біреудің үлгісінен көшірмей, қаржы маманымен келісіңіз. ҚҚС, ұсталым, кіріс салығын есепке жатқызу және импортталған қызметті тану келісім мен компания мәртебесіне байланысты. TCO-да қолжетімді есепке жатқызудан кейін нақты компанияның шығыны болып қалатын сома тұруы керек. Әйтпесе салықтық жағдайы әртүрлі екі команда шынайы дерекпен екі түрлі жауап алады.

Соңында төлем мерзімінің құнын бағалаңыз. Кейін төленетін инвойс айналым қаражатын сақтайды, алдын ала төлем оны тоқтатып қояды, ал міндетті депозит тұрақты қалдық жасайды. Көп командада бұл бап токен мен еңбек шығынынан аз, бірақ ірі жылдық міндеттемеде оны ескертпеге жасыруға болмайды.

Бөлек интеграциялар жеңілдікті білдіртпей жояды

API көлемі орташа болғанда дауды көбіне команда еңбегі шешеді. Бір жеткізушімен тікелей келісім аз жұмыс талап етуі мүмкін. Үш жеткізушіден тұратын портфель әртүрлі аутентификация сызбаларын, қате пішімдерін, жылдамдық шектеулерін, ағындық беруді, tool calling ерекшеліктерін, модель нұсқаларын, пайдалану метрикаларын және қол жеткізу рәсімдерін қосады. OpenAI-үйлесімді интерфейс код өзгерісін азайтады, бірақ эндпоинт үйлесімділігі квотаны, қате мағынасын және пайдалануды бірдей етпейді.

Интеграцияны «API қосу» деген бір тапсырмамен бағаламаңыз. Еңбекті бастапқы әзірлеу және ай сайынғы пайдалану деп бөліңіз. Біріншісіне келісім мен қауіпсіздікті тексеру, желіге қол жеткізу, құпияларды басқару, адаптер, сынақтар, бақылау, жүктеме сынағы, құжаттама және іске қосу кіреді. Екіншісіне SDK жаңарту, модель көшіру, шотты талдау, квота сұрау, оқиғаларды өңдеу, кілттерді қайта қарау және резервтік бағытты ұстау кіреді.

Бір сағаттың құны жалақыны жұмыс сағатына бөлген сан емес, толық ішкі мөлшерлеме болуы керек. Қаржы бөлімі әдетте жұмыс беруші салығын, жеңілдіктерді, жабдықты, басқаруды және үстеме шығынды қосады. Мұндай мөлшерлеме болмаса, команда келіскен сағат құнын қолданып, оны бөлек болжам ретінде көрсетіңіз. Сонда мөлшерлеме туралы дау бүкіл модельді бұзбайды.

Ең жиі кездесетін қате былай көрінеді. Архитектор тікелей интеграцияға 80 сағат жоспарлайды, команда іске қосуға шамамен сонша уақыт жұмсайды да, бәрі бағалауды дәл деп қабылдайды. Үш айдан кейін жеткізуші модельдің жаңа нұсқасын шығарады, құрылымдалған жауап пішімі басқаша жұмыс істейді, квота таңғы шекке шыдамайды, ал қаржы бөлімі жоба тегтерін шотпен салыстыра алмайды. Бұл сағаттар платформа тобының жалпы кезегіне түсіп, TCO-дан жоғалады. Қағаз жүзінде тікелей келісім жеңілдікті сақтады. Компания бюджетінде оны пайдалану жұмысы жеп қойды.

Нұсқалар арасындағы еңбек айырмасын ғана есептеңіз. Екі контурға да evaluation, промпт бақылауы және қолданбаны қадағалау керек. Шлюзге бүкіл LLM-команданы үнемдеді деп жазуға болмайды, ал тікелей нұсқаға шлюз келісілген контурда беретін функцияларды тегін қосуға болмайды.

Қолдаудың бағасын іркіліс анықтайды

Қолдау пакеттерін тариф атауымен емес, ақау кезіндегі нәтижемен салыстырыңыз. Байланыс арнасын, жұмыс уақытын, алғашқы жауаптың мақсатты мерзімін, жауапкершілік шекарасын, жоғары деңгейге жеткізу тәртібін және қолданба мен модель арасындағы мәселені кім көретінін анықтаңыз. Техникалық эскалация жасай алмайтын жеке менеджер оқиғаны сирек қысқартады.

Алдымен қызмет нашарлаған бір сағаттың құнын есептеңіз. Сыртқы өнім үшін бұл жоғалған маржа, клиентке өтемақы және қолдау еңбегі. Ішкі көмекші үшін зардап шеккен қызметкерлер санын, жоғалған уақытты және қолмен орындалатын процестің бағасын алыңыз. Содан кейін әр нұсқа қанша іркіліс сағатын болдырмайтынын немесе қысқартатынын бағалаңыз. Бұл уәде етілген нүкте емес, аралық мән, сондықтан модельде кемінде ең жақсы және ең нашар жағдай болуы керек.

Бір бақылау нүктесі мен бірнеше модельге қол жеткізу қалпына келуді шынымен қысқартса, шлюз экономикалық пайда береді. Ашық диагностикасы немесе келісімдік жауапкершілігі жоқ тағы бір буынға айналса, ол қосымша қауіп тудырады. Жеткізуші стектің көп бөлігіне жауап беріп, командада шұғыл техникалық эскалация жолы келісілсе, тікелей келісім пайдалы. Ақау ешкім көптен сынамаған басқа API-ге қолмен көшуді талап етсе, оның пайдасы азаяды.

SLA-ны ықтимал залалдың толық құнымен ақшаға айналдыруға да болмайды. Сервистік кредит әдетте келісім шарттарымен шектеледі және жоғалған кірісті қайтармайды. Негізгі есепке күтілетін операциялық залалды және қауіпті азайту шараларының бағасын қосыңыз. Компания кредитті шынымен ала алатын жағдайда ғана оны бөлек көрсетіңіз.

Тексеру іс жүзінде жасалады: ауысу жаттығуын өткізіп, анықтау, шешім қабылдау және қалпына келу уақытын өлшеңіз, содан кейін контурлар арасындағы айырманы бір сағаттың құнына көбейтіңіз. Мұндай жаттығусыз қолдау туралы әңгіме түнде сервисті қалпына келтіріп көрмеген адамдардың пікірі болып қалады.

Жұмыс TCO кестесі өтелу нүктесін көрсетеді

Модель қаржы серіктесі әр жолды тексере алатындай қарапайым, ал инженер еңбекті түсініктемеге жасыра алмайтындай толық болуы керек. Әр айға бір жол, әр шығын бабына бір баған жасаңыз. Мына тақырып жолын CSV файлына немесе электрондық кестеге қоюға болады:

month,direct_list_usage,direct_discount,direct_commitment_floor,direct_unused_commitment,direct_support,direct_fx_fees,direct_labor_hours,gateway_usage,gateway_fixed_fees,gateway_support,gateway_fx_fees,gateway_labor_hours,internal_hour_rate,direct_total,gateway_total

Тікелей контур үшін direct_usage_net = max(direct_list_usage * (1 - direct_discount), direct_commitment_floor) формуласын қолданыңыз. Ең төмен сома max арқылы ескерілсе, direct_unused_commitment мәнін екінші рет қоспаңыз; бұл баған пайдалы тұтынусыз қалған төлем үлесін көрсету үшін керек. Тікелей нұсқаның қорытындысы таза тұтынуға қолдау, валюта айырмасы, қосымша еңбек сағаты және күтілетін іркіліс бағасын қосуға тең. Шлюз үшін де сол мағыналық формуланы қолданыңыз, бірақ еңбек пен қауіпті нөл деп ойдан шығармаңыз.

Көлем бойынша өтелу нүктесіне арналған бір әмбебап формула жоқ, өйткені міндеттемелер сатылы өзгеріс жасайды. Болжамның 50%-ынан 150%-ына дейінгі көлемді 10% қадаммен есептеп, gateway_total - direct_total таңбасы өзгеретін алғашқы аралықты табыңыз. Содан кейін кіші қадаммен нақтылаңыз. Нәтиженің жанына резервті пайдалану деңгейін, белсенді жеткізушілер санын және жұмыс сағатын көрсетіңіз: кестені оқыған адам сызықтардың неге қиылысқанын түсінуі керек.

Бақылау теңдіктерін қосыңыз. Айлық қорытындылар қосындысы жылдық қорытындыға тең болуы, шоттағы токен көлемі рұқсат етілген айырмамен телеметрияға сәйкес келуі, жеңілдік келісімшарт алып тастаған шығынға қолданылмауы, ал сағат теріс болмауы тиіс. Кіріс болжамдары мен нақты деректі бөлек белгілеңіз. Коммерциялық ұсыныс, болжам және факт бірдей көрінетін кесте сандардың қайдан шыққаны туралы дауға міндетті түрде әкеледі.

Шешімді аралық мәндер бойынша қабылдаған дұрыс. Тікелей келісімшарт тек оңтайлы жоспар дәл орындалғанда арзан болса, жеңімпаз әлі анықталған жоқ. Төмен, негізгі және жоғары трафикте, тіпті қосымша сағат екі есе артқанда да ұтса, экономикалық белгі анық.

Кэштеуді де бірдей негізге келтіріңіз. Бір контур кэштелген кіріс токеніне бөлек мөлшерлеме қояды, ал екіншісі қажет кэш идентификаторын бермеуі немесе оның сақтау уақытын шектеуі мүмкін. Бірдей промпттардағы нақты сәтті түсу үлесін салыстырыңыз. Прайс-парақтағы ең жақсы теориялық кэш бағасын бүкіл кіріске қолдануға болмайды. Қолданба жүйелік промптты, құралдарды немесе хабарлар ретін жиі өзгертсе, сұраулардың едәуір бөлігі кэшке түспейді.

Сәтсіз трафикті бөлек жолда ұстаңыз. Ағын үзілгенде, сұрау тоқтатылғанда немесе қатеден кейін шақыру қайталанғанда жеткізушілер токенді әртүрлі есептеуі мүмкін, ал клиенттік кітапханалар сұрауды автоматты түрде қайталайды. Телеметриядан қолданба қабылдаған бір жауапқа неше әрекет кеткенін алып, әр бағытқа қолданыңыз. Бірнеше пайыз айырма үлкен көлемде байқалады, бірақ оны алдын ала ойдан шығаруға болмайды. Жүктеме сынағына дейін бірдей болжам қойып, белгісіз деп белгілеңіз.

Модельдер қоспасын токеннің орташа бағасына айналдырмай, бөлек жолдармен жазыңыз. Кіріс пен шығыстың бағасы әртүрлі, шығыс үлесі тапсырмаға қарай өзгереді, ал жеңілдік бүкіл каталогқа жүрмеуі мүмкін. Жіктеу, құжат жасау және дауыстық сценарий үшін бөлек бейін керек. Команда модельді ауыстырғанда, белгіленген сапа шегінен өткен трафикті ғана көшіріңіз. Әйтпесе үнем өнім сапасын төмендетуден пайда болады да, салыстыру мағынасын жоғалтады.

Соңында бастапқы дерек иелерін тағайындаңыз. Қаржы бөлімі бағамды, комиссияны және міндеттемені, платформа тобы сағат пен оқиғаны, өнім тобы болжам мен нашарлау құнын, ML-команда модельдер қоспасы мен evaluation нәтижесін растайды. Ортақ кестенің пайдасы - әр болжамға жауапты адам мен тексеру күні бекітіледі.

Мысалда үнемнің қайда жоғалатыны көрінеді

Қазіргі тарифтерге байланбай тетікті тексеру үшін ойдан шығарылған команданы қарастырайық. Оның айлық тұтынуының жария құны 40 млн теңге. Тікелей жеткізуші айына кемінде 34 млн теңге төлеу және бір жылдық міндеттеме шартымен 15% жеңілдік ұсынады. Шлюз сол жария мөлшерлемені үстемесіз қояды. Салыстырудың алғашқы жолында тікелей нұсқа 34 млн, шлюз 40 млн теңге тұрады, сондықтан келісімшарт 6 млн теңге үнемдейді.

Енді қосымша шығындарды енгізейік. Тікелей контурды іске қосуға 140 сағат, шлюзге 40 сағат керек; ішкі мөлшерлеме 25 000 теңге болса, бір реттік айырма 2,5 млн теңге. Пайдалану кезінде бөлек квота, шот және адаптерлерге байланысты тікелей нұсқа айына 32 сағат артық талап етеді, яғни 800 000 теңге. Тікелей жеткізушінің қолдауы айына тағы 700 000 теңге қымбат, ал валюталық комиссия мен бағам айырмасы 450 000 теңге қосады делік. Бірінші айда тікелей келісімнің артықшылығы 1,55 млн теңгеге дейін азаяды: 6 - 2.5 - 0.8 - 0.7 - 0.45.

Екінші айдан бастап бір реттік әзірлеу шығыны жоғалады, ал трафик сол қалпында болса, тікелей келісім 4,05 млн теңге үнемдейді. Тұрақты жүктемеде ол анық ұтады. Бірақ тұтынудың жария құны 26 млн теңгеге түссе, ең төмен төлем тікелей токен бағасын 34 млн деңгейінде қалдырады, ал шлюз 26 млн-ға түседі. Еңбек пен қолдауды қоспай-ақ тікелей нұсқа сол айда 8 млн теңге ұтылады.

Кері стресс жағдайы да бар. Тұтыну жария мөлшерлемемен 60 млн теңгеге өссе, келісім барлық көлемге жеңілдік қолданып, артық көлемге бөлек мөлшерлеме қоймаған жағдайда тікелей төлем 51 млн теңге болады. Валюта мен қосымша сағаттар 9 млн айырманы сирек жояды. Бірақ трафиктің бір бөлігі жеңілдікке кірмейтін модельге ауысса немесе резерв өткізу қабілетін шектеп, артық көлем басқаша төленсе, бұл қорытынды өзгереді.

Мысал екі нәрсені көрсетеді. Сұраныс төмендегендегі ұтылысты ең төмен міндеттеме, ал ең төмен сомадан жоғарыдағы ұтысты жеңілдік пайызы анықтайды. Сондықтан сатып алу тобы болжамның бір нүктесін емес, айлық бөліністі және модель ауысуына сезімталдықты сұрауы керек.

Тікелей келісімшарт шоғырланған әрі болжамды жүктемеде ұтады

Трафиктің үлкен үлесі бір жеткізушіде тұрақты қалса, компания ең төмен міндеттемені толық пайдаланса және корпоративтік жеңілдік қосымша пайдалану шығынынан жоғары болса, тікелей келісім әдетте арзанырақ. Көлем көбейіп, интеграция саны азайған сайын келісімдік және инженерлік жұмысты өтеу оңай. Күшті бұлт командасы бар компанияда да есеп тікелей жолға қарай ығысады, өйткені сәйкестендіру, желі, биллинг және қолдау оның процестеріне кіріктірілген.

Ақшалай емес себептерді де ақшаға немесе шектеуге айналдыру керек. Тікелей сатып алу қажет қуат резервін, белгілі бір өңірді, келісілген дерек өңдеу шарттарын немесе жеткізушінің техникалық тобына шығу жолын бере алады. Осылардың біреуінсіз өнім талаптан өтпесе, шлюзді басқа модельдер үшін қалдыруға болады, бірақ ол негізгі келісімшартты алмастырмайды.

Үш жағдайда тек жеңілдік үшін үлкен міндеттемеге қол қоймас едім: өнім әлі тұрақты қолдану сценарийін іздеп жүрсе, команда evaluation нәтижесіне қарай үздік модельді жиі ауыстырса және болжам маусымдық өзгеріссіз орташа трафикке құрылса. «Бағаны алдын ала бекітіңіз» деген танымал кеңес жетілген жүктеме үшін қисынды. Жаңа LLM өнімі үшін ол көбіне бағаны емес, модель мен көлем туралы қате болжамды бекітеді.

Қол қоймас бұрын жеңілдікті модельдер арасында көшіру мүмкіндігін, артық көлем бағасын, модель тоқтатылғандағы міндеттеме жағдайын, өңірді ауыстыру құқығын және келісімді бұзу шарттарын тексеріңіз. Содан кейін іске қосу бір тоқсанға кешігетін TCO есебін жүргізіңіз. Бір тоқсаннан экономика бұзылса, мәміленің қателікке арналған қоры тым аз.

Шлюз икемділікте ұтады, аралас нұсқа жиі екі шектен де арзан

Трафик бөлшектенген, модельдер тез ауысатын, әр жеткізушідегі көлем аз және платформа тобының уақыты қымбат кезде шлюз жиі ұтады. Нөлдік үстеме пайдалы, бірақ негізгі үнем интеграцияны, есеп айырысуды және бақылау құралдарын біріктіруден туады. Бұл үнемді өнім сипаттамасынан қабылдамай, сағат және шотпен растау керек.

Қазақстандағы командалар үшін AI Router 500+ модельге бағыттарды бір OpenAI-үйлесімді эндпоинтке жинайды, ай сайын теңгемен B2B-инвойс береді және API-ды жеткізуші мөлшерлемесімен үстемесіз тарифтейді. TCO-да бұл қасиеттер тиісінше интеграция еңбегіне, валюта мен бухгалтерия шығынына және тұтыну құнына кіреді; жергілікті сақтау, PII маскировкасы, аудит-логтар және кілт деңгейіндегі лимиттер сіздің контурыңыздағы бөлек жұмысты алмастырса ғана бағалануы керек.

Екі шеткі нұсқаның бірін ғана таңдау міндетті емес. Компания болжамды негізгі жүктемесі бар бір басты модельге тікелей келісім жасап, шлюзді сирек модельдерге, тәжірибеге, жергілікті орналастырылған open-weight модельдерге және резервке қолдана алады. Мұндай аралас нұсқа шоғырланған көлемдегі жеңілдікті сақтап, шағын қалдық үшін тікелей интеграциялар санын көбейтпейді.

Аралас нұсқаны да адал есептеңіз. Ол екінші келісімшартты, бағыттарды тексеруді, деректі жіктеу ережесін және ауысуды тұрақты сынауды қосады. Команда қандай трафик міндеттемеге кететінін, қайсысы ауыспалы қалатынын және резервтің толық пайдаланылмауын кім қадағалайтынын анық жазса ғана үнем пайда болады.

Қайта қарау шегін қаржы моделінің өзіне енгізіңіз. Мысалы, нақты көлем екі ай бойы келісілген аралықтан шықса, негізгі модель үлесі елеулі өзгерсе немесе пайдалану еңбегі бюджеттен асса, шешімді қайта есептеңіз. Сонда тікелей келісім мен шлюз идеялық таңдаудан арылады. Олар жүктеменің әр бөлігіне арналған екі сатып алу түрі, әрқайсысы нақты дерекпен өз бағасын қайта дәлелдеуі тиіс.