LLM үшін сенімділік интервалы модель таңдауды қалай өзгертеді

Жаңа LLM-ге тек оның 74% орнына 78% жинағанына қарап көшу қауіпті. Бұл төрт пайыздық тармақ нақты басымдықты да, белгілі бір тест жинағының кездейсоқ шуын да білдіруі мүмкін. Команда айырмашылық интервалына есеп жасамайынша, кестедегі сан бір ғана сұраққа жауап береді: осы іске қосуда кім алда болды.

Модельдерді бағалауда мен нашар статистиканы емес, статистиканың мүлде жоқтығын жиі көремін. Команда жүз мысалды ұқыппен жинайды, бірнеше кандидатты іске қосады, ең жоғарғы жолды таңдап, миграцияны бастайды. Бір айдан кейін басымдық басқа жинақта, басқа тілде немесе нақты жүктеме кезінде жоғалып кетеді. Сенімділік интервалы шешімді автоматты түрде қабылдамайды, бірақ ол байқалған айырмашылықты өнім, қауіпсіздік және қаржы бөлімдері алдында қорғауға болатын шешімнен ажыратады.

Ұпайлардағы айырмашылық әлі басымдықты дәлелдемейді

Бенчмарктегі жалғыз ұпай модельдің қасиеті емес, бағалау болып саналады. Егер A моделі 200 тапсырманың 156-сын, ал B моделі 148-ін шешсе, айырмашылық 4 пайыздық тармақ болады. Бірақ 200 тапсырма жүйенің болашақтағы бүкіл жұмысын көрсетпейді. Бұл сұраулардың, құжаттардың, пайдаланушылардың және шекаралық жағдайлардың кеңірек жиынынан алынған таңдама ғана.

Басқа орынды тапсырмалар жинағында A 1 тармаққа жеңуі, 2 тармаққа ұтылуы немесе 7 тармаққа жеңуі мүмкін еді. Сенімділік интервалы қабылданған статистикалық модель аясында орташа айырмашылықтың ықтимал мәндер диапазонын көрсетеді. Ол белгісіздікті нөлге айналдырмайды, тек оны әдемі санның қасына шығаруға мәжбүрлейді.

Ең жиі кездесетін қате екі тәуелсіз пайызды салыстырудан тұрады. Бір кейс екі модельден де өтуі керек. Сонда сіз ортақ жетістіктерді ғана емес, айырмашылықтардың құрылымын да көресіз:

• екі модель де орындады;
• екеуі де қателесті;
• A орындады, B орындамады;
• B орындады, A орындамады.

Көптеген жинақта алғашқы екі түр басым болады. Олар жеңімпазды таңдауға дерлік көмектеспейді. Шешуші ақпарат соңғы екі түрге, яғни кандидаттар шынымен айырмашылық көрсеткен тапсырмаларға тиесілі.

Егер A мен B тапсырмалардың бірдей санын шешсе, бірақ A күрделі заң сұрауларында, ал B қарапайым жіктеу тапсырмаларында жеңсе, орташа ұпай бизнес үшін маңызды нәрсені жасыруы мүмкін. Алдымен шешім бірлігін анықтаңыз: бір сұрау, бір құжат, бір диалог немесе клиенттің бір кейсі. Содан кейін салыстыруды осы бірлік бойынша құрыңыз.

Сенімділік интервалы дайын диапазонның ықтималдығын емес, әдісті сипаттайды

95% сенімділік интервалы есептелген диапазонның шынайы айырмашылықты қамту ықтималдығы 95% дегенді білдірмейді. Параметр нақты интервалға не кірді, не кірмеді. 95% саны процедураға қатысты: салыстырмалы таңдама көп рет алынып, интервал әр жолы бірдей әдіспен құрылса, осындай интервалдардың шамамен 95%-ы шынайы орташа мәнді қамтиды.

Бұл айырмашылық академиялық ұсақ-түйек емес. «A-ның жақсырақ болу ықтималдығы 95%» деген қате тұжырым шешімге жалған сенім береді. Дұрысы: «Осы протокол бойынша айырмашылықтың 95% интервалы X пен Y аралығында» деу. Егер нөл интервалдың ішінде болса, деректер A-ның да, B-ның да жеңісімен үйлеседі.

NIST/SEMATECH Engineering Statistics Handbook орташа мәннің интервалын орташа мәнге критикалық t мәнін стандартты қателікке көбейтіп, қосу және азайту арқылы анықтайды. Ол интервал ені екі нәрсеге: таңдама көлемі мен бақылаулардың стандартты ауытқуына байланысты екенін де көрсетеді. LLM үшін бұл түсінікті түрде былай көрінеді: тәуелсіз әрі релевантты кейстер көп болса, интервал тарылады, ал жауаптардың әркелкілігі, даулы таңбалау және тұрақсыз генерация оны кеңейтеді.

Интервал «бізге бұл модель ұнай ма?» деген сұраққа жауап бермейді. Ол тарлау сұраққа жауап береді: алдын ала белгіленген метрика бойынша тестте көргенімізбен қандай орташа айырмашылықтар үйлеседі. Модельді ауыстыру туралы шешім үшін пайданың шегін, миграция құнын және орташа ұпаймен өтелмейтін тыйымдарды қосу қажет.

Жұптық салыстыру әр тапсырма туралы ақпаратты сақтайды

Бинарлық метрика үшін, мысалы «жауап тексеруден өтті ме, жоқ па» деген жағдайда, әр тапсырмаға айырмашылық жасаңыз:

d_i =  1, если A прошла, а B не прошла
d_i = -1, если B прошла, а A не прошла
d_i =  0, если результат одинаков

d_i орташа мәні A мен B-ның сәттілік үлестері айырмашылығына тең. Жұптық есеп пайыздарды тәуелсіз салыстырудан жақсы, өйткені тапсырманың ортақ күрделілігі айырмашылықтан алынып тасталады. Өте күрделі келісімшарт пен өте жеңіл FAQ екеуі де жинаққа кіргені үшін қателікті үлкейтпейді.

Төменде нәтижелер выгрузкасымен қатар қоюға болатын ең қарапайым мысал берілген. Мұнда 34 кейсте A, 26 кейсте B жеңді, ал 140 кейстің нәтижесі бірдей болды.

import numpy as np
from scipy import stats

# +1: A выиграла кейс, -1: B выиграла, 0: ничья
wins = np.array([1] * 34 + [-1] * 26 + [0] * 140)
n = len(wins)
mean_diff = wins.mean()
se = wins.std(ddof=1) / np.sqrt(n)
t_crit = stats.t.ppf(0.975, df=n - 1)
low, high = mean_diff - t_crit * se, mean_diff + t_crit * se

print(f"Разница: {mean_diff:.2%}")
print(f"95% ДИ: [{low:.2%}, {high:.2%}]")

Нәтиже мынадай болады:

Разница: 4.00%
95% ДИ: [-3.64%, 11.64%]

Кестеде A жақсырақ көрінеді: 74%-ға қарсы 78%. Бірақ интервал 3,64 тармаққа ұтылуды да, 11,64 тармаққа жеңуді де қамтиды. Мұнда «A жақсырақ» деген тұжырым тексеріске шыдамайды. Дұрыс тұжырым: осы жинақта A-ның артықшылығы 4 тармақ деп бағаланды, бірақ оны B-дан сенімді түрде ажыратуға дерек жеткіліксіз.

Жұптық есепті accuracy үшін екі бөлек интервалмен алмастырмаңыз және олардың қиылысатынын салыстырмаңыз. Бөлек интервалдардың қиылысуы олардың айырмашылығы интервалы үшін дұрыс өлшем емес. Айырмашылықты бірден тапсырма деңгейінде есептеңіз.

Жинақ көлемі күткеннен баяу көмектеседі

Интервал ені тәуелсіз кейстер санының квадрат түбіріне кері пропорционалды азаяды. Жинақты екі есе көбейту белгісіздікті екі есе қысқартпайды. Сол шашырау кезінде шамамен екі есе тар интервал алу үшін тәуелсіз тапсырмалар санын шамамен төрт есе көбейту керек.

Айырмашылықтардың сол профилін 2 000 кейсте алайық: A 340 кейсте, B 260 кейсте жеңді, тағы 1 400 кейстің нәтижесі бірдей болды. Айырмашылық бағасы 4 тармақ болып қалды. Стандартты қателік шамамен 3,87-ден 1,22 тармаққа түсті, ал 95% интервал шамамен [1,60%, 6,40%] болды. Енді нөл диапазонға кірмейді.

Бұл 2 000 жолды автоматты түрде жинау керек деген сөз емес. Егер олардың бәрі бір шаблонның дерлік бірдей нұсқалары болса, жаңа ақпарат аз. Бір анкета өрісіне берілген мың перефразаланған сұрау пайдаланушының мың тәуелсіз тапсырмасына тең емес.

Жинақта кластерлер жасырынбағанын тексеріңіз:

• бір құжаттан алынған бірнеше сұрау;
• бір диалогтағы хабарламалар сериясы;
• бір клиенттің немесе өнімнің шаблондары;
• бір промпттың нұсқалары;
• ортақ дереккөзден жасалған синтетикалық кейстер.

Егер кластер нақты пайдалану бірлігі болса, қайта іріктеуді кластер бойынша жасап, интервалды да кластермен есептеңіз. Мысалы, келісімшарттарды талдайтын көмекші үшін әр тармақты тәуелсіз бақылау деп санағаннан гөрі, орташа нәтижені келісімшарт бойынша есептеген дұрыс. Әйтпесе кесте тек қағазда бар тар интервал береді.

Жауаптардың шашырауы кейде орташа ұпайдан маңыздырақ

Екі 80% бағасы тексерудің мүлде әртүрлі көлемін талап етуі мүмкін. Егер екі модель үшін тапсырмалардың көбі бірдей нәтиже беріп, айырмашылықтар бірнеше тұрақты кейсте ғана пайда болса, интервал тез тарылуы ықтимал. Ал модельдер күрделілігі әртүрлі тапсырмаларда үнемі орын алмастырса, орташа нәтиже жаман болмаса да белгісіздік жоғары болып қалады.

Бинарлық жұптық салыстыруда шашырауды дәл нөлге тең емес d_i мәндері жасайды. A 40 кейсте жеңіп, B бірде-бірінде жеңбесе, қалған 160 кейс бірдей болса, артықшылық A 80 кейсте жеңіп, B 40 кейсте жеңген жағдайдан тұрақтырақ көрінеді, бірақ екі сценарийдің пайыздық айырмашылығы ұқсас болуы мүмкін. Екінші жағдайда кандидаттар жиі алшақтайды және айырмашылықтардың бір бөлігі A-ға қарсы жұмыс істейді.

Сапа шкаласы, мысалы 1-ден 5-ке дейінгі шкала үшін жағдай одан да күрделі. Бір бағалаушы түсіндірменің толықтығы үшін 3 орнына 4 қоюы мүмкін, ал екіншісі қауіпті фактілік қате үшін 2 қояды. Орташа мән айырмашылықтың табиғатын жасырады. Модель, тапсырма және бағалаушы бойынша бастапқы бағаларды сақтаңыз. Сонда ауытқу модельдердің қасиеті ме, тапсырманың ерекшелігі ме, әлде адамдар арасындағы келіспеушілік пе екенін тексеруге болады.

Салыстыруға болатын салмақтарсыз әртүрлі қателерді бір «жалпы ұпайға» қоспаңыз. Жауаптың жылы жазылмауы мен медициналық құжат бойынша қате кеңес таңдау шешіміне бірдей әсер етпеуі керек. Критикалық бұзушылықтарды бөлек қатаң критерийге шығарып, қалған көрсеткіштерді жеке салыстырған дұрыс.

Қайта шақырулар жинақты автоматты түрде көбейтпейді

Температура, семплинг, провайдердегі өзгерістер және тұрақсыз LLM-төреші шашыраудың тағы бір қабатын қосады. Бір сұрақ бойынша модельді бес рет шақырсаңыз, генерацияның бес бақылауын аласыз, бірақ пайдаланушының бес тәуелсіз тапсырмасын алмайсыз.

Нашар тәсіл мынадай көрінеді: команда 100 тапсырманы 10 рет іске қосып, 1 000 жол алады да, барлық жолды тәуелсіз деп санап интервал құрады. Интервал тым тар шығады, өйткені есепте 1 000 түрлі тапсырма бар деп қабылданған. Шын мәнінде тест әлі де 100 тапсырманы ғана қамтиды, ал әр топтың ішіндегі жауаптар өзара байланысты.

Мұнда жұмыс істейтін екі нұсқа бар. Көп өнім үшін қайталау санын алдын ала белгілеп, әр тапсырма ішіндегі әр модельдің орташа бағасын есептеу, содан кейін осы орташа мәндерді тапсырмалар бойынша жұптап салыстыру жеткілікті. Егер генерация шашырауының өзі шешім нысаны болса, иерархиялық бутстрепті қолданыңыз: алдымен тапсырмаларды қайтарумен таңдаңыз, содан кейін таңдалған тапсырмалардың ішінен қайталауларды қайтарумен таңдаңыз.

Бекітілген seed айырмашылықты жөндеуге көмектеседі, бірақ тұрақсыздықты жасыруға қолданылмауы керек. Өнім температура 0,7 кезінде жұмыс істесе, температура 0 кезіндегі бағалау оның жұмысын сипаттамайды. Экспериментке дейін шақыру параметрлерін бекітіңіз: модель, нұсқа, жүйелік промпт, температура, токендер лимиті, құралдар, жауап схемасы және қайта шақыру ережесі.

Қарапайым формулаларға көнбейтін метрикалар үшін бутстреп қажет

Жұптық t-интервалы орташа айырмашылыққа жақсы келеді, әсіресе тапсырма жеткілікті болып, орташа мәндердің таралуы тұрақты болғанда. Бірақ LLM бағалауында F1, төреші бойынша win rate, ауыр құйрықты орташа құн, рангілік метрикалар және агрегацияның күрделі ережелері жиі кездеседі. Мұндай жағдайда жұптық бутстреп ыңғайлы.

Алгоритм қарапайым. Бастапқы жинақтан қайтарумен дәл сонша тапсырманы көп рет таңдайсыз, әр жолы A және B метрикаларының айырмашылығын есептейсіз, содан кейін алынған таралудың 2,5 және 97,5 процентильдерін аласыз. Тапсырма индекстерін екі модель үшін бір рет таңдау маңызды. Кандидаттарды тәуелсіз бутстрептесеңіз, жұптық байланысты бұзып, дәлдікті жоғалтасыз.

import numpy as np

rng = np.random.default_rng(42)
# score_a и score_b содержат метрику для одного и того же задания
score_a = np.array([...])
score_b = np.array([...])

boot = []
for _ in range(10_000):
    idx = rng.integers(0, len(score_a), len(score_a))
    boot.append(score_a[idx].mean() - score_b[idx].mean())

low, high = np.quantile(boot, [0.025, 0.975])
print(low, high)

mean() функциясын тек тапсырмалар бойынша орташа метрика үшін қолдануға болады. F1 үшін алдымен таңдалған индекстердегі F1 мәнін қайта есептеп, содан кейін айырмашылықты boot тізіміне қосыңыз. Диалогтар үшін процедураға жеке репликаны емес, толық диалогты беріңіз. Бутстреп нашар тест жинағын түзетпейді, бірақ таңдалған метрика беретін белгісіздік пішінін адал көрсетеді.

Статистикалық маңыздылық бизнеске пайдамен тең емес

Нөлдің интервалдан тыс болуы сіздің протоколыңыз бойынша деректер орташа айырмашылықтың жоқтығымен нашар үйлесетінін білдіреді. Бұл жеңіс миграцияны ақтайды деген сөз емес. 20 000 сұрауда маршруттауды ауыстыру, команданы қайта оқыту және қауіпсіздікті қайта қабылдау шығынын өтемейтін 0,2 тармақтық статистикалық сенімді басымдық алуға болады.

Эксперимент басталмай тұрып минималды practically useful effect, яғни пайдалы айырмашылық шегін белгілеңіз. Мысалы, жаңа модельге тек қателер үлесін кемінде 2 тармаққа азайтқанда ауысу ақталсын. Онда шешім «интервал нөлден жоғары» емес, «интервалдың төменгі шекарасы 2 тармақтан жоғары» деп тұжырымдалады. Егер диапазон [0,8%, 3,7%] болса, A жақсырақ болуы мүмкін, бірақ қажетті әсерге уәде беруге негіз жоқ.

Кейде міндет керісінше болады. Жаңа модель арзанырақ немесе жылдамырақ, сондықтан сапаның аздап төмендеуіне келісесіз, бірақ 1 тармақтан артық емес. Онда нашарламау шегін белгілеңіз: A минус B сапасының айырмашылығы интервалының төменгі шекарасы -1 тармақтан жоғары болуы керек. Содан кейін үнемнің ақша немесе кідіріс тұрғысынан жеткілікті екенін бөлек тексеріңіз. Компромисті бір рейтингтің артына жасырмаңыз.

Міндетті талаптары бар жүйелерде орташа сапа басты төреші емес. Егер модель кейде жеке деректерді ашса, міндетті форматты бұзса немесе сезімтал сценарийде рұқсат етілмейтін жауап жасаса, оған бөлек тоқтату критерийі қажет. Жалпы бағалаудың интервалы бұл тыйымды жоймайды.

Бір жинақтағы үздік кандидат әрдайым шын мәнінен жақсы көрінеді

Егер команда 15 модельді, жүйелік промпттың 30 нұсқасын және бірнеше төрешіні тексеріп, кейін ең жоғары жолды жеңімпаз деп жарияласа, ол шу бойынша іріктеу жүргізді. Бірдей кандидаттардың өздері де кездейсоқ көшбасшы бере алады. Әрекет саны көбейген сайын шынайы әсерді емес, сәтті ауытқуды таңдау ықтималдығы артады.

Мұны кейін әдемі p-value арқылы түзетуге тырыспаңыз. Жұмысты үш бөлікке бөліңіз. Даму жинағында промптты, құралдар схемасын және кандидаттардың қысқа тізімін іздеңіз. Валидациялық жинақта конфигурацияны бекітіп, анық аутсайдерлерді алып тастаңыз. Тиіспеген holdout жинағын алдын ала шектелген кандидаттар тізімін бір рет соңғы салыстыруға қалдырыңыз.

Төрешіні де бекіту керек. Егер LLM-төреші бір жауапты әр жолы әртүрлі бағаласа немесе бір модельдің стилін артық көрсе, даулы және критикалық кейстердің таңдамаcына адам тексеруін қосыңыз. Бағалаушылар арасындағы келісімді өлшеу пайдалы, бірақ келісім коэффициентін сәндік санға айналдырмаңыз. Нақты келіспеушіліктерді қарап, адамдар жауаптың әртүрлі қасиеттерін бағалайтын жерлерде рубриканы қайта жазыңыз.

Модельді ауыстыру туралы шешім деректер срездерінен де өтуі керек

Бүкіл жинақ бойынша орташа интервал пайдалы, бірақ продакшен үшін сирек жеткілікті. Нәтижелерді тәуекелге сәйкес келетін срездерге бөліңіз: орыс және қазақ тілдері, құжат түрлері, қысқа және ұзын контекстер, салалық терминдер, құралдар қолданылатын сұраулар, сезімтал жағдайлар. Әр срез тар интервал береді деп күтпеңіз. Шағын срездер дерек жетіспейтін жерді адал көрсетеді.

Түсті панель жасау үшін ондаған срез жинамаңыз. Әр срез нақты қауіпке жауап беруі керек. Егер медициналық ағын трафиктің аз бөлігін құраса да, ондағы қате қымбат болса, оған жеке жинақ пен жеке шек қажет. Жалпы басымдық осы ағынның регрессиясын өтемейді.

LLM трафигін бірыңғай API шлюзі арқылы басқаратын командаларға бағалау журналында модель идентификаторын, промпт нұсқасын, шақыру параметрлерін, срезді және бағалаушы шешімін сақтау ыңғайлы. AI Router сұрауларды бірыңғай бағыттау мен аудит журналдарына көмектесе алады, бірақ статистикалық шешімді шлюз емес, сіздің протоколыңыз қабылдайды.

Практикалық ереже қарапайым: айырмашылықты, интервалды, жинақ құрамын, агрегация ережесін және алдын ала белгіленген шешім шегін көрсете алмайынша, модель жақсырақ деп айтпаңыз. Осы тармақтардың бірі болмаса, сіз модельдерді емес, демонстрацияларды салыстырдыңыз.

Келесі іске қосу үшін ауқымды зерттеу бағдарламасы қажет емес. Қазіргі нәтижелерді алыңыз, оларды тапсырмалар бойынша жұптаңыз да, айырмашылық интервалына есеп жасаңыз. Егер ол кең болса, жеңімпаз туралы таласпаңыз. Жетпей тұрған тәуелсіз әрі тәуекелі жоғары кейстерді жинап, содан кейін промпт таңдауға пайдаланылмаған жинақта тексеруді қайталаңыз.