Белгілеушілердің келіспеуі: рубрикалар мен арбитражды қалай ретке келтіру керек

Неге белгілеушілер бағалауда келіспейді

Тіпті жақсы белгілеуші де мәтінді машинадай оқымайды. Ол тәжірибеге, әдетке және тапсырманы қалай түсінгеніне сүйенеді. Сондықтан бір ғана мысалды адамдар жиі әртүрлі түсіндіреді.

Қолдау қызметіне келген «Ақша алынды, бірақ тапсырыс пайда болмады» деген хабарды елестетіңіз. Бір адам «төлем» белгісін қояды, екіншісі - «тапсырыс қатесі», үшіншісі - «шұғыл инцидент». Егер ережеде мұндай жағдайда қай белгі негізгі екені айтылмаса, үш шешімнің де қисыны бар.

Көп жағдайда мәселе адамдарда емес, рубрикада. Санаттар бір-біріне қабаттасса, тым жалпылама сипатталса немесе атауы ұқсас болса, белгілеушілер мағынаны өздері толықтыра бастайды. Сол кезде сұр аймақтар пайда болады: бірі жауапты бас тартуға жатқызады, екіншісі - бейтарап тонға, ал екеуі де бір мәтінді қарап отыр.

Процесті ең көп бұзатын нәрсе - ерекшеліктер. Мәселелер қарапайым кезде команда бірқалыпты жұмыс істейді. Кейін аралас жағдайлар келеді: дөрекі сөзсіз сарказм, жартылай дұрыс жауап, соңында алғысы бар шағым. Ереже жалпы қағида мен «...қоспағанда» деген ұзын тізімнен тұрса, тіпті тәжірибелі адамдардың өзі шатасады.

Әдетте келіспеушілік төрт себептен туындайды: мәтінде контекст аз, белгілер мағына жағынан қабаттасады, ереже екі дұрыс нұсқаның арасындағы басымдықты көрсетпейді, ал сирек жағдайлар тым қысқа сипатталған.

Дау тудырған жауаптар өз алдына ғана зиян емес. Олар келесі шешімдер үшін ластанған үлгі жасап, бүкіл дерек жиынын тез бұзады. Егер бүгін ұқсас мысалдар әртүрлі белгіленсе, ертең модель немесе аналитик сол шатасуды мұра етеді. Содан кейін команда уақытын белгіні жақсартуға емес, жүйе неге бірқалыпты жұмыс істемейтінін талдауға жұмсайды.

Мәселенің дәл ережелерде жатқанын көрсететін қарапайым белгі бар: әртүрлі адамдар тыныш дауласады, түсінікті уәж айтады, бірақ бәрібір әртүрлі белгіні таңдайды. Бұл жеке қызметкердің қателігі емес. Бұл санат анықтамалары нақты мысалдарға әлі төтеп бере алмай тұрғанының белгісі.

Даулар көбіне қай жерде басталады

Даулар сирек жағдайда немқұрайдылықтан басталады. Көбіне мәтінді екі түрлі оқуға болады, әрі екеуі де қисынды көрінеді.

Бірінші жиі кездесетін себеп - екі белгі арасындағы шекаралық жағдайлар. Шағым көмек сұрауға оңай ұқсайды, ал бейтарап сұрақ жасырын наразылық сияқты көрінуі мүмкін. Егер ереже шекара қай жерде өтетінін түсіндірмесе, адамдар ортақ стандартқа емес, өз тәжірибесіне сүйенеді.

Екінші тәуекел аймағы - бірнеше мағына араласқан ұзақ жауаптар. Пайдаланушы алдымен рахмет айтып, кейін шағымданады, соңында ақшаны қайтаруды сұрайды. Бір белгілеуші басты ойға қарай белгі қояды, екіншісі - соңғы сөйлемге, үшіншісі - ең шұғыл әрекетке. Үшеуі де қисынды, бірақ нәтиже әртүрлі болады.

Көбіне дау тудыратын нәрсе - мағына ашық айтылмаған мәтін. Сарказм, ишара, құрғақ тұжырымдар және әлсіз контекст қарапайым ережелерді бұзады. «Иә, сервис керемет қой» деген сөйлем қағаз жүзінде ғана мақтау сияқты көрінуі мүмкін. Тірі хат алмасуда бұл жиі ашу-ыза болады.

Тағы бір, тыныштау себеп те бар: ережеде жоқ сирек мысалдар. Дерек жиыны кішкентай кезде мұндай жағдайлар байқалмайды. Кейін стандарттан тыс бірнеше хабарлама пайда болады, әркім оларды өз бетінше шешеді.

Әдетте дау мына нүктелердің бірінде басталады: екі белгі тым ұқсас естіледі, бір жауапта екі не үш міндет бар, тон сөздің өзінен де күштірек мағына береді, алдыңғы хабарламаларсыз мәтін түсініксіз, немесе мысал алғаш рет кездесіп, рубрикада сипатталмаған.

Егер белгілеу рубрикалары осы жерлерде не істеу керегін көрсетпесе, адамдар жорамалдай бастайды. Бұл әрі келісімділікке, әрі команда кейін деректерді белгілеу сапасын қалай бағалайтынына соққы береді. Ең жиі дау дәл айқын қателерде емес, «ұқсас» пен «дәл келеді» арасындағы сұр аймақта жатады.

Қалай түсінікті рубрика құру керек

Түсінікті рубрика есеп үшін емес. Ол екі адам бір мысалды оқып, көбіне бір белгіге келуі үшін керек. Егер бұлай болмаса, белгілеушілердің келіспеуі әдетте немқұрайдылықтан емес, бұлыңғыр ережелерден болады.

Қысқа анықтамалардан бастаңыз. Әр белгіде бір қарапайым ой болуы керек: оған не кіреді, не кірмейді. «Шағым - пайдаланушы анық ренжіген және мәселені түзетуді сұрайды» деп жазған жақсы, ал жарты бетке созылған жалпы сипаттама бермеңіз.

Жақсы рубрикада әдетте бес нәрсе болады: әр белгінің бір-екі сөйлемдік қарапайым анықтамасы, нақты сәйкес келетін бірнеше мысал, ұқсас жағдайларға арналған бір-екі антипример, контекст жетіспегендегі ереже және екі ұқсас белгі жараса, қайсысын таңдау керектігі жөніндегі тәртіп.

Мысалдар мен антимысалдар көп дауды алып тастайды. Егер сізде «ақпарат сұрау» және «шағым» белгілері болса, шекаралық жағдайды көрсетіңіз. «Тапсырысым қайда?» - жай сұрақ болуы мүмкін, ал «Тапсырысым қайда, бір апта болды күтіп отырмын» - енді шағымға жақын. Адамдарға абстрактілі сипаттамадан гөрі үлгімен салыстыру жеңіл.

Контекст жетіспегенде не істеу керегін бөлек жазыңыз. Белгілеуші автордың ниетін, тоналдылығын не мақсатын өзі ойдан шығармауы керек. Бір анық әрекет беріңіз: «контекст жеткіліксіз» деген белгі қою, мысалды арбитражға жіберу немесе егер ережеде рұқсат етілсе, көршілес құжатты ашу. Жорамал азайған сайын деректерді белгілеу сапасы жоғары болады.

Ұқсас белгілерге айқын таңдау тәртібі керек. Егер мәтін бірден екі санатқа сай келсе, рубрика «алдымен қайсысын қоямыз?» деген сұраққа жауап беруі тиіс. Мұны қысқа ереже ретінде жазған ыңғайлы. Мысалы: клиент ақшаны қайтаруды тікелей сұраса, хабарламада сервисті шағымдау бар болса да, «қайтару» қойылады.

Жиі қайталанатын ерекшеліктерді бөлек блокқа шығарған дұрыс. Әйтпесе олар жалпы ережелердің арасында жоғалып кетеді. Әдетте оған сарказм, аралас сұраныстар, шаблонды авто жауаптар, «жұмыс істемейді» сияқты қысқа хабарламалар және контексті тым аз жағдайлар кіреді.

Егер рубрика адамдар оны оқып үлгергеннен жылдамырақ өссе, бұл жаман белгі. Даулы тұжырымдарға толы ұзақ құжаттан гөрі екі бет анық ереже жақсы. Белгілеуші рубриканы ашып, бір минутта қай белгіні қою керегін түсінуі тиіс.

Арбитражды кезең-кезеңімен қалай жүргізу керек

Арбитраж командаға ұқсас жағдайларда бірдей шешім қабылдауға көмектесу үшін керек. Белгілеушілердің келіспеуі чаттар мен жеке хабарламаларда жиналса, процесс тез бұзылады: адамдар ережеге емес, жадыға сүйеніп дауласады.

Даулы мысалдарды бір кезекте ұстаған дұрыс. Бұл бөлек кесте немесе мына өрістері бар тақта болуы мүмкін: мысалдың өзі, екі белгілеушінің белгілері, рубрика тармағы және соңғы шешім. Сонда бір ғана жағдай емес, қайталанатын дау түрі көрінеді.

Алдымен барлық қақтығысты бір жерге жинап, қайталанатындарын алып тастаңыз. Егер бір жағдай он рет шықса, ереже, бәлкім, тым бұлыңғыр жазылған.

Сосын әр белгілеушіден өз таңдауын бір-екі сөйлеммен түсіндіруді сұраңыз. Қысқа түсіндірме пайдалы: адам сезімге емес, ереже мәтініне сүйенеді.

Одан кейін мысалды рубрикамен салыстырыңыз. «Әдетте қалай қоямыз» деп сұрамаңыз. Қай ереже тармағы жақсырақ келетінін және белгілердің арасындағы шекара қайда екенін қараңыз.

Нәтижені бірден бекітіңіз. Тек белгіні емес, шешімнің себебін де жазыңыз. Бірнеше күннен кейін команда егжей-тегжейді ұмытады, ал қысқа жазба келесі раундта сол дауды қайтадан тоқтатады.

Егер дау қайталанса, ережені бірден өзгертіңіз. Кейде бір сөйлем, бірнеше нақтылау немесе жаңа мысал даудың жоғалуына жетеді.

Кішігірім мысал. Бір белгілеуші қолдау қызметінің жауабын «пайдалы» деп белгілейді, өйткені ішінде нұсқаулық бар. Екіншісі «толық емес» қояды, себебі жауап клиентті түпкі шешімге жеткізбейді. Арбитр ең сенімді сөйлеген адамды таңдамайды. Ол белгілеу рубрикаларын ашып, нақты шешім деп нені санау керегін тексереді: қадамның болуы ма, әлде клиент сұрағының жабылуы ма.

Шешімнен кейін қорытындыны «аға маманның басында» қалдырмаңыз. Нәтижені мысалдың қасына жазыңыз да, қысқа түсініктеме қосыңыз: неге дәл осы белгі таңдалды, қай тармаққа сүйенді, ұқсас жағдайда не істеу керек. Сонда аннотация арбитражы бір реттік тартыс болмай, команданың жұмыс жадынa айналады.

Егер дау бір кейске бірнеше минуттан артық созылса, мәселе көбіне адамдарда емес, ереже мәтінінде болады. Жақсы арбитраж талқылауды созбайды. Ол командаға келесі ұқсас жағдайды сабырлы әрі бірдей жабуға көмектеседі.

Ережелерді қашан қайта қарау керек

Егер бірдей дау әр апта сайын қайталанса, мәселе енді адамдарда емес. Демек, ереже жорамалға тым көп орын қалдырады. Белгілеушілер қайта-қайта сол түсініксіз жағдайға тіреліп, уақытын жұмысына емес, нұсқаулық авторының ойын жорамалдауға жұмсайды.

Жаман белгі - арбитрлер ұқсас мысалдар бойынша әртүрлі шешім шығарса. Бұл дауды соңына дейін шешуі тиіс адамдардың өзінде ортақ тірек жоқ деген сөз. Мұндай жағдайда жай ғана «командаға ережені еске салу» жеткіліксіз. Ереженің өзі енді бірыңғай стандарт ретінде жұмыс істемейді.

Тағы бір жиі белгі - жаңа деректер ескі белгілерге сыймай қалады. Бұл өнім өзгергенде, пайдаланушылар басқаша жазғанда немесе ағынға бұрын болмаған жағдайлар түскенде болады. Егер белгілеушілер жаңа мысалдарды ескі санаттарға зорлап кіргізе бастаса, сапа тез төмендейді.

Әдетте ережені қайта қарау кемінде екі белгі байқалса қажет: команда чатта немесе жиналыста қайтадан бір сұрақты қояды, оқытудан кейін белгілеушілер арасындағы келісім дерлік өспейді, арбитраж бірдей даулы кейстерді жинай береді, бір белгі «бәрі түсініксіз» деген қоқыс жәшігіне айналады, немесе адамдар ағымдағы нұсқаулықпен жұмыс істеу үшін жеке жазба жүргізеді.

Әсіресе бір жайт айқын көрсетеді: сіз оқыту өткіздіңіз, қателерді талдадыңыз, мысалдар бердіңіз, ал бір аптадан кейін бәрі қайта оралды. Бұл сирек жағдайда команда тыңдамады дегенді білдіреді. Көбіне себеп қарапайымырақ - рубрикада белгілердің арасында айқын шекара жоқ, ал оқыту сол құрылымның өзін түзете алмайды.

Қайта қарау бүкіл құжатты нөлден жазуды талап етпейді. Көп жағдайда үш нәрсе жеткілікті: дау тудырған мысалдарды қосу, екі ұқсас белгі арасындағы таңдау ережесін нақтылау және шекаралық жағдайда не істеу керегін ашық жазу. Егер содан кейін арбитрлер бірдей шешім қабылдай бастаса, ал қайталанатын сұрақтар азайса, сіз дұрыс бағыттасыз.

Ең жаманы - түзетуді тым ұзаққа созу. Онда команда ереженің әртүрлі жеке нұсқаларына үйреніп кетеді де, бірыңғай тәсілді қайтару әлдеқайда қиындайды.

Қолдау қызметінен қысқа мысал

Команда клиент өтініштерін үш белгімен белгілейді: «шағым», «төлем бойынша сұрақ» және «болдырмау». Қарапайым хабарламаларда дау аз. «Наурызға арналған шотым қайда?» - төлемге кетеді. «Аккаунтымды өшіргім келеді» - болдырмауға кетеді.

Мәселе аралас сөйлемдерде басталады. Мысалы: «Ақшаны алыңыз да, аккаунтты жабыңыз». Ескі нұсқаулық дәл осы жерде жиі бұзылады, өйткені бір хабарламада әрі төлем әрекеті, әрі қызметті тоқтату өтініші бар.

Бір белгілеуші «төлем бойынша сұрақ» қояды. Ол ақша алдыру туралы сөздерді көреді де, басты тақырып сол деп шешеді. Екіншісі «болдырмау» қояды, өйткені клиент аккаунтты жабуды тікелей сұрап тұр. Екеуі де мәтінді дұрыс оқиды. Олар немқұрайдылықтан емес, ереже негізгі ниетті не деп санау керегін айтпағандықтан келіспейді.

Мұндайда арбитр дұрыс жауапты сезіммен болжамайды. Ол өтініштің мақсатына қарайды. Клиент соңында не алғысы келеді? Егер адам аккаунтты жабуды сұрап, ақша алу сол қадамның бір бөлігі ғана болса, негізгі белгі - «болдырмау». Ал клиент төлемге дау айтып, қызметті тоқтатуды сұрамаса, онда бұл мәтінге қарай «төлем бойынша сұрақ» немесе «шағым» болады.

Мұндай талдаудан кейін команда сол хабарламалар бойынша қайтадан келіспеуі керек. Арбитр шешімін бірден қысқа ережеге айналдырған дұрыс. Мысалы, егер хабарламада бірнеше әрекет болса, белгіні клиенттің соңғы мақсатына қарай таңдаңыз. Егер аккаунтты жабу анық айтылса, «болдырмау» төлемнен жоғары басымдыққа ие. Егер клиент аккаунтты жабуды сұрамай төлемді дауласа, төлем немесе шағым белгісін қойыңыз.

Осылайша белгілеушілердің келіспеуі процессті тежемей, керісінше пайда әкеле бастайды. Бір даулы кейс ондаған ұқсас өтінішке ереже береді. Бірнеше түзету раундынан кейін команда дауға аз уақыт жұмсап, деректерді белгілеу сапасын бірқалыпты ұстайды.

Ережелердің анығырақ болғанын қалай түсінуге болады

Түзетуден кейін «енді бәрі түсінікті» деген сезімге сенбеңіз. Жаңа таңдамада жұмыс қалай өзгергенін қараңыз. Егер белгілеушілер арбитражға дейін көбірек сәйкес келе бастаса, ережелер шынымен жақсырақ оқылады.

Үш нәрсені өлшеген ыңғайлы: толық сәйкестік үлесі, арбитражға кеткен жағдайлар үлесі және бір объектіге кеткен уақыт. Кейде сәйкестік 62%-дан 79%-ға өседі, ал даулы карточкалар саны екі есеге жуық азаяды. Бұл жақсы белгі: адамдар логиканы жорамалдап тұрған жоқ, оны бірдей түсінеді.

Бірақ орташа сан оңай алдайды. Қай белгілер жұбы жиі дауға түсетінін талдаңыз. Егер «шағым» мен «қайтару сұрауы» әлі де жағдайлардың үштен бірінде шатасса, жалпы пайыз өссе де, бұл жердегі ереже шикі. Мұндай кесте әлсіз тұстарды тез көрсетеді: қай жерде мысал жетіспейді, қай жерде тұжырым тым кең, ал қай жерде бір белгінің екіншісінен басымдығын қарапайым түрде жазу керек.

Өзгерістерді жаңа таңдамада тексеріңіз. Команда бұрын дауласып көрген сол мысалдарды алмаңыз. Әйтпесе белгілеушілер арбитр шешімін жай ғана жаттап алады. Оның орнына қарапайым және шекаралық жағдайлары бар 100-200 объектіден жаңа жиынтық жинаған дұрыс.

Жаппай және сирек жағдайларды бөлек қараңыз. Жиі кездесетін санаттар әдетте жақсы көрінеді, өйткені оларға адамдар тез үйренеді. Сирек белгілер ережелердің шынайы анықтығын көрсетеді. Егер танымал белгілерде сәйкестік 90%, ал сиректерде 45% болса, процесс әлі теңескен жоқ.

Әр түзету раундынан кейінгі қысқа тексеру әдетте төрт сұраққа саяды: арбитражға дейінгі сәйкестік өсті ме, қайталанатын даулы белгі жұптары азайды ма, жаңа таңдамада нәтиже төмендеген жоқ па, және тек жаппай емес, сирек жағдайлар да түсініктірек болды ма.

Егер үш раунд қатарынан дау бірдей мысалдардың айналасында жүрсе, мәселе көбіне адамдарда емес, ережелерде. Белгілеу рубрикалары дауды арбитр талқыламай тұрып-ақ алып тастауы тиіс.

Процесті тез бұзатын қателер

Ең жиі бұзылу жай басталады: команда жаңа белгі енгізеді, бірақ оған мысал қоспайды. Атауы түсінікті сияқты көрінеді, ал шын мәнінде әркім оны әртүрлі оқиды. Бірнеше күннен кейін бір белгілеуші оны тек айқын жағдайларға қояды, екіншісі ұқсас барлық өтінішке жабыстырады, ал деректерді белгілеу сапасы көзге көрінер себепсіз түсіп кетеді.

Ережені ауызша өзгерткенде жағдай бұдан да жаман болады. Жиналыста кей өтініштерді бөлек санатқа жатқызуға келістіңіздер, бірақ құжатқа түзету енгізілмеді. Жаңадан келгендер файл бойынша оқиды, тәжірибелілер жад бойынша жұмыс істейді, ал белгілеушілердің келіспеуі өздігінен өседі. Сосын команда тәртіп туралы дауласады, ал шын мәселе нұсқа версиясын басқаруда болған.

Аннотация арбитражы дау шешуді естелікпен жүргізсе, тез мағынасын жоғалтады. «Біз бұрын солай істейтінбіз» деген сөз ағымдағы рубрика басқаша болса немесе мүлде үнсіз қалса, көмектеспейді. Белгілеушілер шешім ереже мәтініне, мысалға және түзету күніне сүйеніп тұрғанын көруі керек. Әйтпесе арбитраж болжауға айналады.

Рубриканың ескі нұсқасы да процессті күтпеген жерден тез бұзады. Құжат жаңартылды, ал жаңа белгілеушілерге арналған тест, чаттағы шпаргалка және оқытудан қалған мысалдар бұрынғыша қалды. Адам ұқыпты жұмыс істейді, бірақ ескі логикамен. Мұндай айырмашылықтарда бір күн емес, тұтас апта жоғалуы мүмкін.

Қарапайым шектеулер көмектеседі. Жаңа белгі тек мысалдар және антимысалдармен бірге қосылады. Әр түзету күн мен нұсқа нөмірімен жазылады. Арбитр шешім қабылдаған ережені келтіреді. Команда рубриканы өзгерткен күні-ақ оқытуды жаңартады.

Тағы бір тұзақ бар: деректер жөніндегі дауды бизнес-логика туралы даумен араластырып жібереді. Бұл екі бөлек мәселе. Егер клиент «ақша екі рет алынды» деп жазса, белгілеуші мәтінде не бар екенін шешуі керек: шағым ба, төлем қатесі ме, алаяқтық белгісі ме, әлде бұлардың ешқайсысы ма. Бизнеске ыңғайлы болу үшін ғана бөлек кезекке салатын белгі ойдан шығармауы керек.

Қолдау, банк немесе ритейл үшін LLM-сценарийлерін іске қосатын командаларда бұл ерекше байқалады. Модель сіз берген нәрседен үйренеді. Егер ережені бір минутта мәтіннен түсіну мүмкін болмаса, белгілеу рубрикалары әлі шикі, ал дау азаймай, көбейеді.

Жаңа раунд алдында қысқа тексеріс

Жаңа белгілеу раундынан бұрын бір апта дау талдағаннан гөрі, 15 минут тексеруге жұмсаған дұрыс. Белгілеушілердің келіспеуі көбіне адамдардан емес, ережедегі ұсақ саңылаулардан басталады: бір белгі бұлыңғыр сипатталған, дау тудыратын жағдай бөлек шығарылмаған, арбитр қашан өзі шешетінін, қашан тапсырма иесін шақыратынын білмейді.

Минималды тексеру қарапайым. Әр белгінің қысқа сипаттамасы жалпы сөздерсіз болуы керек. Қайталанатын даулы жағдайлар үшін рубрикада бөлек белгі қажет. Арбитр өз шешімдерінің шекарасын және эскалация сәтін түсінуі тиіс. Бүкіл команда бір ғана ағымдағы ереже нұсқасымен жұмыс істеуі керек. Ал даулы жауаптарды қалай санау алдын ала шешілуі тиіс.

Қысқа белгі сипаттамасы шешімді бірнеше секундта қабылдауға көмектесуі керек. Егер тұжырым екі түрлі оқылса, белгілеуші мағынаны өзі ойдан шығара бастайды. «Жағымсыз жауап» деп жазғаннан гөрі, нақты не кіретінін жазған дұрыс: қорлау, фактілік қате, сұраныстан жалтару, жеке деректердің таралуы.

Даулы жағдайларға арналған бөлек ереже көп уақыт үнемдейді. Егер команда модель жауаптарын бағаласа, дау көбіне бірдей жерлерде қайталанады: сарказм, жартылай дұрыс жауап, пайдалы кеңесі бар бас тарту, екі белгінің араласуы. Мұндай мысалдарды жадта ұстап немесе чатта қайта талқылаудың қажеті жоқ. Оларды рубрикаға қысқа прецеденттер ретінде енгізген дұрыс.

Арбитрмен де қарапайым келісім керек. Ол типтік қақтығыстарды өзі шеше алады, бірақ белгілердің мағынасын үнсіз өзгертуі тиіс емес. Егер дау бағалау логикасын өзі өзгертсе, арбитр тапсырма иесін шақырады. Әйтпесе бірнеше күннен кейін командада екі рубрика пайда болады: бірі құжатта, екіншісі арбитрдің басында.

Ереже нұсқасы бәріне көрінуі керек. Бір файл, жаңарту күні, соңғы түзетулердің қысқа тізімі. Ескі скриншоттар, мессенджердегі жазбалар және ауызша келісімдер деректерді белгілеу сапасын дерлік әрдайым бұзады.

Соңғы тармақты жиі ұмытады: даулы жауаптарды қалай санау керек. Мұны алдын ала шешіңіз. Әдетте екі нұсқаның бірі жарайды: не оларды бөлек кезекке шығарып, таза мысалдармен араластырмау, не барлық келіспеушілікті арбитражға жіберіп, қорытындыны тек шешімнен кейін санау. Егер тәртіп таңдалмаса, метрикалар бір рубрикамен де секіре береді.

Алғашқы ереже түзетуден кейін не істеу керек

Ережені алғаш рет түзеткеннен кейін бірден керемет нәтиже күтуге болмайды. Белгілеушілердің келіспеуі әдетте сол күні емес, жаңа деректерде қысқа тексерістен кейін азаяды. Команда әлі көрмеген 30-50 жаңа мысалды алып, оны жаңартылған рубрикамен тимлидтің ишарасынсыз өткізіп көрген дұрыс.

Мұндай тесттің мәні қарапайым: сіз адамдар жаңа тұжырымдарды қаншалықты жаттап алғанын емес, оларды тірі жағдайда қалай қолданатынын тексересіз. Егер түзетуден кейін де дау сол бір жағдайлардың айналасында жүрсе, ереже әлі тым жалпылама.

Жалпы сәйкестік пайызын ғана емес, түзетуге дейін және кейінгі даулы кейстерді де қараған пайдалы. Мысалы, бұрын екі белгілеуші дөрекі тондағы шағымдарда келіспейтін: бірі «токсикалылық» қоятын, екіншісі - «қорлаусыз эмоциялық шағым». Егер мысалдар мен санат шекарасы нақтыланғаннан кейін мұндай жағдайлар бірдей белгілене бастаса, түзету жұмыс істеді.

Әдетте төрт қадам жеткілікті: ескі мысалдарсыз жаңа шағын батч алу, қай жерде қайтадан келіспеушілік болғанын бөлек жинау, оны бұрынғы даулы жиынтықпен салыстыру және қай тұжырымдар әлі де екіұшты оқылатынын жазу.

Одан кейін ережелерді қайта қараудың келесі күнін белгілеңіз. «Сұрақтар жиналғанда» емес, бір-екі аптадан кейін нақты күн қойыңыз. Әйтпесе ұсақ ақаулар жиналып, команда ережені өз бетінше түсіндіруге үйренеді де, сіз қайтадан үлкен ауытқуды жөндейсіз.

Егер сіз LLM-қызмет құрып жатсаңыз, алғашқы түзетуден кейін тек белгіні емес, бақылау контурын да тексерген жөн. Даулы жауаптардың логтарын сақтаңыз, модельге жіберер алдында PII-ді жасырыңыз және бірдей мысалдар жиынтығын әртүрлі модельдерден өткізіңіз. Бірдей prompt-та олар жиі әртүрлі қателеседі, және бұл сізде қай жерде ереже әлсіз, ал қай жерде модельдің өзі мәселе екенін тез көрсетеді.

Мұндай тексерістер үшін көптеген командаға модельдерге арналған бір ортақ шлюз ыңғайлы. Мысалы, AI Router-дың airouter.kz сайтындағы бір OpenAI-үйлесімді endpoint-і әртүрлі модельдермен жұмыс істеуге, сондай-ақ аудит-логтар мен PII-ді жасыруға мүмкіндік береді. Ереже түзеткеннен кейін бұл ыңғайлы: бірдей кейстер жиынтығын бірнеше модельде жылдамырақ тексеріп, қай жер рубрикада, қай жердің өзі модельде бұзылатынын түсінуге болады.