Алдымен дәйексөз, кейін түсіндіру: жауапты қалай құру керек

Неліктен негізсіз жауап түсініксіз болып қалады

Модель қорытындыны бірден айтқанда, жауап сырттай тегіс әрі сенімді көрінеді. Бірақ адам оның неге сүйенгенін түсіне алмайды: құжаттағы дәл сөйлемге ме, жалпы мағынаға ма, әлде модельдің жорамалына ма.

Сондықтан адамдар фактіні емес, үнін бағалай бастайды. Мәтін сенімді естілсе, дереккөз сәл басқаша айтса да, соған сену оңай. Бұл әсіресе мағынасы ұсақ-түйекке тәуелді құжаттарда байқалады. «Тек», «қоспағанда» немесе «келісуден кейін» сияқты бір сөздің өзі шешімді түбегейлі өзгерте алады.

Дәйексөзсіз оқырман ең маңыздысын көрмейді: қорытынды қай бөлікке сүйеніп тұр, жанында ерекшелік бар ма, бұл ереже ме, әлде жай мысал ма, сөйлем дәл осы жағдайға қатысты ма, модель екі бөлек абзацты араластырып жібермеді ме. Мұндай жауаппен дауласу көзді жұмып жүргендей болады. Пайдаланушы дереккөзді талқыламайды, модель қай жерде ауытқығанын ғана шамалауға тырысады.

Мәселе көбіне күрделі сұрақтарда емес, күнделікті жұмыс сұрақтарында жібереді. Команда ИИ-ден деректерді сақтауға арналған ішкі регламентті сұрайды. Құжатта жеке деректер ел ішінде сақталатыны, ал анонимделген техникалық журналдар бөлек реттелетіні жазылуы мүмкін. Егер модель: «Елден тыс ештеңе жіберуге болмайды» десе, ол норманы тым қарапайым етіп жібереді де, команданы артық шектеулерге, кідірістерге және шығындарға итермелейді.

Ең қиыны — дәл емес тұжырым келісу сатысына түсіп кетсе. Басшы қысқа қорытындыны көреді, оны әрі қарай жібереді, сөйтіп бірнеше қадамнан кейін ол ереже сияқты өмір сүре бастайды. Кейін құжатта ескерту бар екені белгілі болады, бірақ шешім қабылданып қойған.

Сондықтан «алдымен дәйексөз, кейін түсіндіру» тәртібі сән үшін емес, пайдалы. Ол факт қай жерде, ал модельдің интерпретациясы қай жерде басталатынын көрсетеді. Дәйексөз бірінші тұрса, қателікті көбіне жарты минутта көруге болады. Ал бірінші түсіндіру келсе, мұқият оқырман да ауыстыруды тым кеш байқайды.

Мұндай тәртіп қай жерде жиірек керек

Бұл формат қате бағасы жоғары болатын жерде қажет. Егер модель қорытындыны өз сөзімен бірден жазса, оқырман оның неге сүйенгенін түсінбейді. Ал әуелі бастапқы мәтіннің үзіндісі көрінсе, тексеру де, дауласу да жеңілдейді.

Бұл әсіресе кейін заңгерге, дәрігерге, сақтандырушыға, бақылау қызметіне немесе басшыға жіберілетін жұмыс жауаптарында маңызды. Ондай тізбектерде бүтін құжатты толық оқып шығатын адам аз. Көбі алдымен негізін, содан кейін түсіндірмесін көргісі келеді.

Көбіне мұндай тәртіп үш түрлі тапсырмада керек:

• келісімшарт, оферта, ішкі регламент, қауіпсіздік саясаты немесе бұйрық бойынша жауаптар
• бір сөздің өзі мағынаны өзгертетін медициналық және сақтандыру құжаттары бойынша жауаптар
• қолдау қызметі, ішкі аудит, келісу немесе шағымды талдау үшін берілетін жауаптар

Регламенттерде мәселе әдетте бірдей: адамдар жалпы мағынаны есте сақтайды, бірақ ұсақ деталдарды шатастырады. Мысалы, құжатта деректерге қолжеткізу тек екі келісуден кейін берілетіні жазылған болуы мүмкін. Егер ИИ: «Басшының келісімі жеткілікті» десе, қате нанымды көрінеді де, оңай өтіп кетеді. Ал дәйексөз түсіндіруден бұрын тұрса, мұндай қателік бірден көзге түседі.

Медицина мен сақтандыруда бұл тәртіп одан да пайдалы. Онда «өтеледі», «алынбайды», «көрсеткіш болса», «10 күн ішінде» сияқты тар мағыналы тіркестер жиі кездеседі. Алдымен дәл сөйлемді көрсетіп, кейін оны қарапайым тілге аударсаңыз, дәрігер, оператор немесе клиент факт пен қорытындының қайсысы екенін тезірек көреді.

Сақтандыру ережесі бойынша жауап жақсы мысал бола алады. Алдымен жүйе: «қайта диагностика емдеуші дәрігердің жолдамасы болғанда төленеді» деп шығарады. Сосын түсіндіреді: клиентке толық бас тартылмайды, бірақ төлем жолдамаға байланысты. Мұндай жауап сабырлырақ, дәлірек әрі тексеруден жақсы өтеді.

Қолдау мен аудит те осы тәсілден ұтады. Қолдауда қызметкер тез жауап беруі керек, бірақ өз бетінше шешім шығармауы тиіс. Аудитте тіпті қатаң: жай ғана «болады» немесе «болмайды» деу аз, оны растайтын тармақты көрсету керек.

LLM-ды банкке, телекомға, мемлекеттік секторға немесе healthcare-ке енгізетін командалар үшін бұл енді стиль мәселесі емес. Бұл — артық келісулерді азайту және кейін қолмен қайта жазылатын жауаптардың санын төмендету жолы.

Жауапты екі қадаммен қалай құру керек

Егер жауап құжатқа сүйенуі керек болса, мазмұндаудан бастамаңыз. Әуелі сұраққа тура жауап беретін қысқа дәйексөзді беріңіз. Сосын оны қарапайым тілмен түсіндіріңіз. Сонда адам негізді бірден көреді де, факт пен модель қорытындысын шатастырмайды.

Жауапты мынадай қарапайым формада ұстаған ыңғайлы:

1. Дереккөзден сұраққа ең жақын қысқа үзіндіні таңдаңыз.
2. Дәйексөзді әшекейсіз, ұзын айналасымен қоспай көрсетіңіз.
3. Төменде оны қарапайым сөзбен түсіндіріңіз.
4. Егер дереккөз жауапты шектесе, шектеуді бөлек жазыңыз.

Дәйексөз қысқа әрі дәл болуы керек. Егер бір сөйлемнің өзінде мағына бар болса, бүтін абзацты тартпаңыз. Артық мәтін аз болған сайын тексеру де жеңілдейді. Егер құжатта тура жауап болмаса, оны ашық жазған дұрыс, кездейсоқ көрші сөйлемдерден қорытынды құрастырғаннан гөрі.

Дәйексөзден кейін модель мағынасын түсіндіре алады, бірақ бұл бөліктерді анық бөлу керек. Қарапайым шаблон жақсы жұмыс істейді: алдымен дереккөз мәтіні бар блок, кейін «қарапайым тілмен» деген абзац. Екінші бөлікте қорытындының шегін де атаған жөн. Мысалы, құжат журналдарды 90 күн сақтауға рұқсат етеді. Бұл — мәтіндегі факт. Ал «демек, журналдарды кез келген жүйеде сақтауға болады» деген — енді факт емес, қорытынды, әрі ол қате болуы мүмкін.

Ескерту сақтық үшін емес, дәлдік үшін керек. Дереккөз көбіне әрдайым емес, тек бөлім, дерек түрі немесе құжат нұсқасы аясында ғана жұмыс істейді. Егер регламент қызметкерлердің жеке деректері туралы болса, оны клиент деректеріне көшіруге болмайды. Егер ереже тек Қазақстан ішіндегі жүйелерге қатысты болса, оны да ашық айту керек.

Қысқа мысал. Команда өтінім мәтінін сыртқы LLM-ға жіберуге бола ма деп сұрайды. Алдымен модель саясаттан мына жолды келтіреді: «Деректерді сыртқы сервистерге жібермес бұрын жеке идентификаторларды алып тастау қажет». Сосын түсіндіреді: егер жүйе сұрауға дейін PII-ді бүркемелесе, жіберуге болады. Және бірден шектеу қосады: бұл қорытынды тек қосымшасы мен құжат сканы жоқ өтінімдерге қатысты, өйткені дереккөз тек мәтін өрістері туралы айтады.

Мұндай жауап тез оқылады және жай ғана, бірақ дәлелсіз мазмұндауға қарағанда оңай тексеріледі.

Дәйексөзді қалай көрсетсе, тез тексеріледі

Адам жауапты тексергенде әдемі үзіндіні емес, дереккөздегі дәл орынды іздейді. Сондықтан қысқа дәйексөз көбіне жарты бетке созылған ұзақ мәтіннен жақсырақ. Қажетті тұжырымы бар бір абзацты алсаңыз, мағына бірден көрінеді және тексеру бір минуттан аспайды.

Бұл форматта дәйексөз тірек сияқты жұмыс істеуі керек, фон сияқты емес. Ол үшін оны түпнұсқа сөздерімен көрсету керек. Дереккөзді дәйексөз ішінде қайта айтып бермеңіз және тұжырымды жауап стиліне бейімдеп алмаңыз. Автордың сөзін өз сөзіңізге ауыстырған сәтте тексеру енді мазмұндау туралы дау болып кетеді.

Дәйексөздің қасында тірек нүктесін берген пайдалы. Көбіне құжат атауы мен бөлімнің өзі жеткілікті. Тармақ нөмірі болса, оны да көрсеткен дұрыс. Сонда адамға бүкіл файлды ақтарып, керегін іздеудің қажеті болмайды.

Мысалы, мына нұсқаның орнына:

«Құжатта журналдарды шектеулі уақыт сақтау және жеке деректерді қорғау керек деп жазылған».

мынадай жазған дұрыс:

«Сұрау журналдары 90 күнтізбелік күн сақталады. Журналдардағы жеке деректер бүркемеленуі тиіс». «LLM-сұрауларын өңдеу» регламенті, «Журналдарды сақтау және аудит» бөлімі, 4.2-тармақ.

Екінші жағдайда әрі тұжырымның өзі, әрі оны қай жерден табу керегі көрінеді.

Дәйексөзді тексеруге ыңғайлы ететін нәрсе

Сұраққа тура жауап беретін ғана бөлікті алыңыз да, стиль құрғақ болса да, дереккөз сөздерін сол күйі қалдырыңыз. Құжат, бөлім және тармақты, егер бар болса, міндетті түрде жазыңыз. Егер ой екі жерге сүйенсе, оларды бір блокқа жабыстырмай, екі бөлек дәйексөз көрсетіңіз.

Соңғысы жиі еленбей қалады. Команда құжаттың әртүрлі бөлімдерінен үзінділерді біріктірсе, жауап сенімді көрінеді, бірақ тексеруші қай жерде бір ой аяқталып, қай жерде екіншісі басталғанын түсінбейді. Осылайша дереккөз қорытындыны тура айтып тұрғандай жалған әсер тудыру оңай, ал шын мәнінде ол бірнеше жердің құрастырмасы ғана.

Ішкі саясаттарда, келісімшарттарда және регламенттерде бұл әсіресе байқалады. Бір тармақ сақтау мерзімін, екіншісі ерекшеліктерді, үшіншісі жауапты қызметкерді сипаттауы мүмкін. Егер оларды бір «дәйексөзге» жапсыра салсаңыз, адам әр жерде не жазылғанын тез түсіне алмайды.

Егер құжат ұзақ болса, бәрін бірден көрсетуге тырыспаңыз. Бір дәл үзінді беріп, төменде оның мағынасын қысқаша түсіндірген жөн. Мұндай тәртіп шынайырақ әрі ыңғайлырақ.

Ішкі регламенттен мысал

Қолдау қызметінің қызметкері клиентпен сөйлесудің жазбасын шағым жабылғаннан кейін де сақтауға бола ма деп сұрайды. Егер жүйе бірден «иә» немесе «жоқ» десе, қызметкер бәрібір құжатты қарайды. Регламент мәтінінсіз мұндай жауапқа сену қиын.

Мұнда екі қадаммен берілген жауап жақсырақ жұмыс істейді. Алдымен жүйе ішкі құжаттың дәл үзіндісін көрсетеді. Сосын оны қарапайым тілмен түсіндіріп, болжамды ереже деп көрсетпейді.

«Компания сапаны бақылау және шағымдарды талдау үшін клиенттермен телефон сөйлесулерінің жазбаларын 90 күнтізбелік күннен артық сақтамайды. Қызметкерлер, егер заң немесе бөлек ішкі рәсім тікелей талап етпесе, жазбаларды үшінші тұлғаларға бермейді.»

Дәйексөзден кейін жүйе былай жауап бере алады: жазбаны сапаны бақылау немесе шағымды талдау үшін, әрі сақтау мерзімі 90 күннен аспаса, сақтауға болады. Жазбаны сыртқы мердігерге беру регламент немесе бөлек рәсім бұған ашық рұқсат етпейінше болмайды. Егер қызметкер жазбаны «жай ғана болсын» деп қалдырғысы келсе, мәтін бұған рұқсат бермейді.

Құжаттың нені айтпайтынын да ашық көрсету пайдалы. Дәл осы жерде командалар жиі қателесіп, ережені өздері толықтырып жібереді. Мысалы, осы дәйексөзден мына нәрселер шықпайды:

• сөйлесудің транскрипциясын аудиомен бірдей шартта сақтауға бола ма
• сыртқы CRM үшінші тұлға болып санала ма
• 90 күннен кейін не істеу керек: жазбаны жою, оны анонимдеу немесе архивке көшіру

Егер құжат үнсіз болса, жүйе солай жазуы тиіс: «Комплаенстен немесе регламент иесінен нақтылау керек». Бұл әдемі, бірақ тәуекелі бар жауаптан жақсы. Клиент деректерімен жұмыс істейтін командалар үшін мұндай формат даулы түсіндіру қаупін едәуір азайтады.

Командалар көбіне қай жерде қателеседі

Команда дереккөзге сүйенген жауап енгізгенде, қарапайым логиканы жиі бұзады: алдымен модель ұзақ қорытынды береді де, дәйексөзді төменге жасырады. Оқырман дайын интерпретацияны көріп қойды, бірақ оның неге сүйенгенін әлі түсінбеді. Мұндай жауаппен дауласу қысқа дәйексөз бен анық түсіндіруден гөрі әлдеқайда қиын.

Әдетте бұл жақсы ниеттен болады. Команда жауап «адамша» әрі тегіс шықсын дейді де, ыңғайлы мазмұндауды бірінші қояды. Бірақ даулы жерлерде, әсіресе регламенттерде, келісімшарттарда және ішкі ережелерде, тегістік кедергі келтіреді. Негіз бірден көрінбесе, жауап сенімнен айырылады.

Көбіне мынадай қателер кездеседі:

• алдымен бірнеше жолдық жалпы қорытынды беріледі, ал дереккөз үзіндісі кейінірек келеді
• жүйе тым кең мәтінді алады: тақырып бар, бірақ дәл тұжырым, мерзім немесе ерекшелік жоқ
• команда модельдің мазмұндауын «дәйексөз» деп атайды, бірақ дереккөздің сөзі өзгеріп кеткен болады
• жауаптан «қоспағанда», «кешіктірмей», «тек ... болғанда», «келісуден кейін» сияқты шектеулер түсіп қалады

Бұл ішкі құжаттарда жақсы көрінеді. Айталық, қызметкер оқуды өтетуге бола ма деп сұрайды. Регламентте: «Компания оқу шығынын басшымен келісіп, жылдық 150 000 теңге лимиті аясында өтейді» деп жазылған. Нашар жауап былай естіледі: «Иә, компания оқу шығынын өтейді». Тақырып табылды, бірақ мағына бұзылды. Келісу де, лимит те жоғалды.

Тағы бір жиі қате тым жалпы үзінді таңдаудан шығады. Модель «қызметкерлерді оқыту және дамыту» деген абзацты тауып, соған сүйеніп қорытынды жасайды, ал нақты ереже төменде, сома мен шарттары бар қысқа жолда жатыр. Жалпы үзінді салмақты көрінеді, бірақ пайдасы аз.

Мазмұндауды дәйексөздің орнына беру одан да қауіпті. Егер модель «бекітілуі мүмкін» дегенді «рұқсат етіледі» деп өзгертіп жіберсе, ол белгісіздік дәрежесін алып тастайды. Күнделікті әңгімеде бұл ұсақ нәрсе. Ал саясатты, келісімшартты немесе заңды тексергенде бұл мүлде басқа норма.

Жақсы тест өте қарапайым: интерпретацияны алып тастап, тек дәйексөзді қалдырыңыз. Егер соның өзімен жауапты тез тексеру мүмкін болмаса, команда дұрыс үзіндіні таңдамаған. Егер дәйексөзден ереже көрініп, бірақ шектеулер көрінбесе, ең маңыздысы қысқарып қалған.

Іске қоспай тұрып жылдам тексеру

Іске қосар алдында бір ыңғайсыз сұрақ қойыңыз: пайдаланушы қорытындының қайда сүйеніп тұрғанын өзі түсіне ала ма? Егер жоқ болса, формат әлі шикі. Мұндай жауап тек негіз бірден көрінгенде ғана жұмыс істейді, оны төменге жасырып қоюға немесе бөлек терезеге шығаруға болмайды.

Дайын жауапты ашып, алғашқы жолдарға қараңыз. Пайдаланушы алдымен бастапқы тұжырымды, содан кейін ғана қарапайым тілмен қысқа түсіндіруді көруі керек. Егер алдымен мазмұндау келіп, дәйексөз кейін тұрса, адам интерпретацияны факт деп қабылдап үлгереді.

Факт пен түсіндіруді анық бөлу жақсы. Тіпті қысқа құрылымның өзі көмектеседі:

• алдымен дереккөздің сөзбе-сөз үзіндісі
• кейін жаңа факт қоспай түсіндіру
• одан соң, қажет болса, нақты жағдайға арналған қорытынды

Бұл іске қоспай тұрып-ақ таластың жартысын азайтуға жетеді. Пайдаланушы құжаттың өзі не дейді, ал жүйе қай жерде қорытынды шығаратынын көреді.

Тағы бір пайдалы тест бар. Жүйені баптауға қатыспаған адамға жауап беріп, оны команда не әзірлеушінің көмегінсіз тексеруді сұраңыз. Егер ол: «Бұл қайдан алынды?» немесе «Бұл қайда жазылған?» деп сұраса, формат сынақтан өтпеді. Дұрыс жауапты бір минутта тексеруге болады: дәйексөзді оқу, оны түсіндірумен салыстыру және мағына шетке ауып кетпегенін көру.

Әдетте не бұзылады

Мәселелер ең жақсы даулы сұрақтарда көрінеді. Сұраныс қарапайым болғанда кез келген шаблон дерлік ұқыпты көрінеді. Қиындықтар дереккөз екіұшты, ескірген немесе екі түрлі оқуға мүмкіндік берген жерде басталады.

Сондықтан ерекше жағдай, құжатта ұқсас тұжырымдар, пайдаланушы нақты қорытынды сұрағанда, ал дереккөз сақтық танытқанда немесе дәйексөз ұзын болып, оны қатты қысқартқыңыз келгенде бөлек тексеріңіз.

Егер осындай мысалдарда формат дәйексөзді және түсіндіруді араластыра бастаса, іске қосуға әлі ерте. Әсіресе жүйе сөйлемді соншалық қысқартып жіберсе, шарт, мерзім немесе шектеу жоғалып кетсе, қауіпті.

Кішкентай мысал. Компания саясатында: «Қашықтан қолжеткізу жобалық қажеттілігі бар қызметкерлерге келісілді» деп жазылған. Егер жауап: «Қашықтан қолжеткізу қызметкерлерге рұқсат етілген» десе, ол мағынаны жоғалтады. Пайдаланушы алдымен толық тұжырымды, содан кейін түсіндіруді көруі керек: қолжеткізу мүмкін, бірақ бәріне емес және тек келісуден кейін ғана.

Мұндай жауаптарды жұмыс жүйелеріне енгізетін командалар үшін тағы бір нәрсені тексеру пайдалы: бұл тәртіп жүктеме кезінде, ұзын диалогтарда және анық емес сұрақтарда тұрақты қала ма. Егер формат кейде бірден қорытындыға секіріп кетсе, оған деген сенім тез төмендейді. Бір даулы жауап он ұқыпты жауаптан жақсырақ есте қалады.

Әрі қарай не істеу керек

Жауап форматын өнімнің бәрінде бірден өзгертпеңіз. Алдымен қателіктің бағасы жоғары немесе дау тудыруы оңай 3-5 сценарийді алыңыз. Әдетте бұлар ішкі регламенттер, келісімшарт шарттары, тарифтер, келісу ережелері және қызметтік нұсқаулықтар бойынша сұрақтар болады.

Сосын бірдей сұрақтар жиынтығында екі тәсілді салыстырыңыз. Бірінші нұсқа — мәтінге сүйенбейтін кәдімгі жауап. Екінші нұсқа — «алдымен дәйексөз, кейін қысқа интерпретация» схемасы. Айырмашылық тез көрінеді: бір жерде екінші формат сәл ұзындау болуы мүмкін, бірақ оны тексеру оңайырақ, ал даулы түсіндірулер азаяды.

Үлгі ретінде ойдан шығарылған мысалдардан гөрі, команданың нақты сұрақтарын алған дұрыс. Егер қызметкерлер жиі: «Осы дерек түрін мердігерге беруге бола ма?» немесе «Мұндай төлемді кім келіседі?» деп сұраса, дәл сол формулировкаларды тексеріңіз. Сонда дереккөзге сүйенген жауаптың шынайы жұмыста көмектесетінін тез түсінесіз.

Пилот созылып кетпеуі үшін қысқа жоспар жеткілікті:

• бірнеше жиі әрі тәуекелі жоғары сценарийді таңдау
• құжаттар бойынша 20-30 нақты сұрақ жинау
• оларды ескі форматта және «дәйексөз + интерпретация» форматында өткізу
• қызметкер жауапты бір минутта тексере алған жерлерді белгілеу
• қай шаблон аз дау мен нақтылауды тудырғанын тіркеу

Осыдан кейін шаблонды бірден екі жерде бекітіңіз: промптта және интерфейсте. Егер ережені тек промптта қалдырсаңыз, модель кейде жауапты қысқартып немесе бөліктердің орнын ауыстырып жібереді. Сол құрылымды интерфейске де қоссаңыз, пайдаланушы жауапты оңайырақ оқиды: алдымен негіз, сосын қорытынды.

Шаблонның өзі күрделі болмауы керек. Көбіне үш блок жетеді: «Дәйексөз», «Бұл нені білдіреді», «Егер құжатта тура жауап болмаса». Соңғы блок әсіресе пайдалы: ол мәтін үнсіз қалған жерде модельдің ойдан қосуына жол бермейді.

Егер команда бірнеше модельді бір API-шлюз арқылы салыстырса, мұндай тест одан да тез өтеді. Мысалы, AI Router-да airouter.kz арқылы бірдей сұрақтар жиынтығын әртүрлі OpenRouter-үйлесімді модельдерден бір OpenAI-үйлесімді эндпоинт арқылы өткізіп, тек түсіндіру сапасын ғана емес, әр модельдің дереккөзге сүйенген форматты қаншалықты тұрақты ұстайтынын да көруге болады. Бұл сөйлей білетін модельді емес, мұқият дәйексөз келтіріп, сирек жорамал жасайтын модельді таңдағанда ыңғайлы.

Көбіне осының өзі бір апта ішінде шешім қабылдауға жетеді. Қай модель сенімді естілетіні туралы емес, қай жауап форматын адамдар шынымен тексеріп, артық қайта жазусыз қолданатыны туралы.