ServiceNows AutoSynthData forvandler agentfejl til træningsguld

Kort svar: ServiceNow CoreAI's AutoSynthData omdanner agenters fiaskoer plus lærernes succeser til validerede syntetiske SFT-opgaver, når virksomheder har brug for miljøkompetence, ikke kun brede benchmarkscores. Den renser huller i kapacitetsspecifikationskort, multiplicerer verificerbart arbejde og måler derefter kvaliteten før finjustering. Forfatterrapporterede EnterpriseOps Gym-løft holder, hvis lærerstyrke, verificatorkvalitet og miljøtroskab stemmer overens.

Vigtige konklusioner:

Kompetencekort: Rens fejl ind i kort, så generatorer aldrig ser originale ID'er.

Verifikator-reviderbarhed: Foretrækker SQL-sluttilstandskontroller, der afviser muterede forkerte resultater.

Sværhedsgrad: Træn kun opgaver, som målet sjældent løser, og som læreren normalt klarer.

Menneskelig gennemgang: Hold menneskelig gennemgang af politikker med høj indsats og irreversible handlinger før genoptræning.

Flytning af grænse: Efter SFT, revurder og skift målfasen mod de resterende huller.

Virksomheders AI-agenter fejler sjældent, fordi de mangler generel viden. De fejler, fordi miljøet er specifikt: ticketpolitikker, skema-særheder, værktøjskontrakter, seedede databaser, vidensartikler og tværgående arbejdsgange, der ikke ligner lærebogsdemoer. En model, der scorer godt på åbne benchmarks, kan stadig gå i stå, når det næste trin skal respektere et ændringsvindue, en CMDB-relation eller en verifikator, der kontrollerer den endelige tilstand i stedet for flydende chat.

ServiceNow CoreAI / ServiceNow-AI udgav AutoSynthData for at angribe dette hul direkte. Den navngivne forfatter Esakkivel Esakkiraja beskriver en pipeline, der konverterer en målagents fejl - sammen med en stærkere undervisers succeser - til validerede syntetiske træningsopgaver skræddersyet til virksomhedsmiljøer. Pointen er ikke at indsamle flere chatlogs. Det er at multiplicere hårdt, verificerbart arbejde, der udøver den samme kapacitet under nye forhold, så overvåget finjustering kan lukke miljøspecifikke huller.

Denne artikel gennemgår kerneideen, opgaveabstraktionen, genererings- og kvalitetskontrolløkken, den delte arkitektur og forfatterrapporterede resultater om EnterpriseOps Gym i hybrid- og ITSM-miljøer. Den holder sig til det, forskningen beskriver: et bevægeligt pensum af syntetiske opgaver, ikke en påstand om, at enhver virksomhed pludselig er løst.

Hvorfor miljøkompetence overgår bred kapacitet

Virksomheder har brug for agenter, der arbejder i deres miljø - deres systemer, regler og datatilstand. Bred kapacitet er ikke det samme som miljøkompetence. En agent kan vide, hvordan IT-servicestyring normalt fungerer, og stadig overse den lokale politik, der forbyder visse overgange, eller det værktøj, der kun opdaterer en relateret tabel, når en forudsat post findes.

Individuelle fejl er informative, men lige så tynde som træningsdata. Én afbrudt bane viser en svaghed; den leverer ikke de snesevis af nærliggende situationer, der ville lære modellen at genvinde under variation. Teams har brug for mange nye opgaver, der udøver den samme kapacitet forskelligt, forbliver fuldførbare i miljøet, føles realistiske, som brugeren beder om, og forbliver verificerbare i forhold til resultattjek.

Det er designpresset bag AutoSynthData. Fejl bliver signaler for kompetencekort. Kort bliver generatorer for nye opgaver. En stærkere lærer demonstrerer succesfulde udviklingsforløb. Filtre og verifikatorer bestemmer, hvad der indgår i det overvågede finjusteringssæt. Efter træning flytter evalueringen grænsen mod de resterende huller. Løkken er pensumformet snarere end en engangsdatadump.

Framing er vigtig for praktikere. Hvis du kun gemmer fejlende prompts, risikerer du at overtilpasse til netop disse enheder og formuleringer. Hvis du kun genererer ubegrænsede syntetiske forespørgsler, risikerer du opgaver, der er umulige, urealistiske eller ikke-verificerbare. AutoSynthData befinder sig mellem disse yderpunkter: sanerer det, der fejlede, til en funktionsspecifikation, og regenererer derefter opgaver, der bevarer den hårde kerne, samtidig med at overfladeform og kontrollerbare dimensioner ændres.

Den praktiske opgaveform: system, prompt, verifikator

En brugbar abstraktion for agentarbejde er: opgave er lig med systemspecifikation, brugerprompt og verifikator. Hver del bærer begrænsninger, der holder syntetiske data forankret og troværdige.

Systemspecifikation dækker begrænsninger, politikker og initialtilstand - for eksempel databasefrø og vidensartikler. Den skal forblive kompatibel med tilgængelige værktøjer og tilstande. Vilkårlige sværhedsbegrænsninger, der ignorerer værktøjskontrakter eller frørealisme, har en tendens til at skabe skrøbelige opgaver, der lærer den forkerte lektie.

Brugerpromptkvalitet har tre linser. Gennemførlighed spørger, om der findes en gyldig bane. Realisme spørger, om en bruger plausibelt ville anmode om dette. Vanskelighedsgrad spørger, om opgaven afslører en aktuel svaghed hos agenten snarere end noget, som målet allerede løser pålideligt. En prompt, der er triviel for målet, spilder træningsbudgettet; en prompt, der er umulig, spilder evalueringstillid.

Verifikatorkvaliteten afhænger af konsistens, soliditet og fuldstændighed. For slappe og svage baner fungerer. For restriktivt til en enkelt bane, og gyldige alternative løsninger mislykkes. Virksomhedsmiljøer foretrækker ofte SQL-baserede eller tilstandsbaserede resultattjek, fordi de bedømmer verden, efter agenten har handlet, ikke den nøjagtige token-sti, agenten har taget.

AutoSynthData læner sig op ad denne triade, så genereret arbejde forbliver jordforbundet. Generatorer opfinder ikke fritflydende quizzer. De producerer opgaver, der kan udføres i miljøadapteren og bedømmes af verifikatorer, der er opmærksomme på de nødvendige egenskaber ved den endelige tilstand.

Fra diagnostisk evaluering til kapacitetsspecifikationskort

Pipelinen begynder med en diagnostisk evaluering af målgruppen og en stærkere lærer i miljøet. Side-om-side-analyser afslører, hvor målet fejler, og hvor læreren har succes. Disse kontrasterende cases er råmaterialet for læseplandesign.

Dernæst kommer destillationen til rensede kapacitetsspecifikationskort. Et kort registrerer den kapacitet, der testes, relevante værktøjer eller arbejdsgangsform, hvor målet fejler, og læreren lykkes, nødvendige egenskaber for den endelige tilstand og dimensioner, der kan variere, når nye opgaver opfindes. Vigtigt er det, at generatoren ikke modtager originale prompter, enheder, baner eller verificeringsoplysninger - kun kortene.

Den oprensning er et bevidst træk mod overfit. Hvis generatoren så de nøjagtige fejlbehæftede billetnumre, vidensartikel-ID'er eller lærerspor, ville den være fristet til at parafrasere den samme episode. Kortene fremtvinger abstraktion: Lær evnen under kontrollerbar variation, ikke den memorerede instans.

Når kortene er oprettet, genererer systemet nye opgaver ud fra dem. Læreren demonstrerer derefter vellykkede forløbskurver til overvåget finjustering. Disse demonstrationer er ikke frit formulerede råd; de er miljøbaserede succeser, der består den samme form for verifikation, som pensum lægger vægt på.

To fasers strukturskala. Målfasen fokuserer på kernekontrollerede prøver omkring huller - opgaver med det højeste signal i nærheden af, hvor den svage agent bryder. Multiplikationsfasen skaber nye varianter af accepterede mål. Multiplicerede prøver kan ikke udløse yderligere multiplikationsrunder, hvilket begrænser afdrift. Denne regel er lille, men vigtig: ubegrænset rekursiv variation kan vandre væk fra den funktion, kortet nævnte.

Delt controller, miljøadapter og den bevægelige grænse

Arkitekturmæssigt bruger AutoSynthData en delt controller plus en miljøadapter. Controlleren orkestrerer diagnose, kortlægning, generering, lærerdemoer, kvalitetsporte og batchgennemgang. Adapteren forbinder disse trin til en konkret virksomhedssandkasse - værktøjer, tilstand, politikker og verifikatorer - så den samme kontrolløkke kan sigte mod forskellige domæner uden at omskrive pensumlogikken fra bunden.

Efter superviseret finjustering revurderes pipelinen. Læreplanen bevæger sig derefter mod de resterende huller: en bevægelig grænse snarere end et statisk datasæt. Eksperimenter beskrevet i arbejdet fokuserer på superviseret finjustering. Den samme løkke kunne understøtte forstærkningslæring senere; denne retning er angivet som planlagt, ikke hævdet som afsluttet.

For enterprise-teams er den arkitektoniske lektion modulær. Controllere bør ikke hardcode ét enkelt ticket-skema. Adaptere bør eksponere tilstrækkelig tilstands- og værktøjsfidelitet til, at verifikatorer kan være meningsfulde. Læreplanen bør behandle evalueringsresultater som det næste input, ikke som en engangs-scoreboard.

EnterpriseOps Gym er det miljø, hvor denne tilgang blev illustreret. Det er en storstilet enterprise agent-bænk med omkring 1.150 ekspertkuraterede opgaver på tværs af 8 domæner, cirka 512 værktøjer, omkring 164 databasetabeller, containeriseret udførelse, SQL-baseret resultatverifikation, politikstyrede operationer, hybride tværdomænescenarier, infeasibility- og refusationstest samt langsigtede stateful-baner. AutoSynthData præsenteres ikke som opfinderen af ​​dette gym; gymnastiksalen er stresstest-bedet for synteseløkken.

Kvalitetskontrol på prøveniveau, der sikrer troværdighed i syntetiske opgaver

Generering uden gates er måden, hvorpå syntetiske agentdata går galt. AutoSynthData beskriver kvalitetskontrol på prøveniveau med adskillige supplerende kontroller.

Et filter for sværhedsgraden af ​​løseren styrer sættet mod opgaver, der er svære for målet og løsbare for læreren. Den beskrevne konfiguration favoriserer opgaver, som målet løser i højst et af tre forsøg, mens læreren klarer mindst to af tre. Det er i dette område, at superviserede demonstrationer kan lære noget, som den svage model ikke allerede besidder.

Positiv verifikation kræver, at en referencebane passerer verifikatoren. Negativ verifikation kræver, at muterede forkerte resultater fejler. Sammen tryktester de både accept- og afvisningssiden af ​​kontrolløren. Hvis kun positive resultater kontrolleres, kan en permissiv verifikator tillade ukorrekt arbejde. Hvis kun negative resultater kontrolleres, kan en over-stram verifikator afvise gyldigt arbejde.

En kritik- og reparationsløkke med en gentagelsesgrænse forsøger at reparere opgaver, der fejler ved gates, i stedet for at kassere alle næsten-fejl med det samme. Gentagelsesgrænser er vigtige: endeløs reparation kan opfinde stadig mere kunstige begrænsninger bare for at bestå en tjekliste.

Meta-gennemgang på batchniveau ser derefter på tværs af sættet for dækning, diversitet, redundans og fejlende mål. Sample gates holder individuelle elementer solide; batch-gennemgang forhindrer pensum i at klynge sig sammen på én smal fejltilstand eller klone næsten dubletter.

Disse kontroller forklarer, hvorfor pipelinen kan bruge timevis på at producere tusindvis af prøver uden at behandle volumen som en erstatning for tilpasning. Hastigheden varierer afhængigt af domæne og lærerstørrelse, men QC-historien er konsistent: sværhedsgrad, positiv og negativ verifikation, reparation med grænser og derefter meta-gennemgang.

Rå fejl vs. kort vs. validerede SFT-sæt

Det hjælper at sammenligne, hvad hver artefakt er god til. Rå fejllogfiler er diagnostiske. Kompetencekort er generative kontrakter. Validerede, overvågede finjusteringssæt er det, du træner i i praksis.

I Hybrid- og ITSM-snapshots på EnterpriseOps Gym brugte forfatterrapporterede kørsler Gemma-4-26B-A4B-it som mål. Hybrid parrede dette mål med Qwen3.8-27B som lærer og producerede omkring 2.000 hybridprøver på cirka 18 timer, med det bedste checkpoint ved epoch 5. Gennemsnitlig Pass@1 steg med 7,2 procentpoint - omkring 35 procent relativt - med verifikatorsucces, der bevægede sig fra 63,01 procent til 68,55 procent, hvilket lukkede omkring 59 procent af Pass@1-kløften til referencemodellen.

ITSM parrede det samme mål med DeepSeek-V4.1-Flash som lærer og producerede omkring 1.994 prøver på cirka 66 timer, længere tid delvist på grund af en større lærer og fordi nogle pipeline-optimeringer endnu ikke var på plads. Gennemsnitlig Pass@1 steg fra 18,77 procent til 27,18 procent.

Læs disse tal som resultater fra virksomhedens research om dette fitnesscenter for de testede domæner - ikke som en uafhængig tredjepartsreplikering og ikke som en universel virksomhedsgaranti. Fremskridt sker, hvor lærerens styrke, verificeringskvalitet og miljøloyalitet stemmer overens.

Hvad praktikere bør kopiere fra løkken

Selv hvis din stak ikke er ServiceNows forskningspipeline, overføres mønsteret. Start med parret evaluering af et produktionslignende mål og en stærkere lærer i en trofast sandkasse. Konverter kontrastfejl til kapacitetskort, der fjerner identifikatorer og baner. Generer opgaver, der varierer tilladte dimensioner, samtidig med at de nødvendige egenskaber for den endelige tilstand bevares. Få læreren til at demonstrere succeser. Gate med sværhedsgrader, positiv og negativ verifikation, begrænset reparation og batchdiversitetsgennemgang. Finjuster, revurder og flyt grænsen.

Vær særlig opmærksom på verifikatordesign. EnterpriseOps Gym-lignende SQL-resultattjek og politikstyrede operationer illustrerer, hvorfor chatrubrikker i sig selv er svage til stateful arbejde. Hvis din verifikator ikke kan skelne mellem muterede, forkerte resultater og korrekte slutresultater, vil syntetisk skala forstærke støj.

Respekter også ånden i multiplikationsreglen: varianter af accepterede mål bør ikke uendeligt så flere varianter uden at vende tilbage til verificerede kerner. Drift er stille. En læseplan, der langsomt opfinder mere eksotiske begrænsninger, kan stadig passere overfladiske filtre, mens den oprindelige evne forbliver undertrænet.

Til sidst, behandl hybridt arbejde på tværs af domæner som et førsteklasses stresstilfælde. Daglige brugere holder sig ikke inde i én værktøjssilo. Hybride opgaver, langsigtede baner og afvisning eller uigennemførlighedstest er hvor miljøkompetence viser sig - eller fejler højlydt.

Forbehold, begrænsninger og en omhyggelig aflæsning af gevinsterne

Forfatterrapporterede resultater på EnterpriseOps Gym er informative signaler, ikke en generel garanti. De offentliggjorte Hybrid- og ITSM-gevinster gælder for disse domæner og modelparringer under den beskrevne opsætning. Andre domæner, svagere lærere, mere støjende verifikatorer eller en mere overfladisk miljøgengivelse kan reducere eller slette fordelen.

Kvalitet afhænger af tre søjler, som ingen marketingglans kan springe over. Lærerens styrke sætter loftet for demonstrationer. Verifikatorkvalitet sætter troværdigheden af ​​etiketter og filtre. Miljøtroskab bestemmer, om tillært adfærd overlever kontakt med produktionssystemer, regler og datatilstand.

AutoSynthDatas eksperimenter lægger vægt på overvåget finjustering. Forstærkningslæring er nævnt som en mulig senere brug af den samme løkke, planlagt snarere end leveret i det rapporterede arbejde. Læsere bør ikke sammenblande en pensumklar datamotor med en færdig RL-træningspåstand.

Læserne bør heller ikke forveksle syntesepipelinen med selve bænken. EnterpriseOps Gym leverer de kuraterede opgaver, værktøjer, tabeller, containerisering og verifikationsstruktur. AutoSynthData bruger den slags miljø til at forvandle fejl til træningsguld. Giv begge dele korrekt kredit: gymnastiksalen stresser agenter; pipelinen multiplicerer lærbare opgaver fra diagnosticerede huller.

Der er heller ingen gratis frokost på computeren og kalendertid inde i sandkassen. Hybrid syntese blev gennemført i størrelsesordenen timer for omkring to tusinde prøver; ITSM tog længere tid med en tungere lærer og en tidligere pipeline-form. Holdene bør budgettere til lærerinferens, genforsøg i kritik eller reparation og reevaluering efter hvert pensumtrin.

Læreplanstænkning for virksomhedsagentteams

Den dybeste idé i AutoSynthData er snarere curriculum end rent generativ. Fejl diagnosticerer. Kort abstraherer. Generering multipliceres. QC validerer. SFT opdaterer målet. Reevaluering flytter grænserne. Denne sekvens behandler agentforbedring som en række miljøbaserede lektioner i stedet for en enkelt offline dump af spor.

Læreplanstænkning ændrer, hvordan ledere fordeler indsats. I stedet for kun at bede om flere billetter eller flere menneskelige annotationer, så spørg hvilke evner der stadig fejler under variation, om disse evner har rene sluttilstandsegenskaber, og om en stærkere lærer kan demonstrere dem pålideligt. Hvis læreren ikke kan lykkes ofte nok, vil syntetisk SFT undervise i upålidelig adfærd. Hvis sluttilstandsegenskaberne er uklare, vil verificatorer skændes med gyldige strategier.

Det ændrer også, hvordan man taler om succes. At lukke en del af et Pass@1-hul i forhold til en referencemodel på Hybrid, eller at løfte ITSM Pass@1 fra de høje teenagere til de høje tyvere i forfatterrapporterede kørsler, er fremskridt inden for målt miljøkompetence. Det er ikke et bevis på, at alle arbejdsgange, alle politikker eller alle afslagssager er løst. Hold det bevægelige frontlinjesprog i gang: resterende huller bliver den næste Target-fase, ikke en eftertanke.

I forbindelse med programdesign bør denne løkke kombineres med menneskelig gennemgang, hvor der er høje indsatser - sikkerhedspolitikker, irreversible handlinger, regulerede data - samtidig med at automatiserede porte bærer volumen på velspecificerede tilstandskontroller. Syntetiske data fungerer bedst, når miljøet kan sige ja eller nej med SQL-lignende klarhed. Det kæmper, når succes er subjektiv smag.

Designnoter om vanskeligheder, realisme og afvisning

Sværhedsgradsmålsætning fortjener et nyt blik. Ved at favorisere opgaver, som målet løser højst en tredjedel af tiden, holdes træningen væk fra trivialiteter. Ved at kræve, at læreren lykkes mindst to tredjedele af tiden, holdes demonstrationer væk fra møntkast. Dette bånd er et praktisk kompromis mellem udfordring og lærbarhed.

Realisme er fortsat et blødere kriterium, men stadig essentielt. Virksomhedsbrugere beder om ting, der passer til deres roller og systemer. Generatorer, der kun styres af hårdhed, kan opfinde komplicerede multi-begrænsningsgåder, som ingen operatør ville bede om. Evnekort, der angiver variable dimensioner, hjælper, men mennesker eller meta-anmeldelser skal stadig fange surrealistiske prompts.

Afslags- og uigennemførlighedstest, der findes i EnterpriseOps Gyms bredere design, minder teams om, at kompetence inkluderer at sige nej. En pipeline, der kun er optimeret til opgaver, der kan fuldføres, kan undertræne afslag. Når du udvider AutoSynthData-lignende loops, skal du inkludere kort, hvor den korrekte endelige egenskab er en sikker afvisning under politikken, ikke kun en vellykket mutation af databasetilstanden.

Langsigtede tilstandsfulde baner giver anledning til endnu en designbemærkning. Lærerdemoer skal forblive sammenhængende på tværs af mange værktøjskald. Verifikatorer, der kun kontrollerer den sidste tabelrække, kan overse mellemliggende politikbrud. Fuldstændighed i verifikatordesign betyder at dække de egenskaber, der virkelig definerer succes for den pågældende funktion - inklusive begrænsninger, der skal forblive sande hele vejen igennem, ikke kun til sidst.

Afsluttende opsummering

AutoSynthData, fra ServiceNow CoreAI / ServiceNow-AI og forfattet i den offentlige artikel af Esakkivel Esakkiraja, er en pipeline, der omdanner fejl hos mål-agenter plus lærersucceser til validerede syntetiske træningsopgaver til virksomhedsmiljøer. Den abstraherer fejl til rensede kapacitetsspecifikationskort, genererer nye opgaver uden at lække originale prompts eller baner, indsamler lærerdemonstrationer og håndhæver kvalitetskontrol på prøveniveau og batchniveau før overvåget finjustering.

Den praktiske mentale model er en opgave som systemspecifikation, brugerprompt og verifikator - med gennemførlighed, realisme og sværhedsgrad holdt i spænding, og med verifikatorer, der hverken er for slappe eller låst til én sti. Målret derefter Multiplikationsfaser, en no-further-seed-regel for multiplicerede prøver, delt controller plus miljøadapter og post-SFT-revaluering skaber en bevægelig grænse over resterende huller.

På EnterpriseOps Gym viser forfatterrapporterede Hybrid-resultater med Gemma-4-26B-A4B-it og Qwen3.8-27B cirka to tusinde prøver på omkring atten timer og betydelige stigninger i Pass@1 og verifikator-succes, hvilket lukker en stor del af hullet til en referencemodel. ITSM med DeepSeek-V4.1-Flash som lærer viser, at Pass@1 stiger fra 18,77 procent til 27,18 procent på omkring 1.994 prøver over en længere periode. Behandl disse tal som undersøgte signaler på specifikke domæner, afhængigt af lærer-, verifikator- og miljøfidelitet - og behold forstærkningslæring som en planlagt forlængelse af løkken, ikke en færdig påstand.

Hvis du husker én sætning: Enterprise-agenter forbedres, når fejl bliver abstraherede, multiplicerede, verificerede lektioner i de systemer, de skal betjene dagligt - ikke når teams blot afspiller den samme ødelagte sag.

Praktisk eksempel: Udvidelse af hårde ITSM-sager fra et fastfrosset fejlsæt i fitnesscenterstil

Scenarie

Et britisk virksomhedsplatformteam - forestil dig en mellemstor driftsgruppe inden for finansielle tjenester, der kører ServiceNow-lignende ITSM med ændringsvinduer, CMDB-relationer og politikstyrede overgange - har en produktionslignende agent, der bliver ved med at snuble over den samme arbejdsklasse: krydstabellopdateringer, der skal respektere en godkendelsesforudsætning, opslag i vidensartikler, der er i konflikt med lokale ændringsfrysninger, og hybride forespørgsler, der krydser ITSM ind i tilstødende driftsværktøjer.

De fryser en privat EnterpriseOps Gym-lignende suite (containeriseret sandkasse, SQL-resultattjek, seedede tabeller, politikregler), så scorerne er sammenlignelige fra uge til uge. Diagnostiske kørsler viser, at målagenten fejler, hvor en stærkere lærer har succes. Ledelsen ønsker mere træningssignal uden at afspille de samme ticketnumre og enheds-ID'er. AutoSynthData (eller en tilsvarende synth-from-failures-løkke, hvis forskningspipelinen er gated i deres stak) er kandidaten: omdan kontrastfejl til rensede kapabilitetskort, generer nye opgaver, indsaml lærerdemoer, og derefter - afgørende - gennemgå syntetiske spor af mennesker før eventuel gentræning.

Intet sendes på Gym Pass@1 alene. Synthesizer-data behandles som kandidatpensum, ikke som fri sandhed.

Hvad assistenten har brug for

• Adgang til den frosne Gym-lignende miljøadapter: værktøjer, seed-tilstand, politikker og SQL-verifikatorer (eller tilsvarende tilstandsbaserede).
• Parrede evalueringslogfiler: målfejl sat i kontrast til lærernes succeser på de samme opgaver.
• Et kortskema, der registrerer kapacitet, værktøjer/arbejdsgangsform, kontrast mellem fejl/lykkedes, nødvendige egenskaber for den endelige tilstand og tilladte variationsdimensioner - uden oprindelige prompts, enheder, baner eller verifikatorinternals.
• Regler for personoplysninger og politikker (ticket-id'er, brugernavne, CI-navne, regulerede felter), før noget forlader sandkassen eller indtaster en generatorprompt.
• En menneskelig gennemgangskø for samplede syntetiske opgaver og lærerspor (gennemførlighed, realisme, verifikators holdbarhed, afvisnings-/uigennemførlighedstilfælde).
• Ryd stopbetingelser: Målret og multiplicer derefter faser; multiplicerede prøver udløser ikke yderligere multiplikationsrunder.

Eksempelinstruktion

Platformen leder til pensumoperatøren (eller til en orkestreringsassistent, der kun udarbejder kort og gennemgår pakker - den omskoler eller promoverer ikke modeller):

"Kør diagnostisk Pass@1 på de frosne ITSM- og Hybrid-snit mod vores nuværende mål og den udpegede lærer. For hver kontrast, hvor målet fejler, og læreren lykkes med mindst to ud af tre forsøg, skal du udarbejde et renset kapabilitetsspecifikationskort: navngiv kapabiliteten, angiv relevante værktøjer, angiv de nødvendige egenskaber for den endelige tilstand, og angiv kontrollerbare dimensioner (prioritetsbånd, relateret CI-klasse, ændringsvindueflag, videnskonflikttype). Fjern billetnumre, bruger-id'er, CI-navne og rå baner. Generer en målfasebatch af nye opgaver fra kun disse kort. Få læreren til at demonstrere succeser. Anvend sværhedsbånd (mål ≤1/3, lærer ≥2/3), positiv og negativ verifikation og begrænset kritik/reparation. Producer en gennemgangspakke med 5% stratificerede prøver plus hvert afslag/uigennemførlighedskort. Start ikke SFT, før to korrekturlæsere underskriver pakken, og PII-scrub-tjek er bestået. Efter SFT på et kandidatcheckpoint, skal du revurdere den frosne suite og på et holdout-sæt med præcis match, som vi aldrig har brugt til generering. Rapporter dækning efter fejlklasse og regressionsrate versus tidligere produktionskontrolpunkt. Fremhæv ikke Gym-score alene.”

Sådan tester du det

1. Baseline-lås: Registrer Pass@1 og verifikator-succesrater på den frosne suite efter fejlklasse (forudsætningsrækkefølge, afvisning af ændringsvindue, hybrid krydsværktøj, videnskonflikt). Hold suiten og frøene uforanderlige i hele cyklussen.
2. Kortrevision: Stikprøvekontrol af, at generatorer aldrig modtager originale prompts, enheder eller lærerspor - kun kort.
3. Prøve-QC: Bekræft at positive baner består verificeringskriterier, og at muterede forkerte resultater fejler. Afvis opgaver, der er trivielle for målet, eller møntkast for læreren.
4. Menneskelig gennemgang: Kontrollører markerer hver prøve som behold/reparer/slip baseret på gennemførlighed, realisme og politiksikkerhed. Spor enighed mellem kontrollører om en delt delmængde.
5. Holdout-eksakt match: Efter kandidat-SFT, score en holdout af virkelige (eller tidligere frosne) opgaver, der aldrig var input til kortlægning eller generering. Score separat næsten-parafraser af træningsopgaver for at detektere overfladisk memorering.
6. Regressionsportal: Enhver fejlklasse, der forværres i forhold til det foregående produktionscheckpoint, blokerer forfremmelse, indtil den forklares eller rettes.

Resultat

Opfind ikke bake-off-procenter her. Brug en måleplan, og mærk publicerede forskningstal som ARTIKELPÅSTÅELSE, når du citerer dem.

Måleplan (hvad dette team skal rapportere):

• Dækning af fejlklasse: andel af diagnosticerede gap-klasser, der producerede ≥N accepterede målfaseopgaver efter kvalitetskontrol (definer N på forhånd, f.eks. 20 accepterede opgaver pr. klasse).
• Holdout-eksakt match: Pass@1 / verifikatorsucces på den uberørte holdout før vs. efter kandidat-SFT (samme seeds, samme verifikator).
• Regressionsrate: antal fejlklasser, hvor Pass@1 falder i forhold til det foregående produktionskontrolpunkt; bloker, hvis nogen sikkerhedskritisk klasse regreserer.
• Udbytte af anmeldelse: Behold / reparer / drop rates på den menneskelige anmeldelsespakke; hvis drop rate stiger, sæt Multiplikation på pause og reparer kort eller verificatorer.
• Scrub-fejl: antal prøver, der ikke bestod PII-/politiktjek før godkendelse af gennemgang (mål: nul escapes i SFT-sættet).

ARTIKEL PÅSTÅELSE (forfatterrapporteret på EnterpriseOps Gym - ikke dette holds målte resultat): Hybridkørsler med Gemma-4-26B-A4B-it som mål og Qwen3.8-27B som lærer producerede omkring 2.000 prøver på cirka 18 timer, med en gennemsnitlig Pass@1-procentstigning på omkring 7,2 procentpoint og en succes for verifikatorer, der bevægede sig fra 63,01% til 68,55%. ITSM med DeepSeek-V4.1-Flash som lærer øgede gennemsnitlig Pass@1-procent fra 18,77% til 27,18% på omkring 1.994 prøver over en længere periode (~66 timer). Behandl disse som undersøgte signaler på specifikke domæner og parringer, ikke en universel garanti for en britisk produktionsstak.

Illustrativ programform (antagelser, ikke målte gevinster): Hvis teamet accepterer ~2.000 QC-styrede prøver for én ITSM-cyklus, budgetterer lærerinferens plus gennemgang ved 5% stratificeret stikprøveudtagning og kun promoverer, når holdout ikke fører til regression af sikkerhedskritiske klasser, er det "resultat", de kan hævde med et ærligt blik, procesmodenhed - revideret pensum, rensede spor og sammenlignelige frozen-suite-deltaer - ikke en lovet procentvis stigning.

Hvad kan gå galt

• Behandling af synth som fri sandhed: Ved at springe menneskelig gennemgang eller negativ verifikation over, kan permissive verificatorer indrømme vrøvl i stor skala.
• Entitetslækage: Indføring af originale billet-ID'er eller lærerspor i generatoren inviterer til parafraseringsoverfitting; der findes kort for at forhindre dette.
• Ubegrænset multiplikation: At lade multiplicerede prøver så yderligere runder, driver væk fra den navngivne funktion.
• Gym-score-forsendelse: Reklame fordi frozen-suite Pass@1 steg, mens holdout eller produktionsskyggetrafik blev forværret.
• Svagt lærerloft: Hvis læreren ikke kan klare succesbåndet ≥2/3, underviser SFT i upålidelige demonstrationer.
• Fuzzy verifikatorer: Chatrubrikker i stedet for statsbaserede kontroller bedømmer flydende, forkerte eksamener som succes.
• Afvisning af undertræning: Optimering kun for mutationer, der kan fuldføres, gør ændringsvinduet og afvisninger af politikker skrøbelige.
• PII-escape: Syntetiske prompts, der genintroducerer rigtige CI- eller brugernavne efter en overfladisk scrub.

Praktisk takeaway

Brug AutoSynthData-lignende løkker - eller et tilsvarende synth-from-failures-mønster, hvis ServiceNow CoreAI-pipelinen ikke er tilgængelig i din lejeperiode - til at multiplicere hårde, verificerbare ITSM-sager fra diagnosticerede huller. Desinficer til kapacitetskort, gat med sværhedsgrad og positiv/negativ verifikation, scrub PII og menneskeligt gennemgåede prøver før SFT. Mål dækning af fejlklasse, holdout-eksakt match og regressionsrate. Citer kun ARTIKELKRAV Gym-tal som ekstern forskningskontekst. Synth-data er brændstof til pensum, ikke en garanti: revisionsprøver, hold pakken frossen for fair sammenligning, og send aldrig Gym-score alene.

Ofte stillede spørgsmål

Hvad er AutoSynthData, og hvilket problem er det rettet mod?

AutoSynthData er en ServiceNow CoreAI / ServiceNow-AI pipeline, beskrevet af Esakkivel Esakkiraja, der folder en målagents fejl sammen med en stærkere lærers sejre til validerede syntetiske træningsopgaver til virksomhedsmiljøer. Den fokuserer på miljøkompetence - lokale politikker, skemaer, værktøjer og tilstand - snarere end bred generel viden. Pointen er at multiplicere hårdt, kontrollerbart arbejde, så overvåget finjustering kan lappe miljøspecifikke huller i stedet for at gentage den samme ødelagte sag.

Hvorfor er miljøkompetence forskellig fra bred modelkapacitet?

Virksomhedsagenter snubler ofte, fordi selve miljøet er specifikt: ticketpolitikker, skema-særheder, værktøjskontrakter, seedede databaser og tværgående arbejdsgange. En model, der ser stærk ud på åbne benchmarks, kan stadig fryse i et ændringsvindue, en CMDB-relation eller en verifikator, der inspicerer den endelige tilstand. Bred kapacitet er ikke det samme som at vide, hvordan dine systemer, regler og datatilstand opfører sig under politikstyrede overgange.

Hvad er den praktiske opgaveform, som AutoSynthData bruger?

En brugbar form er opgave lig med systemspecifikation, brugerprompt og verifikator. Systemspecifikationen indeholder begrænsninger, politikker og initialtilstand såsom databasefrø og vidensartikler. Brugerprompter scores for gennemførlighed, realisme og sværhedsgrad. Verifikatorer læner sig ideelt set op ad SQL-baserede eller tilstandsbaserede resultatkontroller, så de bedømmer verden, efter agenten har handlet, ikke kun den nøjagtige tokensti, der er taget.

Hvordan forhindrer rensede funktionsspecifikationskort overfitting?

Diagnostik kører sammenligninger, hvor målet fejler, og læreren lykkes, og destillerer derefter disse tilfælde ned i rensede kapacitetsspecifikationskort. Et kort registrerer kapaciteten, værktøjerne eller arbejdsgangsformen, kontrasten mellem fejl/lykkes, de nødvendige egenskaber for den endelige tilstand og dimensioner, der kan variere. Generatoren ser aldrig originale prompter, enheder, baner eller verifikatordetaljer - kun kortene - så nye opgaver presser på den hårde kerne uden at parafrasere en memoreret episode.

Hvad er Target- og Multiply-faserne i pipelinen?

Målfasen koncentrerer sig om kernekontrollerede prøver omkring huller - opgaver med det højeste signal i nærheden af, hvor den svage agent bryder. Multiplikationsfasen spinder nye varianter af accepterede mål. Multiplicerede prøver kan ikke så yderligere multiplikationsrunder, hvilket holder driften væk fra den navngivne funktion i skak. Efter overvåget finjustering flytter revurderingen pensum mod de resterende huller som en bevægelig grænse snarere end et statisk dump.

Hvordan sikrer kvalitetskontrol på stikprøveniveau troværdighed hos syntetiske opgaver?

Et filter for sværhedsgrad af løseren favoriserer opgaver, som målet løser i højst et ud af tre forsøg, mens læreren lykkes i mindst to ud af tre. Positiv verifikation kræver en referencebane for at bestå; negativ verifikation kræver muterede forkerte resultater for at mislykkes. En kritik- og reparationsløkke med en grænse for gentagne forsøg forsøger at reparere næsten-uheld, og meta-gennemgang på batchniveau kontrollerer dækning, diversitet, redundans og mislykkede mål på tværs af sættet.

Hvilken arkitektur bruger AutoSynthData på tværs af virksomhedsdomæner?

Den parrer en delt controller med en miljøadapter. Controlleren kører diagnose, kortlægning, generering, lærerdemoer, kvalitetsporte og batchgennemgang. Adapteren kobler disse trin til en konkret sandkasse - værktøjer, tilstand, politikker og verifikatorer - så den samme kontrolløkke kan pege på forskellige domæner uden at omskrive pensumlogikken fra bunden.

Hvad er EnterpriseOps Gym i denne forskningskontekst?

EnterpriseOps Gym er den store enterprise agent-bænk, der bruges som stresstestplatform, med omkring 1.150 ekspert-kuraterede opgaver på tværs af 8 domæner, cirka 512 værktøjer, omkring 164 databasetabeller, containeriseret udførelse, SQL-baseret resultatverifikation, politikstyrede operationer, hybride scenarier og langsigtede tilstandsfulde baner. AutoSynthData præsenteres ikke som opfinderen af ​​dette gym; gymnastiksalen viser synteseløkken i aktion.

Hvilke forfatterrapporterede resultater vises for Hybrid- og ITSM-indstillinger?

På EnterpriseOps Gym producerede Hybrid med Gemma-4-26B-A4B-it som mål og Qwen3.8-27B som lærer omkring 2.000 prøver på cirka 18 timer, med en gennemsnitlig Pass@1-værdi op omkring 7,2 procentpoint og en succesrate for verificatorer, der bevægede sig fra 63,01% til 68,55%. ITSM med DeepSeek-V4.1-Flash som lærer øgede gennemsnitlig Pass@1-værdi fra 18,77% til 27,18% på omkring 1.994 prøver over en længere periode. Behandl disse som undersøgte signaler på specifikke parringer, ikke en universel produktionsgaranti.

Hvilke fejl bør teams undgå, når de bruger synth-from-failures-loops?

Behandl ikke syntetiske data som fri sandhed, og spring ikke menneskelig gennemgang og negativ verifikation over. Undgå at indtaste originale billet-ID'er eller lærerspor i generatoren, lade multiplicerede prøver føre til yderligere runder eller at promovere på Gym Pass@1 alene, mens holdout eller skyggetrafik forværres. Vær også opmærksom på svage lærere under succesbåndet, fuzzy chatrubrikker i stedet for statskontroller, sager om afslag på underuddannelse og PII, der slipper væk efter en overfladisk scrub.

Referencer

1. Krammeansigt — AutoSynthData — huggingface.co
2. EnterpriseOps Gym — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Gym — github.com