Juhtrühma sätete seadistamise tuum on "alustase juhisena, vajadusel jagamine ja muutujate juhtimine". Valige oma valideerimiseesmärkide põhjal sobiv skeem. Allpool on kolm tavaliselt kasutatavat rühmakujundust erinevate vajaduste rahuldamiseks:
1. Põhiline valideerimise tüüp (Ainult kontrollimine, et uus algoritm on parem kui traditsiooniline algoritm): Lihtsaim ja tõhusaim, sobib enamiku stsenaariumide jaoks.
|
Grupi number |
Grupi nimi |
Algoritmi konfiguratsioon |
Funktsioon |
|
1 |
Algtaseme kontrollrühm |
Traditsiooniline fikseeritud läve võrdlusalgoritm |
Annab teie praegusele skeemile vastava toimivuse võrdlusaluse. |
|
2 |
Eksperimentaalne rühm |
Uus optimeeritud algoritm, mis tuleb kinnitada (nt faasitud dünaamiline + 3σ + EWMA kombineeritud algoritm) |
Testib uue algoritmi tegelikku jõudlust, võrreldes seda otseselt algtasemega. |
Kohaldatavad stsenaariumid: tuleb vaid kinnitada, kas uus algoritm on vanast algoritmist parem, ilma et oleks vaja iga optimeerimismooduli mõju purustada. Esimene valik tehniliste modifikatsioonide valideerimiseks, kõige vähem muutujaid ja kõige selgemaid tulemusi.
2. Mooduli lagunemise tüüp (iga optimeerimismooduli individuaalse võimenduse kontrollimine): sobib algoritmide väljatöötamiseks ja häälestamiseks. Kui soovite teada, kui palju jõudlust iga moodul ("etapiline lävi, 3σ värskendus, EWMA kompensatsioon") eraldi toob, kasutage seda rühmitusmeetodit:
|
Grupi number |
Grupi nimi |
Algoritmi konfiguratsioon |
Eesmärk |
|
1 |
Algtaseme kontrollrühm |
Traditsiooniline fikseeritud lävi (ilma optimeerimiseta) |
Algne baasjoon |
|
2 |
Üks optimeerimiskatse rühm 1 |
Ainult etapiviisiline dünaamiline lävi (ilma adaptiivse värskenduseta) |
Kontrollige ainult etapiviisilise läve valepositiivset redutseerimisefekti |
|
3 |
Topeltoptimeerimise katserühm 2 |
Järkjärguline dünaamiline lävi + 3σ läve värskendus (EWMA baasjoon puudub) |
Kontrollige täiendavat võimendust pärast 3σ värskendamist |
|
4 |
Täielik optimeerimise katserühm 3 |
Järkjärguline dünaamiline lävi + 3σ värskendus + EWMA baastaseme kompensatsioon (täielik kombineeritud algoritm) |
Kontrollige kogu algoritmi lõplikku mõju. |
Kohaldatavad stsenaariumid: algoritmi arendamise etapis, kui soovite selgitada iga optimeerimismooduli panust, hõlbustades ebaefektiivsete moodulite kõrvaldamist ja keskendudes tõhusatele optimeerimistele.
3. Konkurentsipõhine võrdlus (Erinevate peavoolualgoritmide eeliste ja puuduste võrdlemine): sobib valikustsenaariumide jaoks.
Kui teil on vaja valida mitme küpse algoritmi hulgast kõige sobivam algoritm, kasutage seda rühmitusmeetodit:
|
Grupi number |
Grupi nimi |
Algoritmi konfiguratsioon |
Funktsioon |
|
1 |
Algtaseme kontrollrühm |
Traditsiooniline fikseeritud lävi |
Põhiviide |
|
2 |
Peavoolulahenduste rühm 1 |
Etapipõhine dünaamiline lävi + 3σ värskendus |
|
|
3 |
Peavoolulahenduste rühm 2 |
EWMA adaptiivne kompensatsiooni algoritm |
|
|
Valikuline |
Kõrgekvaliteediliste{0}}lahenduste grupp |
Masinõppe anomaaliate tuvastamine |
Kõrgekvaliteediliste lahenduste-kulutõhususe{1}}testimine |
Kohaldatavad stsenaariumid: valik ja hankimine, lahenduste{0}}otsuste tegemine, kus erinevate küpsete algoritmide toimivuserinevused tuleb selgelt määratleda.
Grupi moodustamise põhiprintsiibid:
Iga rühm säilitab ainult ühe muutuja: Kõikidel rühmadel peab olema identne riistvara, töötingimused ja testimistsüklid, mis erinevad ainult algoritmi poolest; vastasel juhul on tulemused ebaselged.
Säilitada tuleb lähtetaseme kontrollgrupp: võrdlused ilma baasjooneta on mõttetud; kõik tulemused peavad olema ankurdatud algsele lahendusele, et näidata paremust või alaväärsust.
Rohkem rühmi ei pruugi olla parem: -arendusega mitteseotud optimeerimise stsenaariumide puhul piisab põhikujundusest "1 kontrollrühm + 1 katserühm"; liiga palju rühmi suurendab testimise töökoormust.
