Rezultate de antrenare și evaluare
Rezultatele reale ale tuturor modelelor antrenate sau evaluate pe AI Hub, cu costul măsurat (timp GPU, energie). Toate cifrele provin din rulările MLflow de pe mlflow.onprem.ai-hub.cloud; nu există valori simulate.
Pe scurt
| Experiment MLflow | Rulări | Ce s-a făcut | Rezultat principal | Energie GPU măsurată |
|---|---|---|---|---|
whisper_ro_finetune_pipeline |
34 (33 terminate) | fine-tuning Whisper tiny → large-v3-turbo, full și LoRA; vectorul de cost complet; 2 re-antrenări din corecturi | WER mediu 5,84% (whisper-ro v3); 5,62% (v5) |
4,25 kWh |
gemma_ro_extraction_pipeline |
15 (10 terminate) | Gemma 3 1B / 4B / 12B, extracție JSON | F1 0,949 / 0,944 (zgomot) | 1,95 kWh |
gemma_ro_callcenter_pipeline |
7 | Gemma 3 ca agent call-center | acțiune corectă 84%, funcție corectă 68% | 1,23 kWh |
sentiment_ro_evaluation |
5 | evaluarea a 5 modele de sentiment | LaRoSeDa 98,7%, RoSent 95,7% | 2,6 kJ (cel ales) |
ocr_ro_finetune_pipeline |
6 | TrOCR pe documente românești, zero-shot vs fine-tuning | CER pagini 3,02%; factură → JSON F1 0,978 | ~0,8 kWh (antrenări 1,16 + 1,56 MJ) |
object_detection_pipeline |
6 | detecție cu parametri, 14 clase, zero-shot vs fine-tuning | mAP@0.5 79,7% (GPU) / 68,1% (mobil) | 0,84 kWh |
semantic_segmentation_pipeline |
2 | acoperirea terenului Sentinel-2, mobil vs GPU | mIoU 72,4 / 73,9 | 0,23 kWh |
promptable_segmentation_pipeline |
3 | SAM / MobileSAM zero-shot | mIoU casetă 79,6–81,8 | nelogată (doar J/imagine) |
face_expression_pipeline |
3 | expresii: zero-shot vs fine-tuning | 97,98% sintetic, 93,33% real | 26 kJ |
face_pad_eval_pipeline |
3 | anti-spoofing pasiv MiniFASNet | BPCER 1,53%, APCER replay 0% | 0,03 kWh |
video_optical_flow |
8 | RAFT small / large, GPU vs CPU, urmărire MOT17 | EPE 0,661; IDF1 46,1 → 49,1 | 11 kJ |
face_recognition_eval_pipeline |
6 | 6 modele faciale pe LFW | 99,67%, EER 0,32% | 87 kJ |
face_mask_pipeline |
6 (5 terminate) | mască: zero-shot vs fine-tuning | 98,74%, macro-F1 93,72% | 79 kJ |
sensor_anomaly_scenario_pipeline |
9 (8 terminate) | 5 configurații anomalie / prognoză / scenariu | ROC-AUC 0,933 / skill 0,52 / F1 0,91 | 65 kJ |
video_surveillance_benchmark |
9 | poză, obiecte, edge, CPU vs GPU | AP 0,653 / 0,512 | – (J/cadru în tabel) |
format_adapters_pipeline |
5 | adaptoare CPU vs GPU, inclusiv HEIC și WebP pe NVDEC | JPEG-2000 27,3× pe GPU; HEIC 1,19× | 58 kJ |
attention_forecast_pipeline |
3 | prognoza atenției umane, cu programul contractelor | MAE 0,56 h/săpt. | CPU |
aot_allocation_pipeline |
4 | alocarea în avans pe cele 4 moduri C.4 | EER efectiv 2,1–14,9% | CPU |
gdpr_anonymization_pipeline |
26 | anonimizarea la încărcare (fețe, PII în text) | – | – |
Energia GPU totală logată în MLflow (total_energy_j, acolo unde rularea o raportează), pe toate experimentele:
~9,4 kWh, din care 7,2 kWh în campania principală (Whisper și Gemma: 33 de rulări de fine-tuning, 9 evaluări de referință,
~26 h de antrenare pe NVIDIA A40). Pe proiecte (BI, întrebarea 15): Whisper 14,93 ore GPU, Gemma extracție 6,80,
Gemma call-center 4,58.
Vorbire: Whisper RO
Date: Common Voice ro + FLEURS ro + VoxPopuli ro (~111 h, licențe CC0 / CC-BY-4.0). WER după normalizarea normalize_ro
v3, 387–400 de enunțuri per set de test.
| Model | FLEURS val (WER %) | Common Voice, vorbitori noi | VoxPopuli val | Cea mai bună rulare | Rulări |
|---|---|---|---|---|---|
| whisper-tiny | 84,5 → 40,5 | 72,5 → 13,4 | 78,9 → 17,0 | tiny-full-lr1e-04 |
3 |
| whisper-base | 63,4 → 29,1 | 59,4 → 11,7 | 60,7 → 13,3 | base-full-lr5e-05 |
3 |
| whisper-small | 33,5 → 17,2 | 33,8 → 6,3 | 31,6 → 8,6 | small-full-lr2e-05 |
12 |
| whisper-medium | 22,6 → 11,5 | 19,4 → 4,5 | 18,4 → 8,4 | medium-full-lr1e-05 |
2 |
| whisper-large-v3-turbo | 10,9 → 8,7 | 9,2 → 2,7 | 11,6 → 6,2 | turbo-full-lr1e-05 |
2 |
(neantrenat → fine-tunat)
| Versiune în registru | Bază, metodă | WER mediu | Timp GPU | Energie |
|---|---|---|---|---|
whisper-ro v1 |
medium + LoRA r32 | 8,86% | 1,02 h | 0,294 kWh |
whisper-ro v2 |
large-v3-turbo + LoRA r32 | 6,45% | 1,41 h | 0,413 kWh |
whisper-ro v3 (versiunea servită anterior) |
large-v3-turbo, full fine-tune | 5,84% (CV 2,66 / FLEURS 8,70 / VoxPopuli 6,15) | 1,5 h | 0,42 kWh |
Efectul cumulării seturilor de date (Whisper small, full fine-tune, aceeași configurație):
| Date de antrenare | WER FLEURS | WER Common Voice | WER VoxPopuli | WER mediu |
|---|---|---|---|---|
| doar Common Voice | 26,2 | 8,6 | 19,4 | 18,1 |
| doar FLEURS | 23,7 | 20,7 | 27,8 | 24,0 |
| doar VoxPopuli | 22,9 | 13,2 | 10,3 | 15,5 |
| toate trei | 18,6 | 7,7 | 9,3 | 11,9 |
| whisper-ro v4 (re-antrenare din corecturi, lr 5e-6, 60 de pași) | v3 + corecturi Data Studio | 6,79% (mai slab; VoxPopuli 6,15 → 8,09) → quality_gate: failed, respins | – | – |
| whisper-ro v5 (lr 1e-6, 40 de pași) | v3 + corecturi Data Studio | 5,62% (față de 5,81% la reevaluarea v3) → poarta trecută, aprobat | – | – |
Câștigul v5 este mic: corecturile sunt puține, iar seturile de test sunt disjuncte de ele. API-ul servește acum v5. Detalii: Model Factory → Re-antrenare.
Vectorul de cost complet (rulări cost-v2, cu timpi pe pași, energie, trafic PCIe, VRAM, FLOP-uri pe tipuri de
operații): whisper_ro-small-full-cost-v2 (4 epoci) 686 s, 117,6 kJ, ≈ 3,9·10¹⁵ FLOP pe epocă, WER mediu 19,95%;
gemma_ro-ext-gemma3-1b-lora-r16-cost-v2 (2 epoci) 3.563 s, 454,8 kJ, F1 0,860. Vezi
Model Factory → Costul antrenării.
Viteză în API: RTF ≈ 0,05 (12,6 s de audio în ~0,66 s).
Text: extracție de date (Gemma 3)
Micro-F1 pe 140 de documente de test (14 familii), pe text curat și cu zgomot OCR puternic (n3):
| Model | F1 curat | F1 zgomot OCR (n3) | JSON valid |
|---|---|---|---|
| Gemma 3 1B, neantrenat | 0,528 | 0,363 | 127/140 |
| 1B full FT (2k ex.) | 0,885 | 0,816 | 137/140 |
| 1B LoRA r16 (6k ex.) | 0,934 | 0,884 | 139/140 |
| Gemma 3 4B, neantrenat | 0,890 | 0,848 | 140/140 |
| 4B full FT (2k ex.) | 0,945 | 0,924 | 140/140 |
| 4B LoRA r16 (2k ex.) | 0,948 | 0,940 | 140/140 |
4B LoRA r64 (2k ex.) – gemma-ro-extraction v1 |
0,949 | 0,944 | 140/140 |
| Gemma 3 12B, neantrenat | 0,918 | – | 138/140 |
| 12B LoRA r16 (1k ex.) | 0,941 | 0,929 | 140/140 |
Cost gemma-ro-extraction v1: 1,19 h GPU (1× A40), 0,327 kWh. În API: ~13 tokeni/s, o factură cu 10 poziții în ~70 s.
Text: asistent call-center (Gemma 3)
Primele trei coloane: replici din businessuri nevăzute la antrenare (422); ultima: domenii văzute (255).
| Model | Vorbește / apelează corect | Funcția corectă | Argumente exacte | Argumente exacte (domenii văzute) |
|---|---|---|---|---|
| Gemma 3 1B, neantrenat | 49% | 0% | 0% | 0% |
| 1B full FT | 78% | 55% | 30% | 56% |
| Gemma 3 4B, neantrenat | 54% | 8% | 6% | 16% |
| 4B full FT | 80% | 66% | 42% | 70% |
4B LoRA r16 (date v1, 2k) – gemma-ro-callcenter v1 |
84% | 68% | 50% | 74% |
| 4B LoRA r16 (date v6, 3k) | 81% | 63% | 48% | 73% |
| 12B LoRA r16 (1k) | 75% | 56% | 53% | 71% |
Cost gemma-ro-callcenter v1: 0,85 h GPU, 0,222 kWh; F1 al răspunsului vorbit 43,4%.
Text: sentiment
| Model (licență) | LaRoSeDa acc / F1 | RoSent acc / F1 | SST-2 (en) acc | Energie GPU totală |
|---|---|---|---|---|
clapAI/roberta-large-multilingual-sentiment (Apache-2.0) – sentiment-ro v1 |
0,9873 / 0,9873 | 0,9570 / 0,9564 | 0,8922 | 2.633 J |
| clapAI/modernBERT-base-multilingual-sentiment (Apache-2.0) | 0,8790 / 0,8786 | 0,7275 / 0,7274 | 0,9140 | 1.784 J |
| lxyuan/distilbert-base-multilingual-cased-sentiments-student (Apache-2.0) | 0,8273 / 0,8260 | 0,6016 / 0,5784 | 0,6927 | 621 J |
| distilbert-base-uncased-finetuned-sst-2-english (Apache-2.0) | 0,5817 / 0,4950 | 0,4556 / 0,3393 | 0,9106 | 905 J |
| mateiaassAI/teacher_laroseda (MIT) | 0,0280 / 0,0280 | 0,1499 / 0,1446 | 0,3406 | 862 J |
Modelul ales: pe LaRoSeDa precizie 0,9886, sensibilitate 0,9860, specificitate 0,9887. teacher_laroseda are etichetele
inversate în configurație (0,028 = 97,2% cu etichetele inversate), deci nu poate fi folosit așa cum e publicat.
Imagine: OCR documente românești
Test: 2.996 de segmente de text (o treime în fonturi nevăzute), 42 de pagini scanate, 14 facturi fotografiate, din documente nevăzute la antrenare. CER/WER în %, cu majuscule.
| Model | CER linii | CER linii, fonturi nevăzute | CER pagini | WER pagini | CER poze | WER poze |
|---|---|---|---|---|---|---|
| TrOCR-small zero-shot | 71,97 | 72,36 | 68,20 | 86,54 | 63,40 | 78,49 |
| TrOCR-base zero-shot | 71,74 | 72,06 | 67,83 | 85,55 | 63,29 | 77,77 |
| docTR zero-shot | – | – | 6,41 | 25,17 | 23,86 | 34,11 |
TrOCR-small fine-tunat (ocr-ro v1) |
0,31 | 0,53 | 3,02 | 4,46 | 20,22 | 11,77 |
| TrOCR-base fine-tunat | 0,63 | 0,95 | 3,25 | 5,33 | 20,72 | 13,99 |
| TrOCR-small fine-tunat + DB-MobileNet | 0,31 | 0,53 | 3,20 | 5,14 | 20,87 | 12,77 |
| Poză de factură → OCR → extracție JSON | F1 | JSON valid |
|---|---|---|
| textul original (limita superioară) | 1,000 | 14/14 |
OCR ocr-ro |
0,978 | 14/14 |
| OCR TrOCR-base fine-tunat | 0,948 | 13/14 |
| docTR zero-shot | 0,929 | 14/14 |
| TrOCR-small zero-shot | 0,827 | 14/14 |
| Configurație | Energie GPU / 1.000 linii | Energie / pagină | s / pagină | CPU ms/linie |
|---|---|---|---|---|
| TrOCR-small + DB-MobileNet („mobil”) | 1.360 J | 104 J | 0,96 | 261 |
TrOCR-small + DB-ResNet50 (ocr-ro) |
1.357 J | 107 J | 0,98 | 267 |
| TrOCR-base + DB-ResNet50 („data center”) | 5.451 J | 358 J | 1,64 | 1.593 |
Cost de antrenare: small 70 min pe A40, 1,16 MJ; base 92 min, 1,56 MJ.
Imagine: detecție de obiecte
Test: 2.991 de imagini Open Images, 14 clase (protocol cu etichete verificate); cost pe A40 fp16 și CPU 8 fire.
| Rulare | mAP@0.5 (14 cl.) | mAP@[.5:.95] | mAP@0.5 (10 cl. COCO) | J/imagine (b1) | CPU ms/imagine |
|---|---|---|---|---|---|
| SSDlite COCO, zero-shot | 45,2 | 31,9 | 63,2 | 4,36 | 54 |
| Faster R-CNN MobileNetV3, zero-shot | 51,1 | 36,1 | 71,5 | 5,32 | 279 |
| Faster R-CNN R50-FPN-v2, zero-shot | 56,5 | 44,8 | 79,1 | 10,92 | 2.174 |
SSDlite fine-tunat, 40 ep. (object-detection v1, mobil, servit) |
68,1 | 49,5 | 72,4 | 1,74 | 43 |
| Faster R-CNN MobileNetV3 fine-tunat, 15 ep. | 73,1 | 55,0 | 77,6 | 8,13 | 213 |
Faster R-CNN R50-FPN-v2 fine-tunat, 5 ep. (object-detection v2, GPU) |
79,7 | 63,3 | 85,3 | 12,69 | 1.969 |
Detectorul COCO al aplicației video: AP casete 0,512 (AP50 0,708) pe 500 de imagini COCO val2017; 43,9 ms/cadru și 11,6 J/cadru pe A40.
Imagine: segmentare
Semantică (acoperirea terenului, Sentinel-2 + ESA WorldCover, 708 pătrate de test din România):
| Model | mIoU 7 clase | mIoU toate | Acuratețe pixel | J/pătrat (b1) | CPU ms/pătrat |
|---|---|---|---|---|---|
LR-ASPP MobileNetV3 (semantic-segmentation v1, mobil) |
72,4 | 50,7 | 90,4% | 1,04 | 105 |
DeepLabV3-ResNet101 (semantic-segmentation v2, GPU) |
73,9 | 51,7 | 90,9% | 3,71 | 1.090 |
Non-semantică cu prompt (500 de imagini COCO val, zero-shot):
| Model | mIoU casetă | mIoU punct | J/imagine | Encoder CPU ms |
|---|---|---|---|---|
MobileSAM (instance-segmentation v1, mobil) |
79,6 | 58,1 | 17,8 | 627 |
| SAM ViT-B | 77,8 | 52,1 | 51,1 | 4.817 |
SAM ViT-H (instance-segmentation v2, GPU) |
81,8 | 59,9 | 159,4 | 14.144 |
Imagine: față
| Model | Acuratețe LFW | EER | TAR@FAR=0,1% | CPU 1 fir / față | Energie A40 / față |
|---|---|---|---|---|---|
| SFace (edge) | 99,27% | 0,97% | 98,53% | 29,6 ms | 69,5 mJ |
| SFace aliniat MediaPipe (browser) | 99,48% | 0,52% | 99,07% | 32,7 ms | 68,0 mJ |
| SFace int8 | 99,15% | 1,05% | 98,47% | 134,5 ms | – |
| dlib ResNet-29 | 98,92% | 1,12% | 92,10% | 119,0 ms | – |
| facenet VGGFace2 | 99,45% | 0,70% | 98,10% | 86,4 ms | 122,2 mJ |
| ArcFace R100 (data center) | 99,67% | 0,32% | 99,53% | 261,8 ms | 588,1 mJ |
Mască (396 de decupaje de test):
| Model | Acuratețe | Macro-F1 | CPU 1 fir | Energie / epocă | Durată antrenare |
|---|---|---|---|---|---|
| CLIP ViT-B/32 zero-shot | 78,54% | 57,57% | 239 ms | – | – |
| MobileNetV3-Small | 97,73% | 90,86% | 8,5 ms | 281 J | 91 s |
EfficientNet-B0 (face-mask v2) |
98,74% | 93,72% | 38,9 ms | 1040 J | 163 s |
| ResNet-50 | 97,98% | 91,33% | 129,9 ms | 1479 J | 187 s |
Expresii (UIBVFED sintetic, 7 clase; London Set real, neutru / fericit):
| Model | Sintetic: acuratețe / macro-F1 | Real: acuratețe | CPU 1 fir | Energie A40 / imagine |
|---|---|---|---|---|
| CLIP ViT-B/32 zero-shot | 37,37% / 22,23% | 65,56% | 202 ms | 446 mJ |
MobileNetV3-Small (face-expression v1) |
80,81% / 73,72% | 91,11% | 8,9 ms | 73 mJ |
EfficientNet-B0 (face-expression v2) |
97,98% / 91,90% | 93,33% | 45,6 ms | 281 mJ |
Anti-spoofing pasiv (eșantioane Axon Labs CC BY 4.0: 131 de probe reale, 277 de atacuri):
| Model | BPCER | APCER replay | APCER print | APCER mască hârtie | APCER silicon | EER | Energie A40 / față |
|---|---|---|---|---|---|---|---|
| MiniFASNet V2 | 3,05% | 1,69% | 42,86% | 90,48% | 100% | 19,29% | 33,5 mJ |
| MiniFASNet V1SE | 3,82% | 3,39% | 46,43% | 97,28% | 100% | 18,93% | 37,9 mJ |
ansamblu (face-antispoofing v1, în demo) |
1,53% | 0,00% | 46,43% | 94,56% | 100% | 19,67% | 63,4 mJ |
Senzori
| Sarcină | Baseline | Model înregistrat | Rezultat (test 2024–2025) |
|---|---|---|---|
| Anomalii (rată de alarmă 0,2%) | z-score: ROC-AUC 0,856, precizie 0,37 | Isolation Forest | ROC-AUC 0,933, PR-AUC 0,276, precizie 0,73 |
| Prognoză 1–24 h | persistență: MAE temp. 2,46 °C | LSTM 72 h | MAE 1,18 °C, UR 5,35%, presiune 1,45 hPa (skill 0,52 / 0,47 / 0,29) |
| Scenariu mană (Hutton) | persistență: ROC-AUC 0,58 | HGB | ROC-AUC 0,81, PR-AUC 0,37, F1 0,41 |
| Scenariu făinare (UC Davis) | persistență: ROC-AUC 0,89 | HGB | ROC-AUC 0,98, PR-AUC 0,98, F1 0,91 |
Cost: autoencoder dens 15 epoci / 34 s / 2,85 kJ; LSTM de prognoză 25 epoci / 209 s / 38,7 kJ (~1,5 kJ/epocă). Evidently: 0 din 7 coloane cu drift pe test vs antrenare; 3 din 7 pe fluxul 2026 (an mai cald și mai uscat).
Video
| Rulare | ms/cadru | cadre/s | J/cadru |
|---|---|---|---|
| Poză (numărare persoane), GPU | 82,6 | 11,3 | 16,2 |
| Poză, CPU 16 fire | 1866,5 | 0,53 | 114,4 (estimare) |
| Obiecte, GPU | 43,9 | 20,1 | 11,6 |
| Obiecte, CPU | 1592,9 | 0,62 | 96,1 (estimare) |
| Edge SSDlite, CPU 4 fire | 101,6 | 8,8 | 2,05 (estimare) |
COCO val2017 (500 de imagini): AP puncte cheie 0,653 (AP50 0,879), AP casete 0,512; eroarea medie de numărare 0,89 persoane/imagine; numărare exactă 69,2%.
Flux optic (Spring, zero-shot) și urmărire (MOT17, doar evaluare necomercială):
| Configurație | EPE (px) | ms/pereche | J/pereche |
|---|---|---|---|
| RAFT small, max 960 px (în aplicație) | 0,661 | 48,0 | 9,1 |
| RAFT large, max 960 px | 0,532 | 78,3 | 18,8 |
| RAFT small, CPU 16 fire | – | 852,4 | 47,2 (estimare) |
| Urmărire la 5 cadre/s | MOTA | IDF1 | HOTA | Schimbări de identitate |
|---|---|---|---|---|
| fără flux | 27,8 | 46,1 | 40,5 | 1343 |
| cu RAFT small | 31,8 | 49,1 | 42,0 | 522 |
Adaptoare de format
| Format | CPU | GPU | Câștig |
|---|---|---|---|
| JPEG-2000 | 7,8 MP/s | 58,8 MP/s; lot de 8: 213,3 MP/s | 7,5× / 27,3× |
| H.264 → tensor | 74,6 cadre/s | 116,2 cadre/s (NVDEC) | 1,56× |
| HEIC | 80,8 MP/s (libheif, 16 fire) | 95,9 MP/s (NVDEC HEVC) | 1,19× |
| WebP cu pierderi | 76,1 MP/s (libwebp, 16 fire) | 42,1 MP/s (NVDEC VP8) | 0,55×, CPU-ul rămâne liber |
| JPEG (referință) | 916 MP/s | 1257 MP/s (nvJPEG, lot) | 1,37× |
Atenție umană și alocare
Prognoza (Holt-Winters cu programul contractelor în vigoare): Data Augmentator, 96,3 h istoric, β = 0,44 h pe contract-săptămână, prognoză 13,7 h pe următoarele 12 săptămâni; MAE la backtest 0,56 h/săpt. cu program, față de 1,14 h/săpt. fără.
Alocarea în avans (AoT, 114 task-uri rămase în 9 proiecte):
| Mod | Ore | Cost | Energie | EER efectiv | Acoperire |
|---|---|---|---|---|---|
| a. buget de timp | 0,86 | 1.902 lei | 64,5 Wh | 14,3% | 80,0% |
| b. buget de energie | 0,82 | 1.839 lei | 61,3 Wh | 14,9% | 79,1% |
| c. protecții adversariale | 1,03 | 2.283 lei | 77,4 Wh | 13,2% | 69,6% |
| d. protecții colaborative | 1,12 | 2.473 lei | 83,9 Wh | 2,1% | 75,1% |
Calitatea |Q a adnotărilor (BI, întrebarea 22): acuratețe 76,5–97,5% și specificitate 88,9–100% pe cele 10 proiecte Data Studio; detalii în Data Augmentation.
Despre măsurători
Energia GPU este măsurată cu contorul NVML al plăcii NVIDIA A40 și include consumul în gol al plăcii. Serverul este o mașină virtuală fără RAPL, deci energia CPU nu se măsoară; acolo unde apare, este estimată (timp CPU × 7,32 W per nucleu) și marcată ca estimare. Căldura degajată este egală cu energia electrică consumată de GPU.