Skip to main content

Table 18 Classification results for the data exfiltration dataset with sampling and default hyperparameters experiments; mean and standard deviations of AUC and AUPRC, (10 iterations of 5-fold cross-validation)

From: IoT information theft prediction using ensemble feature selection

Experiment name

Mean

SD

Mean

SD

AUC

AUC

AUPRC

AUPRC

CatBoost RUS 1:9

0.98588

0.02077

0.99148

0.01393

CatBoost RUS 1:3

0.98990

0.01378

0.99000

0.01384

CatBoost RUS 1:1

0.98918

0.01093

0.98100

0.03626

DT RUS 1:9

0.97883

0.02418

0.87681

0.04482

DT RUS 1:3

0.98413

0.01617

0.78582

0.06857

DT RUS 1:1

0.98131

0.01206

0.70475

0.07812

Light GBM RUS 1:9

0.98499

0.01852

0.98983

0.01417

Light GBM RUS 1:3

0.98947

0.01300

0.98032

0.03246

Light GBM RUS 1:1

0.98744

0.01019

0.94426

0.11722

LR RUS 1:9

0.95021

0.03785

0.90353

0.10087

LR RUS 1:3

0.95646

0.03519

0.80981

0.14864

LR RUS 1:1

0.96741

0.02800

0.71585

0.13645

MLP RUS 1:9

0.96662

0.02902

0.92406

0.10731

MLP RUS 1:3

0.96939

0.02808

0.81506

0.16246

MLP RUS 1:1

0.96725

0.02679

0.66960

0.13862

NB RUS 1:9

0.97480

0.02199

0.81701

0.05655

NB RUS 1:3

0.97185

0.02087

0.70617

0.06592

NB RUS 1:1

0.96574

0.02068

0.64355

0.06437

RF RUS 1:9

0.97567

0.02542

0.98981

0.01413

RF RUS 1:3

0.98787

0.01476

0.98985

0.01436

RF RUS 1:1

0.99011

0.01116

0.98924

0.01605

XGBoost RUS 1:9

0.98642

0.01975

0.98677

0.02014

XGBoost RUS 1:3

0.98707

0.01486

0.97802

0.04477

XGBoost RUS 1:1

0.98684

0.01235

0.94733

0.08212