Skip to main content

Table 18 Classification results for the data exfiltration dataset with sampling and default hyperparameters experiments; mean and standard deviations of AUC and AUPRC, (10 iterations of 5-fold cross-validation)

From: IoT information theft prediction using ensemble feature selection

Experiment name Mean SD Mean SD
AUC AUC AUPRC AUPRC
CatBoost RUS 1:9 0.98588 0.02077 0.99148 0.01393
CatBoost RUS 1:3 0.98990 0.01378 0.99000 0.01384
CatBoost RUS 1:1 0.98918 0.01093 0.98100 0.03626
DT RUS 1:9 0.97883 0.02418 0.87681 0.04482
DT RUS 1:3 0.98413 0.01617 0.78582 0.06857
DT RUS 1:1 0.98131 0.01206 0.70475 0.07812
Light GBM RUS 1:9 0.98499 0.01852 0.98983 0.01417
Light GBM RUS 1:3 0.98947 0.01300 0.98032 0.03246
Light GBM RUS 1:1 0.98744 0.01019 0.94426 0.11722
LR RUS 1:9 0.95021 0.03785 0.90353 0.10087
LR RUS 1:3 0.95646 0.03519 0.80981 0.14864
LR RUS 1:1 0.96741 0.02800 0.71585 0.13645
MLP RUS 1:9 0.96662 0.02902 0.92406 0.10731
MLP RUS 1:3 0.96939 0.02808 0.81506 0.16246
MLP RUS 1:1 0.96725 0.02679 0.66960 0.13862
NB RUS 1:9 0.97480 0.02199 0.81701 0.05655
NB RUS 1:3 0.97185 0.02087 0.70617 0.06592
NB RUS 1:1 0.96574 0.02068 0.64355 0.06437
RF RUS 1:9 0.97567 0.02542 0.98981 0.01413
RF RUS 1:3 0.98787 0.01476 0.98985 0.01436
RF RUS 1:1 0.99011 0.01116 0.98924 0.01605
XGBoost RUS 1:9 0.98642 0.01975 0.98677 0.02014
XGBoost RUS 1:3 0.98707 0.01486 0.97802 0.04477
XGBoost RUS 1:1 0.98684 0.01235 0.94733 0.08212