Skip to main content

Table 3 Classification results for the information theft dataset with sampling and default hyperparameters experiments; mean and standard deviations of AUC and AUPRC, (10 iterations of 5-fold cross-validation)

From: IoT information theft prediction using ensemble feature selection

Experiment name Mean SD Mean SD
AUC AUC AUPRC AUPRC
CatBoost RUS 1:3 0.99836 0.00124 0.99982 0.00030
CatBoost RUS 1:1 0.99842 0.00130 0.99983 0.00029
DT RUS 1:3 0.99560 0.00253 0.99115 0.00358
DT RUS 1:1 0.99567 0.00201 0.98735 0.00468
Light GBM RUS 1:3 0.99723 0.00190 0.99934 0.00111
Light GBM RUS 1:1 0.99759 0.00188 0.99954 0.00079
LR RUS 1:3 0.99304 0.00280 0.99704 0.00228
LR RUS 1:1 0.99394 0.00258 0.99641 0.00419
MLP RUS 1:3 0.99498 0.00247 0.99844 0.00170
MLP RUS 1:1 0.99476 0.00241 0.99649 0.01032
NB RUS 1:3 0.99266 0.00254 0.97693 0.00522
NB RUS 1:1 0.99247 0.00276 0.97723 0.00736
RF RUS 1:3 0.99682 0.00207 0.99972 0.00050
RF RUS 1:1 0.99727 0.00172 0.99968 0.00057
XGBoost RUS 1:3 0.99711 0.00182 0.99956 0.00068
XGBoost RUS 1:1 0.99723 0.00163 0.99958 0.00061