Skip to main content

Table 33 Classification results for the keylogging dataset with sampling and default hyperparameters experiments; mean and standard deviations of AUC and AUPRC, (10 iterations of 5-fold cross-validation)

From: IoT information theft prediction using ensemble feature selection

Experiment name Mean SD Mean SD
AUC AUC AUPRC AUPRC
CatBoost RUS 1:3 0.99779 0.00151 0.99980 0.00034
CatBoost RUS 1:1 0.99796 0.00165 0.99981 0.00036
DT RUS 1:3 0.99557 0.00230 0.99103 0.00343
DT RUS 1:1 0.99573 0.00206 0.98674 0.00620
Light GBM RUS 1:3 0.99674 0.00201 0.99944 0.00099
Light GBM RUS 1:1 0.99720 0.00199 0.99962 0.00053
LR RUS 1:3 0.99455 0.00236 0.99720 0.00283
LR RUS 1:1 0.99524 0.00233 0.99650 0.00576
MLP RUS 1:3 0.99591 0.00212 0.99877 0.00148
MLP RUS 1:1 0.99617 0.00192 0.99750 0.00985
NB RUS 1:3 0.99176 0.00211 0.97408 0.00570
NB RUS 1:1 0.99189 0.00212 0.97173 0.00698
RF RUS 1:3 0.99649 0.00209 0.99971 0.00049
RF RUS 1:1 0.99688 0.00193 0.99961 0.00062
XGBoost RUS 1:3 0.99662 0.00197 0.99955 0.00065
XGBoost RUS 1:1 0.99685 0.00188 0.99956 0.00063