Scenario | Extracted Embedding |
---|---|
All 12 layers | e1 – e12 |
Last layer | e12 |
Last 4 layers | e9 – e12 |
Last 2 layers | e11 – e12 |
First 2 + Last 2 | e1 – e2; e11 – e12 |
First + Last | e1; e12 |
Last 2 + Mid 2 | e11 – e12; e6 – e7 |
Last + Mid | e12; e6 |