Uspešno završeno #testiranje 7 #ai LLM modela na svom računaru. Napisan je članak na tu temu a ovde ostavljam sumirane rezultate:

| Model                | Veličina    | ECO GPU | ECO CPU | PERF GPU | PERF CPU |
| -------------------- | ----------- | ------- | ------- | -------- | -------- |
| TinyLlama 1.1B Q4    | 636.18 MiB  | 15.02   | 3.68    | 15.23    | 7.59     |
| SmolLM2 1.7B Q4      | 1005.01 MiB | 9.19    | 2.31    | 9.48     | 4.76     |
| Qwen Coder 3B Q4     | 1.95 GiB    | 5.86    | 1.32    | 5.87     | 2.67     |
| SmolLM3 3B Q5        | 2.06 GiB    | 5.44    | 1.27    | 5.59     | 2.51     |
| Phi-3 Mini 3.8B Q4   | 2.23 GiB    | 5.03    | 1.10    | 5.02     | 2.19     |
| Qwen Coder 3B Q6     | 2.60 GiB    | 4.51    | 1.25    | 4.51     | 2.64     |
| BioMistral 7B Q3     | 3.56 GiB    | 2.12    | 0.51    | 2.17     | 1.08     |

Ja koristim termine "ECO" i "PERFORMANCE" ali logika je prosta: ako sistemu zatreba brzina, Intel Speed Shift omogućava da CPU brzo pređe iz stanja mirovanja sa 1200MHz na 3300MHz u jednoj sekundi. Naravno, OS igra ulogu u ovome ali je kod mene to konzervativno podešeno da radi na što nižoj frekvenciji:

sudo sysctl dev.hwpstate_intel.0.epp=100 \
            dev.hwpstate_intel.1.epp=100 \
            dev.hwpstate_intel.2.epp=100 \
            dev.hwpstate_intel.3.epp=100

Ja računar koristim za malo stvari stoga meni to odgovara a pored toga, u malom je kućištu pa **želim** da troši manje struje da bi bio stabilniji rad a ne da gledam kako zimi se kuva kućište na 60°C.