Wenn du dein System optimieren willst, dann stimmt das schon, dass du auf alle Fälle eher auf ein Unix-System umsatteln solltest, als auf ein Windows System. Es kommt eben auch immer drauf an, wie viel Komfort du brauchst.
Deine Anforderungen kann man mit jedem Unix System erfüllen, auch komplett ohne graphische Oberfläche.