Der Server-Kernel unterscheidet sich meines Wissens nur durch die "Preemption"-Einstellungen. Der Desktop-Kernel wird mit "CONFIG_PREEMPT_VOLUNTARY=y" kompiliert (mittlere Preemption), der Server-Kernel mit "CONFIG_PREEMPT_NONE=y", also ohne Preemption.
Preemption bedeutet welche Priorität der Kernel Vordergrundprozessen zuweist. Eine höhere Priorität für Vordergrundprozesse bedeutet bessere Reaktionszeiten für normale Anwendungen, verschlechtert aber die Leistung von Hintergrundprozessen (wie z.B. Apache oder ähnlichen Serverdiensten). Keine Preemption bedeutet das der Kernel allen Prozessen die gleiche Aufmerksamkeit widmet, was die Leistung von Server-Diensten verbessert, die Desktopleistung aber verschlechtert (Im Sinne der Reaktionszeit)
Dazu kommt noch das der Server-Kernel mit mehr RAM umgehen kann. Der Desktop-Kernel kann maximal 4GB adressieren, beim Server-Kernel sind es maximal 64GB (Immer nur bezogen auf den 32bit-Kernel. Der 64bit-Kernel ohne weiteres mehr als 4GB RAM adressieren). Letzteres lohnt sich aber nur in den allerwenigsten Fällen, da die Technik die dazu eingesetzt wird einiges an Leistung kostet. Zudem können nur sehr teure Serverboards mehr als 4GB RAM aufnehmen.
Debian hat übrigens auch mehrere Kernel. So gibt es den normalen Kernel "i686" und einen "Bigmem"-Kernel, welcher, wie Ubuntu, 64GB Hauptspeicher unterstützt. Er heißt halt nicht "Server", die Idee dahinter dürfte aber die gleiche sein.