Der Name Rootkit entstand aus der Tatsache, dass die ersten Sammlungen von Unix-Tools zu oben genannten Zwecken aus modifizierten Versionen der Programme ps, netstat, passwd usw. bestanden, die dann jede Spur des Hackers, die sie normalerweise zeigen würden, verbargen, und es dem Hacker so ermöglichten, mit den Rechten des Systemadministrators root zu agieren, ohne dass der wirkliche Administrator dies bemerken konnte.

Rootkits, die modifizierte Programme einsetzen, um sich selbst zu verbergen, sind jedoch relativ einfach durch den Vergleich der Prüfsummen der Programmdateien aufzuspüren. Die LKM-Rootkits hingegen verbergen sich, indem sie spezielle Programmteile in den Betriebssystem-Kernel als nachladbare Kernel-Module installieren (LKM steht für engl. loadable kernel module), und einige Funktionen des Betriebssystems ersetzen.

Der Begriff ist heute nicht mehr allein auf Unix-basierte Betriebssysteme beschränkt, da es inzwischen Tools gibt, die ähnliche Funktionalität auch für Nicht-Unix-Systeme bieten, obwohl diese natürlich keinen root-Account haben.