Damit ein client eine Verbindung zu einem X-server aufbauen kann, muß er hierzu autorisiert werden. In der ursprünglichen Definition des X11-Protokolls gab es nur die Autorisierung aufgrund der IP-Adresse des client-Rechners. Ein Benutzer, der auf einem entfernten Rechner eine Anwendung starten will, deren Ausgabe auf seinem Bildschirm erfolgen soll, kann mit Hilfe des xhost-Kommandos dem entfernen Rechner Zugang zu seinem X-server erlauben. Hierzu setzt er ein Kommando der Form XHOST+ System_Name ab, wobei System_Name der Name des entfernten Rechners ist. Diesem Rechner ist somit bis zum Ausloggen des Benutzers der Zugang zum X-server erlaubt. Entfällt die Angabe eines Systemnamens, wird die Zugangskontrolle deaktiviert. Mit dem Kommando XHOST- System_Name kann der Zugang wieder verwehrt werden.
Mit Release 4 des X11-Protokolls besteht nun die Möglichkeit, die Autorisierung auf ein Benutzer/Rechner-Paar auszuweiten [Mui92] [Shel92]. Einem Benutzer wird bei Beginn seiner Sitzung ein geheimes Paßwort, ein sogenanntes magic cookie, in einem File namens .Xauthority mitgeteilt. Dieses Paßwort muß nun verwendet werden, um eine X-Verbindung von einem entfernten Rechner aus zu initiieren. Der Benutzer überträgt hierzu das magic cookie mit Hilfe des Xauth-Kommandos an den entfernten Rechner, wo es in das dortige .Xauthority-File aufgenommen werden muß. Damit hat der Benutzer die Kontrolle, wer die Erlaubnis hat, auf seinen X-server zuzugreifen.