Seinen Namen hat der Turm wahrscheinlich von dem blauen Schiefer, mit dem das gotische Dach gedeckt war. Blauer Turm, Roter Turm sowie der abgebrochene dritte Turm waren die Eckpfeiler der Stauferburg und zur damaligen Zeit wohl auch gleich hoch, mit Zinnen und flachem Dach. Sie unterscheiden sich jedoch wesentlich in der Ausstattung. Das Baumaterial des Blauen Turmes ist einfacher, die Steine haben keinen Randbeschlag, der Balkon für den Wächter fehlt. Auch im Innern des Turmes ist alles einfach gehalten, man findet keine Turmstube, keinen Kamin, keine Wandnische. Lediglich an der Südseite befindet sich, wie am Roten Turm, ein Aborterker. Der Zugang jedoch, der dort hinführt und der jetzt leider zugemauert ist, war kurz, ohne künstliche Windungen. Dieses alles lässt den Schluss zu, dass der Blaue Turm nur für Soldaten eingerichtet war, der Rote Turm dagegen für den Burgherrn. 
Der Blaue Turm überstand den 30jährigen Krieg, brannte jedoch im Jahre 1674, als am Marktplatz und im Burgviertel dreißig Scheunen und Häuser in Flammen aufgingen, völlig aus. Er wurde wiederhergestellt und erhielt statt des bisherigen gotischen Aufbaus eine barocke Haube.

1848 brannte auch diese ab. Nun erhielt der Turm die Form, die er noch heute hat; oberhalb des romanischen Teiles die Wohnung des Turmwächters, darüber der massive Umgang mit vier Ecktürmen aus Sandstein, dazwischen den mit Schiefer gedeckten, spitzen Helm des Turmdaches. Es zeigte sich in der Folgezeit, dass der neue Aufbau viel zu schwer war; die Außenwände des Turmes begannen zu reißen. Man legte eiserne Klammern um den Turm, um ein weiteres Auseinanderweichen der Wände zu verhüten.

Zugleich wurde die Basis mit einem Sockel umzogen, um dem Turm mehr Festigkeit zu geben; der Zugang zum Aborterker wurde vermauert. Damals wurde auch der untere Eingang gebrochen. Vorher gelangte man über eine Leiter zu der hochgelegenen Rundbogentür, die in das Innere des Turmes führte. Ganz oben befindet sich die Wächterwohnung. Der Turmwächter war besonders wegen der Feuergefahr angestellt und musste die volle Stunde auf der Turmglocke schlagen. Auch nach dem letzten Brand von 1984 blieb die Türmertradition erhalten - wahrscheinlich die älteste in Deutschland. An der Westseite des Turmes lief der Burggraben vorbei, und hier stand wohl auch die Burgmauer, die um den Blauen Turm herumführte und sich nach Süden zum Staufertor senkte.