Zwischen "Rotem Meer" und alter Eiche gehen Sie am Randweg zurück und haben einen fantastischen Ausblick auf das Gäu. Auf der Strasse angelangt, wandern Sie gemütlich in Richtung Schlossberg, den Sie nach kurzer Zeit erreichen.

Der Schlossberg war vor 6000 - 4000 Jahre vor Christus und später besiedelt. Funde belegen dies. Die Lage des Berges lud direkt dazu ein. Es waren mittel -und jungsteinzeitliche Jäger. Im Mittelalter stand hier das Schloss des Pfalzgrafen II von Tübingen. 1807 wurde es abgebrochen. Nur der 7,70 x 7,70 Meter starke ehemalige Westturm und jetzige Aussichtsturm mit seinem innen liegenden Verlies steht heute noch. Im Turm selber ist noch die Öffnung zu sehen, wo die Gefangenen, die hier im Turm untergebracht waren, mit Hilfe einer Winde in das Verlies heruntergelassen wurden. Außen kann man noch das so genannte "Angstloch" erkennen.
Vom Turm haben Sie einen wunderbaren Blick auf Stadt und Land. Auf einer Hinweistafel, die an der Turmbrüstung angebracht ist, können Sie ersehen wie das Schlossareal im Mittelalter ausgesehen hat. Auf der anderen Hinweistafel, können Sie die Städte, Dörfer und Sehenswürdigkeiten im Gäu und auf der Schwäbischen Alb deuten. Die Stiftskirche im Rücken, erfasst Ihr Blick den Kanonenbuckel, den Sie mit wenigen Schritten erreichen. Rund 7 Meter hoch erhebt sich der Kanonenbuckel über das Schlossbergplateau. Er hat eine Ausdehnung von ca. 40 x 40 Meter. Also eine mächtige Erhebung. Wann und warum er aufgeschüttet wurde, konnte bis heute nicht geklärt werden.

An dieser Stelle wurde im 18.und 19. Jahrhundert die Hochwacht eingerichtet. Ihren Namen erhielt sie von einer Alarmkanone, die in einer Wehrhütte untergebracht und auf dem Kanonenbuckel stationiert war. Die Kanone wurde von der Hochwacht betätigt, wenn in den Dörfern des Amtes oder in der Stadt ein Feuer ausgebrochen war. Brannte es in der Stadt, wurde die Kanone sechsmal abgefeuert, bei einem Brand in einer Gemeinde im Oberamt viermal und einem weiter entfernten Feuer nur zweimal. Die Schüsse dienten dazu, die ortsübergreifende Brandhilfe zu organisieren. Später übernahmen Feuerreiter die Aufgabe. Wurde geschossen, wurden parallel auch die Glocken in der Stadt geläutet. Die Hochwacht bestand übrigens noch fort, als das Herrenberger Schloss 1807 schon geschleift war.
König Friedrich von Württemberg hatte der Stadt den weitgehend abgerissenen Pulverturm geschenkt, in einem darauf errichteten Fachwerkturm hatte der Hochwächter bis 1835 seinen Sitz. 1841 wurden zum 25. Regierungsjubiläum von König Wilhelm I. einige Linden und Eichen auf dem Kanonenbuckel gepflanzt.