Im Inneren des Fruchtkastens wurde der „Zehnt“, die Abgaben von Ernteerträgen an die Herrschaft, gelagert. Nachdem der Zehnt 1851 abgeschafft worden war, musste die Stadt Herrenberg das Gebäude für 3.000 Gulden erwerben. Seit damals waren etliche Nutzungen im Gebäude untergebracht, im Winter die Turner Herrenbergs (1866-1886), ein Eislager, eine Kelter, Räume für die Herrenberger Kaufleute, ein Waaglokal, außerdem wurde es auch als Magazin für Löschgerätschaften verwendet.
