Der „Felsen“ hat eine lange und bewegte Geschichte, die mindestens bis ins 18. Jahrhundert zurückreicht. Beim kleinen Stadtbrand im Jahr 1798 wurde das Gasthaus Felsen zerstört und danach außerhalb der Stadtmauern von Tuttlingen in der Stuttgarter Straße 8 neu eröffnet. Glücklicherweise blieb es vom großen Stadtbrand von 1803 verschont, da es außerhalb der gefährdeten Bereiche lag.
Das Gasthaus entwickelte sich zu einer wichtigen Station entlang der historischen Schweizer Straße, die Reisende aus Süddeutschland in die Schweiz führte. Es bot nicht nur Speisen und Getränke an, sondern auch Fremdenzimmer für Durchreisende.
1902 wurde das Gebäude zusammen mit mehreren Nachbarhäusern erneut ein Raub der Flammen. Doch die Geschichte des Hauses endete damit nicht: Es wurde wieder aufgebaut und setzte seine Tradition als Gasthaus und Pension fort. In den 1930er Jahren stellte man den Gasthausbetrieb vorläufig ein. Unter dem Haus hat sich bis heute ein Gewölbekeller des Vorgängerbaus erhalten, der älter als der Stadtbrand von 1803 ist.
In der zweiten Hälfte des 20. Jahrhunderts wurde das Haus erneut gastronomisch genutzt. Mitte der 1970er Jahre entstand hier die Pizzeria „Red Rock“, die etwa ein Jahrzehnt lang ohne Fremdenzimmer betrieben wurde. 1998 stellte das Speiselokal, das zuletzt wieder als „Felsen“ bekannt war, endgültig den Betrieb ein. Stattdessen ging die Nutzung als Kneipe weiter. An die Rockerkneipe „ZZ“ erinnern sich viele Tuttlinger noch gern.
Vor dem Eingang liegt ein Stolperstein für Gustav Adolf Hilzinger um auch die lokale Geschichte von Verfolgung und Völkermord in mahnender Erinnerung zu halten.