Der „Felsen“ hat eine lange und bewegte Geschichte, die mindestens bis ins 18. Jahrhundert zurückreicht. Beim kleinen Stadtbrand im Jahr 1798 wurde das Gasthaus Felsen zerstört und danach außerhalb der Stadtmauern von Tuttlingen in der Stuttgarter Straße 8 neu eröffnet. Glücklicherweise blieb es vom großen Stadtbrand von 1803 verschont, da es außerhalb der gefährdeten Bereiche lag.
Das Gasthaus entwickelte sich zu einer wichtigen Station entlang der historischen Schweizer Straße, die Reisende aus Süddeutschland in die Schweiz führte. Es bot nicht nur Speisen und Getränke an, sondern auch Fremdenzimmer für Durchreisende.
1902 wurde das Gebäude zusammen mit mehreren Nachbarhäusern Opfer eines Feuers. Doch die Geschichte des Hauses endete damit nicht. Es wurde wieder aufgebaut und setzte seine Tradition als Gasthaus und Pension fort. Das Gasthaus wurde in den 1930ern aufgegeben. Unter dem Haus befindet sich ein Gewölbekeller des Vorgängerhauses, der älter als der Stadtbrand von 1803 ist.
Vor dem Eingang liegt ein Stolperstein für Gustav Adolf Hilzinger um auch die lokale Geschichte von Verfolgung und Völkermord in mahnender Erinnerung zu halten.