Pre samotných obyvateľov mesta to nie je len luxusný hotel. Je to legenda. História komplexu Carlton siaha až do 13. storočia. V tomto období stál na jeho mieste hostinec U Labute a neskôr od roku 1760 po jeho pravej strane aj zájazdný hostinec U troch zelených stromov. Ten poskytoval hosťom nielen ubytovanie, ale aj stajne pre kone.

V roku 1838 kúpil budovu Johann Löwy a dal ju prestavať podľa návrhu staviteľa Ignáca Feiglera ml. Z pôvodného objektu tak vznikol moderný trojposchodový hotel U zeleného stromu. V roku 1857 prevzal hotel známy obchodník s vínom Jakub Palugyay. Hotelu U zeleného stromu od roku 1860 konkuroval vedľajší hotel National.

Hotel National v roku 1908 odkúpil Henrich Prüger. V nasledujúcich rokoch prikúpil vedľajší Gervayov dom a po smrti Karola Palugyaya aj hotel U zeleného stromu. Všetky tri objekty nechal prestavať, čím vznikol impozantný hotelový komplex Savoy-Carlton, otvorený v júni 1913.