Met de bouw van het keurvorstelijke paleis werd rond 1615 door Lothar von Metternich begonnen, anderhalve eeuw later was keurvorst J. Ph. von Walderdorf echter niet tevreden met de toenmalige behuizing en hij vroeg een student van de befaamde architect B. Neumann om nieuwe plannen, daarvan werd slechts een deel gerealiseerd. Beeldhouwer F. Tietz is verantwoordelijk voor de beelden, waaronder dames met een redelijk stompzinnige grijns op hun gezicht.