Es wurde als Weinberghaus 1622 auf dem Landsbergischem Weinberg an Stelle eines früheren kurfürstlichen Vorwerks erbaut, solche Gebäude wurden wegen ihrer Höhenlage "Hochhäuser" genannt. So trug es etliche Zeit den Namen "Hohes Haus". Kurfürst Johann Georg I. soll es errichtet haben.
Es wechselte oft den Besitzer. Der Kammerherr von Wolfframsdorff schenkte es am 24.Juli 1706 dem General von Flemming. 1707 schenkte der General den Weinberg nebst "Hohen Haus" der Gräfin von Cosel. Im Jahre 1710 übereignete die Cosel das gesamte Besitztum ihrem hohen Gönner, August dem Starken. 1749 wurde das Gebäude nach Plänen von Matthäus Daniel Pöppelmann barock umgestaltet.
