Das Gebäude, in dem sich heute das Haus des Musikers befindet, entstand in den Jahren 1868–1873 als preußische Kaserne.
Es liegt an der Grenze zweier historisch getrennter alter Stadtgebiete Danzigs – des um die einst repräsentative Długie-Ogrody-Straße [Langgarten] gelegenen Stadtteils mit Palästen und Parks und der eigentlichen Niederstadt – eines Arbeiterstadtteils mit Betriebsstätten und Militärgebäuden. Heute bildet die Podwale-Przedmiejskie-Straße [Vorstädtischer Graben] die Grenze.
Das Haus trug den Namen „Reiterkaserne“, sein Name konnte jedoch täuschen – in der Kaserne waren nie Kavallerieeinheiten stationiert. Am längsten war die Kaserne durch das bekannte Danziger Infanterie-Regiment Nr. 128 belegt, in dem Rekruten hauptsächlich aus der Stadt selbst und aus der nahen Umgebung ihren Militärdienst leisteten.
Der Name „Reiterkaserne“ wurde in Anlehnung an den Namen einer kleinen Straße übernommen, an der die Kaserne gebaut wurde – der ehemaligen Reitergasse, die heute nicht mehr existiert. An ihrer Stelle verläuft heute die Podwale-Przedmiejskie-Straße [Vorstädtischer Graben]. Der Name der Gasse wiederum stammte von den städtischen Stallungen, die sich dort früher befunden haben.
In demselben Jahr, in dem die Kaserne vollendet wurde, wurde auch ein neuer Weg markiert – die heutige Łąkowastraße [Weidengasse], die den Langgarten mit der Niederstadt verband. Bald (1881) wurde das Königliche Gymnasium an der Kaserne zur Nutzung übergeben, dessen Gebäude heute im Besitz der Musikakademie Danzig ist (sog. rotes Gebäude).
Bis 1920 war das preußische Heer ununterbrochen in der Kaserne stationiert. Nach dem 1. Weltkrieg änderte sich die Situation, denn die aufgrund des Versailler Vertrages gegründete Freie Stadt Danzig sollte entmilitarisiertes Gebiet sein.
In den 20er- und 30er-Jahren des vorigen Jahrhunderts wurden in der ehemaligen Kaserne zahlreiche Wohnungen, aber auch Büros einiger Firmen, eine Dienststelle der Danziger Polizei und eine polnische Schule eingerichtet.
Die neue Situation hatte auch Einfluss auf die nahe gelegenen Betriebe, deren Produktion bisher auf die Bedürfnisse des Militärs eingestellt war. Dank unterschiedlicher Erleichterungen entwickelten sich bald private Werkstätten und Fabriken auf diesem Gelände. Interessant ist, dass 1929 in den ehemaligen Artilleriewerkstätten eine amerikanische Automontagewerkstatt entstand, in der Autos der damals populären Marken „Hudson“ und „Essex“ montiert wurden.
Während des 2. Weltkriegs zog wieder die Armee in das Gebäude ein, diesmal die Wehrmacht. In der Kaserne fand u. a. die Kommandantur eines speziellen Bataillons der Danziger Garnison ihren Sitz.
Glücklicherweise hat die Kaserne die Kampfhandlungen überdauert. Nach 1945 war hier u. a. die 13. Kaschubische Brigade des Internen Sicherheitskorps stationiert. Für militärische Zwecke wurde auch das nebenstehende Gebäude des schon erwähnten Königlichen Gymnasiums umfunktioniert.
Leider verfiel der Gebäudekomplex an der Łąkowastraße Ende des 20. Jh.s zusehends. Das Militär suchte nach einem neuen Investor, der die Altbauten übernehmen und für neue Funktionen verwenden könnte.
Zu jener Zeit nutzte die Musikakademie Danzig insgesamt drei Gebäude in Danzig und Sopot.
Im Dezember 1995 übergab das Militär der Musikakademie zwei zerstörte Gebäude samt einem anderthalb Hektar großen Grundstück für einen symbolischen Zloty.
Die Hochschulleitung beschloss, einen Campus hier zu errichten. Zuerst wurde das ehemalige Gymnasium (rotes Gebäude) umgestaltet, das seit dem akademischen Jahr 1998/99 die Hochschulverwaltung und die Fakultät für Künstlerische Instrumentalausbildung beherbergt.
In der alten Kaserne (gelbes Gebäude) wurde zuerst das Studentenwohnheim eröffnet. Im Sommer 2001, nach umfangreichen Investitionsarbeiten, übersiedelten auch die übrigen Fakultäten der Musikakademie dorthin.
Ende 2003 wurde in dem gelben Gebäude auch das Haus des Musikers eröffnet. Die verfallene ehemalige Kaserne wurde gründlich restauriert, die Schönheit des in der Architektur seltenen gelben Backsteins wurde hervorgehoben. Zahlreiche Bogengewölbe, hohe Zimmerdecken, große Bogenfenster und Deckenbalken verleihen diesem Haus ein außergewöhnliches Ambiente.
