Здание, в которым сейчас находится Дом Музыка, было создано как прусские казармы в 1868-1873 годах.
Дом Музыка расположен возле границы двух, исторически особых, прежних районов г. Гданьска - квартала вокруг Длугих Огродов (Длинных Огородов), лучшей когда-то магистрали с небольшими дворами и парками, а также надлежащего Нижнего города, квартала работников с промышленными предприятиями и военными зданиями. Сегодня границу определяет улица Подвале Пшедмейске.
Объект назывался "Reiterkaserne", что в буквальном переводе значит "конные казармы".
Однако, название „Reiterkaserne” было ошибочным - в сущности в казармах никогда не стояли кавалерийские части. Самое долгое время в казармах квартировал известный 128. "гданьский" пехотный полк, в котором служили прежде всего новобранцы из города и его ближайших окрестностей.
Название "Reiterkaserne" происходит от названия улочки, на которой построено казармы - бывшая Reitergasse, которая не сохранилась до нашего времени (на ее месте идет сегодня улица Подвале Пшедмейске). В свою очередь, происхождение названия улочки, пошло от городских конюшен, которые когда-то находились на этом месте.
В том же году, когда завершено строительство казарм, построено новую дорогу - Weidengasse (нынешняя улица Лонкова (Луговая)), которая соединила Длуге Огроды с Нижним городом. Вскоре, рядом с казармами была открыта Королевская гимназия (1881 г.), здание которой (сейчас так называемое красное здание) принадлежит Академии музыки в г. Гданьске.
В казармах, постоянно до 1920 года была размещена прусская армия. Ситуация изменилась лишь в межвоенный период. Образованный на основании положений Версальского договора, завершившего Первую мировую войну, Вольный Город Данциг должен был быть демилитаризован.
В 20-ых и 30-ых годах прошлого века бывшие казармы превратились, прежде всего, в ряд квартир, но и в бюро нескольких частных предприятий, местонахождение одного из участков гданьской полиции и в польскую школу.
Новые обстоятельства повлияли также на историю соседних заведений, которые, до сих пор, работали для армии. Вскоре на их территории, благодаря ряду удобств, начали деятельность частые мастерские и заводы. Интересен тот факт, что в 1929 г. на территории бывшей артиллерийской мастерской был запущен американский автомобильный завод по сборке популярных тогда-то марок: Hudson и Essex.
Во время Второй мировой войны в здание вновь вселилась армия, на этот раз немецкая.
Казармы были местом нахождения, в частности, командования гданьского гарнизонного спецбатальона.
К счастью, казармы пережили военные действия. После 1945 года, в казармах были расквартированы польские солдаты, между прочим, 13. Кашубская бригада корпуса внутренней безопасности. Для военных целей переоборудовано также здание расположенной рядом с казармами бывшей школы - вышеупомянутой Королевской гимназии.
Стоит напомнить, что Дом Музыка был сценографией фильма «Пейзаж после битвы» Анджея Вайды (1970 г.) В главных ролях выступили Даниэль Ольбрыхски и Станислава Целиньска.
К сожалению, в конце ХХ в. комплекс казарм на улице Лонковой начал приходить в упадок. Армия начала искать инвестора, который был бы в состоянии принять и придать памятникам новое назначение.
За это время Академия музыки в г. Гданьске пользовалась всего тремя зданиями в г. Гданьске и Сопоте.
В декабре 1995 года военные отдали Академии музыки за символическую сумму в 1 злоты два опустошенных здания вместе с площадью в полтора гектара.
Университетские власти решили начать строительство настоящего кампуса. В первую очередь была приспособлена для новых потребностей бывшая гимназия (так называемое красное здание) - c учебного года 1998/1999 там начало работать административное управление ВУЗа, а также Инструментальный факультет.
В казармах (желтое здание) в первую очередь открыто студенческое общежитие. Осенью 2001 года, после широко задуманных капитальных работ, в здание перенесли и другие факультеты ВУЗа.
В конце 2003 года на территории бывших казарм открыто также Дом Музыка. Разрушенное здание полностью отреставрировано, показывая красоту исключительно редкого в архитектуре желтого кирпича. Неповторимую атмосферу этого места подчеркивают: многочисленные арочные своды, высокие потолки, большие окна с арками, деревянные балки перекрытия.