Felépítésére II. József adott utasítást. A terveket Isidore Canevale bécsi építész készítette. Az óriási belső udvart bezáró négyszögletes épület építése 1786-ban kezdődött, Hild János vezetésével. Itt szerezte első szakmai tapasztalatait Hild József, a későbbi híres építész is. Az erőd-szerű épület felhasználási célját nem közölték a lakossággal, így az találgatások tárgya volt. A nagyméretű épület egyes részei fokozatosan készültek el; 1789-ben a 3. sz. pavilon már használatban volt.
Az épület négyszög alakú volt, a földszinten kívül még két emelettel rendelkezett. Négy sarkán kisebb, de egy emelettel magasabb, négyszög alakú épületrészeket emeltek, melyeket a főépülettel rövid melléképítmények kapcsoltak össze, úgy hogy a deréképület az erősségnek mintegy középfalát, a négy saroképítmény pedig annak bástyáit képezte. A nagyobb homlokfalak 100 ölnél hosszabbak, a belső főudvar majdnem 10 000 négyszögölnyi teret foglalt el. Különösebb építészeti értéke az épületnek nem volt. A rejtélyes építmény homoksivatag közepén emelkedett, ugyanis az akkori város szélső házai s a megkezdett építmény között még jókora térség terült el, melyet meg nem kötött fövény borított. II. József halálakor a munka még nem volt befejezve, s az időközben kitört napóleoni háborúk gátolták az építkezés folytatását. 1793 és 1796 között használták börtönként, az elfogott francia tisztek raboskodtak itt.
1802-ben eladni készültek az épületet, a prágai zsidók már ajánlatot is tettek rá. Széchényi Ferenc gróf akkori kamaraelnök hathatós fölterjesztéseket tett a szándékolt eladás ellen, mivel az épület a II. József által a magyar papságtól elkobzott javakért kapott pénzen készült el. Az eladására így nem került sor, azonban az építés folytatásához csak 1814-ben fogtak, s mikor az épület elkészült, az újonnan szervezett ötödik tüzérezred laktanyájává rendelték azt.
A kiegyezés után felmerült az épület nyomda, majd városi árvaház céljára való hasznosítása, végül is az épületet 1897-ben lebontották. A szomszédságában időközben épülő Országház hatására a környék felértékelődött. Az épület helyén alakították ki Palóczy Antal tervei szerint a Szabadság teret.
