Építésének pontos ideje ismeretlen, de valószínűleg az itt birtokos Aba nemzetség egyik tagja, a Füzéry család őse, Zaránd építtette.
A várat 1264-ben említik először hivatalos oklevélben, majd egy 1270-ben kelt újabb oklevél egyik utalása alapján bizonyossá tehető, hogy a vár II. András halálakor (1235) már állt, illetve 1235 előtt a király birtokába került.
IV. Béla 1262-1263 körül kedvenc lányának, Anna hercegnőnek adta Füzért, és a hozzá tartozó uradalmat, de később, 1264-ben IV. Béla fia, István herceg, apja ellen harcolva elvette azt a királyhoz hű Anna hercegnő tulajdonából. IV. Béla megpróbálta ostrommal visszafoglalni fiától a várat, de István várnagya, Füzéry Mihály visszaverte seregével a támadást.
Az 1270-ben V. Istvánként trónra lépő herceg a várat Rosd nemzetségbeli (Füzéry) Mihálynak és Demeternek adományozta.
1285 után a vár Aba Amadé birtokába került. A rozgonyi csata (1312) után Károly Róbert elkobozta a várat és Drugeth Fülöpöt nevezte ki várnaggyá.Luxemburgi Zsigmond király előbb elzálogosította, majd 1389-ben Perényi Péter fiainak adományozta a várat. A Perényiek a 15. és a 16. században jelentős építkezéseket folytattak Füzéren. A család birtoklása idején az 1440-es évek közepén a vár átmenetileg Pálóczy László királyi ajtónálló mester kezébe került, de a Füzéryek földbirtokai háborítatlanok maradtak.
Az 1480-as években Mátyás király összetűzésbe került a Perényi családdal és kiűzte Perényi Istvánt a füzéri várból, de később visszaadta a várat Perényi Imre nádornak. 1526-ban Perényi Péter koronaőr Szapolyai János koronázása után, ahelyett, hogy szokott helyére, a visegrádi várba vitte volna a Szent Koronát, Füzérre szállíttatta és legalább egy évig ott rejtegette. Perényi Péter erődítési munkálatokat végeztetett Füzéren, fia, Perényi Gábor az 1560-as években a palotaszárnyakat építtette át reneszánsz stílusban.
1567-ben, Perényi Gábor halála után a Báthoryak szerezték meg a birtokot.1603-ban Báthory Erzsébet révén a Nádasdy család kezére jutott. 1626 körül rövid időre Bethlen Gábor csapatai szállták meg. 1654-ben elzálogosítás útján Mosdóssy Imre, majd 1668-ban Bónis Ferenc kezére jutott, végül a királyi kincstár kezelésébe került.
A Kamara német őrséget rakott a várba, de kevéssé törődött az erődítmény állapotával. Mivel a vár hadászati jelentőségét elvesztette, 1676-ban a császári katonaság lakhatatlanná tette és elhagyta. Ezután a környék lakossága kőbányának használta a romokat. Az 1686 óta birtokos Károlyi család 1934-1936 között állagvédelmi munkákat végeztetett a váron.
A korabeli feljegyzések szerint a Füzéryek mellett egyik utolsó birtokosa Bónis Ferenc zempléni középnemes volt. Szerencsétlen módon belekeveredett a Wesselényi-féle császár elleni összeesküvésbe, amit kegyetlenül megtoroltak, így Bónis Ferenc feje is a porba hullott a pozsonyi városháza előtt és birtokai a Füzéry, majd házasság révén a Bagossy család birtokába jutottak. Füzér várát Strassoldo kassai generális gyújtatta fel, hogy ne szolgálhasson az egyre szaporodó felkelők menedékhelyéül. A következő évszázadokban már a kegyetlen időjárás viharai és a környékbeli lakosság bontó keze omlasztotta az egykor szebb napokat látott erődítményt. Majd felfedezték a romantikus tájképeket alkotó vándorfestők, így a 19. században erre járt Thomas Ender osztrák művész is.
