A vár a jelenleginél jóval kisebb elődje a feltételezések szerint IV. Béla magyar király szorgalmazására épült, szintén csak feltételezések szerint az ott élő tehetős Csői és Nézsai családok által. Építésének időszakára az ott talált ezüstpénzek utalnak. Később Csák Máté csapatai megostromolták és elpusztították, közel száz évvel később épült fel újra. Ekkori birtokosairól semmit nem tudni. 1423-ban Zsigmond király szerette volna, hogy a vár Garai János kezébe jusson, ez azonban Chapy András, a király egyik kegyeltjének ellenvéleménye miatt nem valósult meg.
1444-ben az elszegényedő és birtokaikat vesztő Csői és Nézsai családok összefogva a huszitákkal elfoglalták Giskra vezetésével. A vár a következő évtizedekben rossz hírű rablótanya hírében állt, folyamatos fosztogatásokat tartottak uraik a környező falvakban. 1470-ben Csői Miklós testvérgyilkosság és garázdálkodás miatt elveszítette birtokait. A vár a Nézsaiak kezén maradt, de két várurat, Nézsai Lászlót és Jánost még ugyanabban az évben a Vitéz János féle összeesküvésben való részvétel miatt Mátyás „hűtelennek” nyilvánította. Miután mindketten fiúutód nélkül haltak meg, 1474-ben a birtok és a vár visszakerült a királyi kamara kezébe.
Mátyás elzálogosította Parlagi György számára, majd a zálog visszaváltása után fia, Corvin János birtokába adta, sok mással egyetemben. Mátyás halála után egy ideig a vár Jánosé maradt.
Következő gazdája Ráskay Balázs volt, aki Mátyás udvarában töltött be magas tisztségeket. Mátyás halála után is hű maradt Jánoshoz, a várat csak annak bukása után szerezte. A vár a következő néhány évtizedben élte virágkorát. Nagyarányú átépítések kezdődtek, a vár sasfészek helyett inkább reneszánsz lakókastéllyá kezdett válni.
Buda elfoglalása után ismét felértékelődött hadi szerepe. Ágyúzásnak is ellenálló módon próbálták megerősíteni, felépítették a külsővárat, a lankásabb, ezért veszélyeztetettebb bejárat irányába tüzelő ágyúk számára 20 méteres rondellát építettek. A törökök nógrádi előrenyomulásával a vár egyre inkább reménytelen helyzetbe került, majd 1551-ben egy kisebb csapat elfoglalta. A törökök néhány évtizedig lakták is a várat, majd magára hagyták és valószínűleg felgyújtották.
A törökök kiűzése után a vár a Ráskay-örökösök kezébe került. Házasság útján a Károlyi család lett a gazdája, ők elcserélték a Prónay családdal 1730 körül, akik birtokában maradt 1945-ig.
A romokat az 1730-as években részlegesen lebontották, részben a vár köveiből épült az acsai Prónay-kastély. Noha a vár romos volt, legalább egy kis része egy ideig lakható maradt, erre utal, hogy a manapság is látható gótikus ablakokat már a Prónayak vágatták az egykori várkápolna falába. Az első kutatások is akkoriban zajlottak. A XIX. század elején erdészházat alakítottak ki a várban, de az nem állt fent sokáig. A század közepén a vár már magára hagyott rom volt, melyet kőbányának használtak. 1875-ben Arányi Lajos György rajzokat és leírást készített a romokról.
1954 és 1961 között Jakus Lajos irányításával megerősítették a leomlani készülő tornyot, megtisztították a területet, feltárták a ciszternát. Később a munkálatok abbamaradtak. Részletes régészeti feltárás nem történt.