A vár keletkezéseinek idejét és építőjének nevét nem ismerjük. Feltehetően az itt birtokos Csák nemzetség egyik tagja építhette a tatárjárás után. Várnagyként a Gutkeled nemzetségből származó II. Mihályt 1319-1324-ben említik okleveleink, és mint királyi vár "Castrum Vitam, Vytam, Wyttam" alakban 1379-ben szerepel iratainkban.
Luxemburgi Zsigmond 1410-ben Hohenzollern Frigyesnek zálogosította el. Albert király 1437-ben Rozgonyi Istvánnak adta zálogba a várat, majd ennek fia, János I. Ulászló királytól adományként is megkapta.1445-ben Újlaki Miklós foglalta el, 1448-tól zálogként bírta, 1453-ban ismét a Rozgonyiak birtokába kerül. 1493-ban Egerváry László horvát báné, majd Egerváry István magtalan halála után, 1512-ben Kanizsai György horvát bán szerezte meg, akitől Kanizsai László országbíró örökölte. A kettős királyság idején János király parancsára 1534-ben, a fehérvári keresztesek konventje Héderváry István és fiait, Lőrincet s Györgyöt iktatta be "castri Wyttham in Albensi" birtokába.
A török először 1529-ben ostromolta, majd 1543-ban el is foglalta. Később magyar kézre került, de 1559-ben újra a töröké, akiktől 1566-ban sikerült ugyan visszafoglalni, a következő évben azonban már újra a török birtokolta. Véglegesen Pálffy Miklós szabadította fel 1597-ben, és a következő évben felrobbantották, megakadályozva ezzel, hogy a török a vár falai közé befészkelhesse magát. A 18. századtól az Esterházy család tulajdona volt.
Anyagát építési célokra használták fel.
