Sajnos nem tudjuk biztosan, hogy ki és mikor építtethette a kővár korai magját.
1331-ben írtak Széchy Péter királyi várnagyról, aki Szanda várából parancsolt a váruradalomhoz tartozó környékbeli népeknek, akik különböző földesúri szolgáltatásokkal tartoztak a magas kővárban élőknek. Luxemburgi Zsigmond király kedvelt híveinek, a Pásztói családnak adományozta, majd a Csetnekiek kezére jutott. Mivel ők részt vettek Nápolyi László trónkövetelő oldalán a lázadásban, a győztes Zsigmond elkobozta, és feleségének, Cillei Borbála úrnőnek adta át, aki a befolyt jövedelmekből tartotta fenn fényes udvartartását.
A 16. században, akkori birtokosa, a Báthory főnemesi család csak kismértékben erődítette meg a jelentéktelen várat, amit 1546-ban könnyedén elfoglaltak az Oszmán Birodalom csapatai.
Híres várkapitánya, Hubiár aga a bujáki vár alatti réten vívott párviadalt Kapitán Györggyel, a hollókői parancsnokkal, egy rab váltságdíján való vitájuk eldöntése végett. Tinódi Lantos Sebestyén tollából maradt fenn a párbaj leírása, melyből megtudhatjuk, hogy a szemben álló felek vitézül harcoltak, így végül mindketten a maguk igazát bizonygatva tértek haza saját váraikba.
A szandai „pogányok” gyakori rablóportyáinak megbosszulására végül 1551-ben a balassagyarmati magyar vitézek – a legenda szerint egy rejtett üregen keresztül – behatoltak a hegyi erősségbe, annak őrségét az utolsó emberig levágva. A győztes keresztény katonaság elvonulása során felrobbantotta falait, hogy többé ne szolgálhasson a „pogány” búvóhelyéül. Azóta egyre romosabb, régészeti feltárása és megóvása még várat magára.
