A jobbágyfalut minden hozzá tartozó területtel együtt a Döröcske nemzetségből származó Ozorai nemesi família mondhatta a magáénak, akik a 14. század végére férfiágon kihaltak. Luxemburgi Zsigmond király azonban „fiúsította” Ozorai András úr leányát, Borbálát, aki rövidesen kezét nyújtotta Filippo Scolarinak. Zsigmond 1404-ben kinevezte temesi ispánnak, így rá hárult a leginkább veszélyeztetett déli határvonal védelme a gyakran betörő törökkel szemben. 1416-ban engedélyt kapott, hogy a tizenkét jobbágyfalu földesúri központját jelentő Ozorán „kőből, avagy fából várat, erősséget vagy kastélyt” emeltethessen. A meredek dombtetőt hatalmas munkával vízszintesre formálták, hogy rajta egy négyzetes alaprajzú, sarkain kerek tornyokkal és udvarán emeletes főúri pompával kialakított várkastélyt hozzanak létre. Az itáliai stílusú, inkább kényelmes főnemesi rezidenciának, mint nagyobb ellenálló erejű várnak számító épület után Filippo Scolari felvette az Ozorai Pipó nevet, azonban gyermekei mind fiatalon meghaltak, így nem tudott dinasztiát alapítani Magyarországon. Pipó 1426-ban hunyta le örökre szemeit, özvegye tizenkét évvel élte túl, tőle a váruradalom Hédervári Lőrinc nádorispán tulajdonába jutott át. 1491-ben Habsburg Miksa trónkövetelő zsoldosai elfoglalták a várat. 1537-ben Török Bálint fegyvereseivel lerohanta és kifosztotta az épületet, de az 1544-ben támadó törökök már szabályos ostrommal próbálták bevenni. 1686-ban az előrenyomuló Habsburg katonaság ostrommal foglalta el a várat, ekkor leomlott a nyugati oldala, amit az Esterházy földesurak idején részben kijavítottak, hogy öles falai között egy uradalmi gabonamagtárat alakítsanak ki.
Ilyen formában élte meg az 1970-es éveket, amikor megkezdődtek a régészeti kutatások az egykor szebb napokat látott várkastélyban, aminek helyreállítása már megtörtént, így Ozorai Pipó vára ismét tárt kapuval fogadja a látogatókat.
