Bygningsanlægget er opført i 1556 af rigskansler Johan Friis, som tre år før havde fået gården overdraget af Christian III.
Bygningen er en befæstet herregård, der ligger på et dobbelt voldsted. Derfor kaldes den en 'herreborg'.
De talrige forsvarsindretninger må ses på baggrund af ufredstiden omkring Grevens Fejde kort før reformationen i 1536.
Efter at kapellet i mange år havde stået øde og ubrugt, lod daværende ejeren af Borreby kapellet forny i 1754 med bl.a. et nyt alter.
Væggene i kapellet er dels dækkede af egepaneler, med guldkantede spejle, dels af indsatte malerier. I loftets skjoldbuer er udskårne kerubhoveder.
Alteret, fra 1754, står op ad
nordvæggen. Bordplade er af marmor og bæres af to rokoko-svungne
ben med kerubhoveder.
Selve alterbygningen er formet som en
rundbuet portal med korintiske halvsøjler; til siderne står to
engle.
I gavlen er
tetragrammet 
omgivet af skyer og solstråler.
Tavlen er af eg med ret stærk forgyldning.
