Historien til Store Milde herregård lar seg dokumentere helt tilbake til 1528. Trolig er den enda eldre da området tilhørte «svartebrørne» – dominikanermunkene i Bergen – fra slutten av middelalderen. I 1526 brant dominikanermunkenes kloster i Bergen sentrum, og abbeden flyttet til Store Milde.