Een oorkonde met de vermelding “int hof te Laerne” uit 1294 is de eerste verwijzing naar een eigenlijke verblijfplaats ter plaatse. Achtenzestig jaar later is er voor het eerst sprake van een kasteel en wel in een oorkonde tussen Gerard van Ressegem, heer van Laarne, en zijn leenheer de graaf van Vlaanderen. Daarin wordt de graaf in tijden van oorlog of oproer de beschikking over het kasteel toegezegd. Toen 20 jaar later de stede van Gent in opstand kwam tegen het grafelijk gezag werd het Slot belegerd en ingenomen. De brandsporen van 22 september 1382, zijn nog steeds zichtbaar. Pas in 1390 kon Jan van Massemen, zoon van Geraard, opnieuw bezit nemen van zijn burcht.
In 1426 ging het domein over in handen Boudewijn III de Vos, zoon van Boudewijn II de Vos en van Elisabeth van Massemen. Hij was tevens heer van Lovendegem, Zomergem en van Pollare.
De belasting op het zout uit 1449, leidde tot een nieuwe opstand tegen Filips de Goede, hertog van Bourgondië en graaf van Vlaanderen. De Witte Kaproenen namen Laarne in, samen met Gavere, Poeke en Schendelbeke. De heer van Laarne, Boudewijn IV de Vos, werd te Gent opgesloten. Een poging van de graaf de Saint Pol, om met een troep Bourgondiërs Laarne te ontzetten, mislukte en er vielen 22 zijner mannen onder de muren van Laarne. Een tweede poging op 16 december van datzelfde jaar, door Picardische ruiters had meer succes. Niet lang daarna maakten zwervende onruststokers – bekend onder de naam De Groene Tenters - de streek weerom onveilig. Ze slaagden er zelfs in het slot van Laarne gedurende zes jaar te bezetten.
In 1505 ging Laarne over naar de familie van der Moere, dan gedurende een korte periode naar de familie van Gavere. Van ca 1570 tot 1656 was de familie de Schoutheete van Zuylen d’Erpe, er de houder van. Tijdens de godsdiensttroebelen - ten tijde van Frans de Schoutheete die baljuw was Kortrijk - werd het slot op 24 juli 1579 “ruyné et bruslé” en was het voor 10 jaar onbewoonbaar.
De uit de streek van Zwolle afkomstige familie van Vilsteren kocht het domein aan in 1656. Geraard van Vilsteren was tevens heer van Aartselaar en van Ter Straten te Belsele en Waasmunster. In 1673 werd Laarne tot baronie verheven. In die jaren kreeg het domein zijn huidig uitzicht: de hoofdingang werd verlegd naar het dorp; de 150 meter lange dreef naar de kerk werd aangelegd; op de erekoer werden vier paviljoenen opgetrokken. Twee jaar later ontsnapte het kasteel ternauwernood aan vernieling: de troepen van Lodewijk XIV staken zowel de huizen als de kerk in brand, maar spaarden het slot omdat de vorst er zou overnachten tijdens zijn inspectiereis.
Na het overlijden van Geraard van Vilsteren, baron van Laarne, in 1683 trad zijn tweede echtgenote, Livina- Maria de Beer, dochter van de baron van Meulebeke, in het huwelijk met Jan van Brouchoven, graaf van Bergeyck. Dit illustere personage was een briljant dienaar van de Spaanse Kroon en thesaurier-generaal der Zuidelijke Nederlanden. De weelderige vormen van zijn moeder, Hélène Fourment - na de dood van Rubens hertrouwd met de graaf van Bergeyck - sierden in die dagen het paleis van Versailles.
