Un acte datant de 1294 fait mention de « int hof te Laerne ». Il s’agit de la première référence à une résidence à proprement parler sur place. Soixante-huit ans plus tard, il est pour la première fois question d’un château dans un document traitant de Gerard van Ressegem, seigneur de Laarne, et de son suzerain, le comte de Flandre. Cet écrit stipul qu’en temps de guerre ou de révolte, le château serait attribué au comte de Flandre. Le Château fut assiégé et occupé vingt ans plus tard, lorsque la ville de Gand entra en rébellion contre l’autorité du comte. Les vestiges de l’incendie du 22 septembre 1382 sont d’ailleurs toujours visibles. Ce n’est qu’en 1390 que Jan van Massemen, fils de Geraard, put reprendre possession de son château.
En 1426, le domaine passa aux mains de Boudewijn III de Vos, fils de Boudewijn II de Vos et d’Elisabeth van Massemen. Boudewijn III était également seigneur de Lovendegem, Zomergem et de Pollare.
En 1449, l’impôt perçu sur le sel conduisit à une nouvelle rébellion contre Philippe le Bon, duc de Bourgogne et comte de Flandre. Les Witte Kaproenen s’emparèrent de Laarne, ainsi que de Gavere, Poeke et Schendelbeke. Le seigneur de Laarne, Boudewijn IV de Vos, fut emprisonné à Gand. Le comte de Saint Pol tenta de libérer Laarne avec l’aide d’une troupe de Bourguignons, mais cette tentative échoua et 22 de ses hommes périrent au pied des murs de Laarne. Une seconde tentative menée le 16 décembre de la même année, et emmenée par des chevaliers picards, eut plus de succès. Peu de temps après, des fomentateurs errants – connus sous le nom de De Groene Tenters – déstabilisèrent la région et parvinrent même à occuper le Château de Laarne pendant six ans.
En 1505, Laarne passa aux mains de la famille van der Moere, puis à celles de la famille van Gavere pour une courte période. De 1570 environ à 1656, la famille de Schoutheete van Zuylen d’Erpe, occupa le château. Pendant les troubles religieux, à l’époque de Frans de Schoutheete, bailli de Courtrai, le château fut « ruyné et bruslé » le 24 juillet 157 et resta inhabitable durant dix ans.
La famille van Vilsteren, originaire de Zwolle, acheta le domaine en 1656. Geraard van Vilsteren était également seigneur d’Aartselaar et de Ter Straten à Belsele et Waasmunster. En 1673, Laarne se hissa au rang de baronnie. C’est à ce moment que le domaine prit la forme que l’on lui connaît à l’heure actuelle : l’entrée principale fut orientée vers le village, la drève - longue de 150 mètres – qui mène l'église fut aménagée et quatre pavillons furent érigés dans la cour d'honneur. Deux ans plus tard, le château échappa de justesse à la destruction : les troupes de Louis XIV mirent le feu aux maisons et à l’église, mais épargnèrent le château car le souverain devait y séjourner plus tard lors de son voyage d’inspection.
En 1683, après le décès de Geraard van Vilsteren, baron de Laarne, sa seconde épouse, Livina-Maria de Beer, fille du baron de Meulebeke, épousa Jan van Brouchoven, comte de Bergeyck. Cet illustre personnage était un brillant serviteur de la couronne espagnole, il était aussi trésorier-payeur général des Pays-Bas du Sud. Les formes opulentes de sa mère, Hélène Fourment – qui, après la mort de Rubens, épousa en secondes noces le comte de Bergeyck – agrémentaient en ces temps le palais de Versailles.
