En 1463, une "maison forte avec tour" fut déjà mentionnée et ce ne fut qu'en 1699 qu'elle fut présentée pour la première fois sur plan. La propriété changea plusieurs fois de mains et fut rachetée, en 1840, par un riche industriel d'origine neuchâteloise, A.-F. de Meuron (1789-1852), surnommé "Bahia" à cause de son activité dans le tabac au Brésil. Disposant d'une fortune considérable, de Meuron l'investit en partie dans des travaux et transforme le château de Dully entre 1841 et 1846 en réutilisant une partie des structures de base, en maintenant la disposition générale des bâtiments.