Le site a vraisemblablement été occupé antérieurement à l'édification du château actuel comme le laisse supposer les vestiges retrouvés près de celui-ci et qui appartiendraient à une
fortification antérieure possédé par la famille d'Arthaz ; le château actuel ayant été bâti par Raymond de Baudry au début du xvie siècle.
Les Baudry se révèleront, lors de la Révolution française, jacobins enthousiaste. Leur engagement pour les idées révolutionnaires leur permettra de garder leurs biens et de faire
l'acquisition de biens nationaux.
Victor de Baudry, qui en 1834 avait adhéré aux idées républicaines de la Giovine Italia, participe, depuis Genève, à l'expédition conduite par Mazzini afin de soulever
la Savoie et renverser la monarchie.
L'expédition ayant échoué, il s'enfuit aux États-Unis et est condamné à mort par contumace.
Au milieu du xixe siècle, Louis de Baudry, ancien directeur du grand séminaire de Lyon, fait bâtir la chapelle. Celle-ci est érigée sur l'emplacement de l'ancienne église paroissiale d'Arthazqui se dressait près du
manoir.
En 1864, le château passe à Édouard Chardon, tanneur à Bonneville, à la suite de son mariage avec Hélène de Baudry. Il le rénovera vers 1880 et lui donne son aspect actuel.
Au xxe siècle, le château de Baudry est la possession de la famille Vernotte.
