时光茌苒，百余年过去，大夫第的整体框架，房屋布局，一直保持基本原状。只是铁打的房屋，流水的人，代代后人承先人，先人葬在山岗上。
谢兴潘有妻妾六人，儿女十多个，繁殖下一个大家庭，其大儿子在安徽芜湖为官，留下一分支，三儿子在江西赣州为官，留下一宗室分脉，二儿子读书未能考取功名，习文未有文章传世，不能进仕途为官，守居大夫第做乡贤，当士绅，半耕半读，诗礼传家。虽然根基富贵，家财不菲，却人丁单薄，三代单传，如今孙子辈只有两兄弟。
谢清源和谢清溪，是谢兴潘的第六代嫡系后代子孙，一个是族长，一个是官吏，不提光耀门楣，至少也没辱没祖上荣光。
时移势易，祠堂由一家之祠，变成一族之祠，再成为一氏之祠，逢到修族谱，一县，甚至一省的谢姓宗亲，聚首于此，商议事宜，举办仪式。
纵然流年暗换，风雨凋敝，但驴死不倒架，大夫第主体建筑也算保留完整，一直居住着谢姓族人，即使是房屋变卖，及土改分房产，也是在族人之间内部交割。改朝换代，虽说一家之私邸还在，一户之房屋尚存，只不过每一进庭院，都彻头彻尾变成了大杂院。瘦弱的骆驼比马大，最初一妾带儿女住一进庭院，现在一进庭院住十户，每条巷道住二家，两间厢房住一家，四条巷道总共住八家，四间厢房总共住二家，合起来就是十家，且每间房都是上下两层的木板楼房。
婆家的老祖屋，就是土改时分给爷爷的房产，位于第三列的内院，在天井的左边，是两间厢房，每间厢房内设一厅一室一套间，有上下两层。爷爷死后，原本由两个儿子平均分，一人一间厢房。由于二叔谢
村舍扩建(1/4)