力举荐，受到朝廷嘉奖，得到慈禧太后的接见与重用，先后出任江西萍乡和九江两地知府。谢兴潘在当地建学堂设书院，修沿江公堤。张之洞在汉阳留存“张公堤”，他则在九江留存“谢公堤”。曾国藩治乱推行重典，时人谓之“曾剃头”，他治匪实施重罚，也被当地乡民戏谑为“谢剃头”。
俗话说，三年清知县，十万雪花银。谢兴潘在江西为官三十余载，顶着“四品朝议大夫”的荣誉称号，辞官回乡。车马载金驼银而归，解甲归田后，他就用积蓄将祖屋翻修改建成大夫第。大夫第全名叫“芋园”，占地万余平方米，建筑面积约3600平方米，有起居室78间，厅房40间，还有家祠，学堂，药房，戏台，绣楼，亭阁，房屋两侧配套厨房，碾房，柴房，佣人房，杂役间。
五进十二间的大夫第，依山而建，伴水而修，座北朝南，三面环水，整个布局成棋盘格横向排列。第一列是祠堂，家学，粮仓，第二列是厅堂，第三列是内院，主居室，第四列是后院，内有廊亭阁池，花园书房。
芋园大门框，用整块石材，手工打磨出来。门框下，左右各有一个石门墩，石门墩之间，嵌有石门槛，宽一尺有余，高二尺左右。门楣用砖雕摆出龙飞凤舞的图案，中嵌石雕的圣匾。墙壁青砖砌到顶，白石灰刷到檐，大门红漆点金，屋顶铺黑瓦，隐藏着风水寓意，聚财，吉利，不犯煞。
每一进庭院，分上下两个厅堂，厅堂两侧各有四间耳房，两面相对的耳房之间，夹着门前巷道。耳房是起居室，住家打开巷道尽头的侧门，去附属的厨房，厕所。佣人房，杂役间皆建在侧门外，入夜关上侧门，即将主仆隔离，住宿分开。上下两个厅堂，便有
大夫第(4/7)