朝廷因兖、青、司、豫四州均已收复，便任命谢玄都督徐、兖、青、司、冀、幽、并七州军事。
谢玄上疏朝廷，认为刚平定河北之地，幽州冀州必须专门命人总督，司州遥远，应归豫州统管。
朝廷论功封谢玄为康乐县公。谢玄请求把他先前所封东兴侯的爵位赐予侄儿谢玩，朝廷许可，封谢玩为豫宁伯。
谢玄又遣宁远将军竂演讨伐占据魏郡的申凯，击败了申凯。谢玄打算让豫州刺史朱序镇守梁国，自己坐镇彭城，北可以巩固河北之地，西可以援救洛阳，内可以捍卫朝廷。
但此时朝臣却议论认为征战已久，应当设置戍守边关，然后休兵养息，派谢玄回镇淮阴，朱序镇守寿阳。
适逢翟辽叛乱，占据黎阳，拘捕滕恬之，又加上泰山太守张愿率全郡反叛，河北之地骚动不安。
谢玄自认为处置不当，便上疏朝廷，奉还符节，请求解除全部职务。朝廷下诏慰劳谢玄，命令他暂且回镇淮阴，以朱序代镇彭城。
谢玄回到淮阴后，患上疾病，又上疏请求解除职务，诏令不许。谢玄又自陈述，说既然不能履行职责，恐怕会荒废军务。
朝廷又下诏让他移镇东阳城。谢玄便奉命上路，以病重恳求解职。朝廷为谢玄派了一名医术高明的医士，并让他好自调养休息，又让他回京口治病。
谢玄奉诏回京口，病却长期不见好转，于是又上疏道：“臣兄弟七人，都先后凋谢殒灭，惟有臣一人，孑然独存。经历的艰难困苦，谁可与臣相比！
臣之所以含悲忍痛，希求继续苟活人世，是因为满怀无穷忠心，欲上报朝廷恩德，或许能恢复康健，便可以完成此志。
况且臣家中遗孤甚多，想起他们，心中就不胜悲伤，为此求生之心，不能即刻付与尘土。臣一片勤恳之情，实可哀怜。恳求陛下怜悯臣的忠诉，霈然降恩，不使臣含恨九泉。”
谢玄所上的十余道奏疏都被扣住，未予答复。许久后，朝廷才调谢玄为散骑常侍、左将军、会稽内史。谢玄抱病登车去会稽郡任职。
太元十三年（388年），谢玄在会稽去世，终年四十六岁。朝廷追赠车骑将军、开府仪同三司，谥号“献武”。
永初元年六月十四日（420年7月10日），刘裕代晋称帝，建立刘宋，当时前朝东晋的封爵中只有王导、谢安、温峤、谢玄与陶侃子孙的爵位未被废除，谢玄的爵位康乐县公被降封为康乐县侯，食邑五百户。
房玄龄在世时说过：建元之后，时政多虞，巨猾陆梁，权臣横恣。其有兼将相于中外，系存亡于社稷，负扆资之以端拱，凿井赖之以晏安者，其惟谢氏乎！……
康乐才兼文武，志存匡济，淮肥之役，勍寇望之而土崩；涡颍之师，中州应之而席卷。
方欲西平巩洛，北定幽燕，庙算有遗，良图不果，降龄何促，功败垂成，拊其遗文，经纶远矣。
伟哉献武，功宣授斧。克翦凶渠，几清中宇。
这时谢家只剩谢万这个朝中大佬，执掌谢家门户了。
谢万，字万石，陈郡阳夏（今河南太康）人，东晋名士，太常谢裒第四子，太保谢安之弟。
谢万出身于陈郡谢氏，早年曾任司徒掾、抚军从事中郎、吴兴太守。他在兄长谢奕去世后接任西中郎将、豫州刺史，并领淮南太守，与郗昙一同北伐前燕。王羲之为此劝谏桓温，认为谢万无将帅之才，但桓温不听。
谢万果然大败而回，使得豫州大部沦陷，最终被废为庶人。升平五年（361年），谢万在朝廷将要获得起复之时病逝，追赠散骑常侍。
谢万在担任司徒府掾属时，曾与兄长谢安等四十二人一同参加兰亭雅集，并在会上赋诗一首。他善于清谈，曾与简文帝长谈竟日。但因举止轻浮，受到阮裕讥讽，认为是“新出门户，笃而无礼”。
谢万年轻时才器出众，虽然器量不及谢安，但因擅长展现自我，故此颇有声誉。他在二十岁时，被征辟为司徒掾，后改授右西属，但却推辞不肯接受。
永和元年（345年），会稽王司马昱被拜为抚军大将军、录尚书六条事，因素闻谢万之名，遂任命其为从事中郎。
谢万头戴白纶巾，身披鹤氅裘，足穿木屐，一副名士做派，与司马昱长谈竟日。后又出任吴兴郡太守。
升平二年（358年），豫州刺史谢奕病逝。谢万升任西中郎将、豫州刺史、假节、监司豫冀并四州诸军事，领淮南太守。
王羲之认为谢万没有将帅之才，致信劝说桓温，建议不要让其外镇。桓温没有采纳。王羲之又致信谢万，劝他要与士卒同甘共苦，可惜谢万也没有听从。
升平三年（359年），谢万与北中郎将郗昙兵分两路，北伐前燕。他命征虏将军刘建修治马头城池，自己率军入涡颍，打算支援洛阳。
这时，郗昙因病退回彭城。谢万却以为郗昙是因前燕兵强而退，于是仓促退兵。士卒自行溃败，豫州治下许昌、颍川、谯郡、沛郡等郡县尽皆陷落。谢万单骑狼狈逃还，被废为庶人。
而真正稳定住谢家根基的是谢家的第三代领军人物，谢景仁。
谢景仁，名裕，字景仁，《宋书》因避宋武帝刘裕讳，以字行。陈郡阳夏县（今河南太康）人，宣城内史谢允之子。
谢景仁出身世代公卿的士族陈郡谢氏，仕东晋，历任前军将军行参军、辅国将军参军事、著作佐郎、太尉行参军、大将军参军。
黄门侍郎、骁骑将军、大将军记室参军、大将军从事中郎、司徒左长史、镇军将军司马、晋陵太守、车骑将军司马、大司马左司马、右卫将军、给事中、吏部尚书、领军将军、尚书右仆射，以尚书左仆射致仕。
义熙十二年（416年），即晋安帝年间，谢景仁辞世，享年四十七岁，追赠金紫光禄大夫、散骑常侍。