桓温自负才能过人，久怀异志，因此发动北伐希望先建立功勋，然后回朝接受九锡，从而夺取政权。但因第三次北伐失败，声望大减，图谋不成。
寿春之战后，桓温曾问郗超道：“这次胜利能雪枋头兵败之耻吗？”郗超则表示不能，并建议桓温效仿伊尹、霍光，废立皇帝，以重立威权。桓温遂决定废黜皇帝司马奕。
太和六年（371年）十一月，桓温带兵入朝，威逼褚太后废除司马奕的帝位。他诬称司马奕因阳痿不能生育，让宠臣相龙、计好、朱炅宝等人与后宫美人私通，所生三子将冒充皇子建储为王。
褚太后只得集百官于朝堂，下诏废司马奕为东海王。而后，桓温亲率百官至会稽王邸，迎司马昱入朝，拥立为帝，是为晋简文帝，改元咸安。
晋朝开国百余年，从未发生废立之事。桓温擅行废立，不仅令百官震栗，自己也紧张不已。
前秦皇帝苻坚对此不以为然，他道：“桓温此前败于灞上，而今又败于枋头，十五年内两次使国家军队遭受重大打击。不但不反思过错，向百姓谢罪，竟还废黜君主。
六十岁的老叟如此举动，如何自容于天下？“
桓温废立后，对朝中的异己力量大加废徙。
武陵王司马晞好习武事，又在朝中担任太宰重职，素为桓温所忌。
桓温以“聚纳轻剽，苞藏亡命”为由弹劾司马晞，免去司马晞与其子司马综、司马囗的官职，让他们返回封地。
后来，桓温又逼新蔡王司马晃自首，称与司马晞、司马综、著作郎殷涓、太宰长史庾倩、散骑常侍庾柔等人谋反，将他们收付廷尉，请予诛杀。
简文帝不许。最终，司马晞、司马晃被废为庶人，殷涓、庾倩、庾柔等人都被族诛。
颍川庾氏是高门望族，势力强盛，庾希、庾倩等兄弟六人皆为朝中显贵，深为桓温所忌。庾倩、庾柔被诛后，庾蕴饮鸩自尽，庾希则与弟弟庾邈、儿子庾攸之逃入海陵（今江苏泰州）陂泽。
青州刺史武沈是庾希表兄，暗中为他供应粮饷。庾友因儿媳桓氏是桓温侄女，得到求情，最终得以幸免。
咸安二年（372年），桓温得知庾希兄弟的踪迹，派军队搜捕。庾希遂与武沈之子武遵在海边聚众抢夺船只，乘夜攻入京口，赶跑晋陵太守卞耽。
他们打开监狱，放出数百囚徒，发放兵器，宣称奉密旨除桓温。卞耽逃往曲阿（今江苏丹阳），征发诸县乡兵两千人，与庾希对抗。
庾希战败，退守城池。桓温又命东海太守周少孙征讨。周少孙攻克京口，擒获庾希等人。最终，庾希、庾邈、武遵以及子侄、部众全被斩于建康。
桓温诛除庾氏，威势极盛。
侍中谢安见而遥拜，更以君臣称作二人关系。而简文帝虽被立为皇帝，但却形同傀儡，常担心被桓温废黜，甚至向郗超询问桓温是否会再行废立。
郗超以家族百口担保不会再发生政变，简文帝这才稍微安心。
简文帝继位不久，便进封桓温为丞相，留其在京师辅政。桓温辞让不受，率军返回白石（今安徽当涂西），还镇姑孰。后来，简文帝又派侍中王坦之征召桓温，请其入朝辅政，并增食邑万户。桓温再次推辞。
咸安二年（372年）七月，简文帝病重，急召桓温回朝，并在一昼夜内连发四道诏书。桓温仍推辞不肯入朝。简文帝只得传下遗诏，让桓温摄政，效仿周公。
但侍中王坦之却据理力争，将遗诏中的“摄政”改为“辅政”，依照诸葛亮、王导旧例。随即，简文帝驾崩。桓温原以为简文帝临死会禅位给自己，或让自己摄政，而今大失所望，怨愤不已。
简文帝驾崩后，群臣惧于桓温，不敢拥立太子，都认为应请桓温决定。
尚书仆射王彪之极力反对，太子司马曜方才得以继位，是为晋孝武帝。褚太后认为孝武帝年幼，且正在居丧期间，再次提议让桓温摄政，结果被王彪之阻止。
后来，孝武帝又命谢安征桓温入朝辅政，并加其前部羽葆鼓吹，赐武贲六十人。桓温仍旧辞让，既不接受，也不入朝。
宁康元年（373年）二月，桓温带兵入朝，拜谒皇陵。
当时，京中流言四起，都说他此次入京是要诛除王谢、颠覆晋朝。朝廷命谢安、王坦之率百官到新亭（今南京西）迎接，拜于道侧，朝中位望稍高者皆惊慌失措。
但桓温却只以“卢悚入宫”一案，将尚书陆始收付廷尉。不久，桓温患病，返回姑孰，前后在京不过十四天。
桓温回到姑孰后，病渐沉重，但仍逼朝廷加其九锡之礼，并多次派人催促。谢安、王坦之见桓温病重，以袁宏所撰锡文不好为由命其修改，借此拖延。
同年七月，桓温姑孰病逝，终年六十二，至此锡文仍未完成。朝廷追赠桓温为丞相，谥号宣武，丧礼依照安平献王司马孚、霍光旧例，又赐九旒鸾辂、黄屋左纛等物。
桓温死后，将兵权交付弟弟桓冲，南郡公爵位则由幼子桓玄袭封。世子桓熙不服，遂与叔父桓秘、弟弟桓济谋杀桓冲，结果被桓冲发觉，都被流放长沙。
元兴二年（403年）十一月，桓玄代晋称帝，建立桓楚，追尊桓温为宣武皇帝，庙号太祖，墓为永崇陵。
东晋立国江东，南方汉族政权及其统治下的汉族广大人民与北方少数民族统治者之间的民族矛盾，成为当时历史的主要矛盾。
自王导提出“克复神州”的口号后，庾亮、庾翼、褚裒、殷浩都曾率军北伐，希望能收复故土。而桓温在掌控朝廷内外大权后，也开始了他的三次北伐，史称“桓温北伐”。
永和十年（354年），桓温北伐前秦，兵锋直指霸上，逼得前秦皇帝苻健退守长安内城。永和十二年（356年），桓温进兵河南，在伊水击败羌帅姚襄，收复旧都洛阳。
但他太和四年（369年），桓温北伐前燕，一直打到枋头，距前燕国都邺城只有二百多里，还收复了淮水以北的广大地区，可惜最终以失败告终。
桓温三次北伐是王导“克复神州”口号的付诸实践，恢复了部分失地，打击了氐族、羌族、鲜卑族的统治者残暴统治，并以实际行动支持了北方各族人民的反压迫斗争，这些是符合当时中原人民愿望的。
陶侃平定了苏峻的叛乱以后，东晋王朝暂时获得了安定的局面。这时候，北边却乱了起来。
后赵国主石虎（石勒侄子）死了以后，内部发生大乱，公元352年，氐族贵族苻健也乘机占领了关中，建立了前秦。
永和五年（349年），后赵皇帝石虎去世，其后诸子争位，后赵国内混乱。其时东晋朝中就已经准备北伐，并由征北大将军褚裒主持北伐，但以失败告终。
后赵大将冉闵称帝，建立了魏国，史称冉魏；前燕慕容皝又灭了冉魏。
而桓温在当时亦随即移屯安陆，屡次上表请求北伐，但因其平灭成汉后威望太高，朝廷不愿桓温北伐成功而令威名更盛，于是在褚裒北伐以后提拔殷浩继续准备北伐，对桓温的上请不作回应。
同时，北方氐人苻健于永和六年（350年）入关，并于次年建立前秦，至永和八年（352年）称帝。前秦建国后多次与东晋作战。及至永和九年（353年）殷浩发动北伐，目标是前秦控制的洛阳，正是试图利诱前秦将领梁安及雷弱儿叛秦，乘关中混乱，前秦驻洛阳的军力入援之机进取洛阳。
然而，殷浩是个只有虚名、没有军事才能的文人。
他出兵到洛阳，被羌族人打得大败，死伤了一万多人马，连粮草武器也丢光了。桓温又上了道奏章，要求朝廷把殷浩撤职办罪。晋穆帝没办法，只好把殷浩撤了职，同意桓温带兵北伐。
永和十年（354年）二月己丑日，桓温自江陵率四万步骑北伐，取道武关入关，又命水军自襄阳进至南乡郡；同时梁州刺史司马勋亦经子午道北伐前秦。
桓温先派别军进攻上洛，俘获前秦荆州刺史郭敬，于是进击青泥城。前凉秦州刺史王擢见司马勋攻略前秦西部，于是进攻陈仓以作响应。
前秦皇帝苻健面对桓温大军北伐，派遣太子苻苌、丞相苻雄等人率兵五万驻屯峣柳以作抵抗。
四月己亥日，桓温在蓝田县与苻苌等军大战，虽然苻生单骑突陈杀伤不少晋兵，但晋兵在桓温的统率下仍大败秦兵；同时桓冲又在白鹿原击败苻雄军。
桓温在大败前秦军队后就继续向长安进发，进据灞上。
当时苻苌等军退屯城南，苻健于是尽发精兵三万人，在大司马雷弱儿等人率领下与苻苌会合，只留六千老弱士兵留守长安小城。
当时前秦首都长安危急，三辅各郡县都来向桓温归降，桓温安抚并让居民恢复原来生活。当时居民又争相以牛酒劳军，又夹道观看前来的军队，老人更流着泪说：“不图今日复睹官军。”面对这个形势，顺阳太守薛珍劝桓温直逼长安，但桓温不听从，驻屯灞上后就没有进渡灞水，一直与前秦军相持，并打算收割当地的麦子作军粮以继续对峙。