同年四月，桓温转战至灞上（今陕西西安东）。苻苌等部秦军退守长安城南，苻健自领羸兵六千固守内城，附近郡县更是纷纷来降。桓温抚喻百姓，使其安居复业。
关中百姓牵牛担酒沿路迎接，许多老人更是疼哭失声：“没想过今天还能再次见到官军！”
桓温进入关中时，正值麦收时节，他就打算就地收麦，以解决军粮问题，于是屯兵不前。
苻健闻听晋军收粮，猜到恒温军中粮草不足，遂采取坚壁清野的方式，使得晋军粮秣不继。
六月，桓温被迫撤返江陵，并将关中三千多户百姓一同迁走。秦军随后趁势追击，晋军大败，伤亡甚众。
桓温北伐期间，隐居关中的王猛曾前来拜见，并大谈当世之事，旁若无人，深得桓温的赏识。
桓温撤退时邀请王猛一同南下，并任命他为高官督护。但王猛却不肯跟随，留在了北方。
永和十二年（356年）二月，桓温数次上表，请求朝廷移都洛阳，修复园陵，但都没有得到朝廷同意。
不久，朝廷拜桓温为征讨大都督，都督司、冀二州诸军事，负责征讨事宜。
七月，桓温自江陵出兵再次北伐，并命督护高武据守鲁阳（今河南鲁山），辅国将军戴施屯驻河上，进逼许昌、洛阳。
同时，他上疏朝廷，请求徐、豫二州出兵淮、泗，进入黄河，以配合作战。
同年八月，桓温兵至伊水（在今洛阳城南）。羌族首领姚襄正围困洛阳，闻桓温来攻，撤军而回，在伊水之北拒水而战。
桓温亲自披甲督战，命晋军结阵而进，终于大破姚襄，收复洛阳。他进入金墉城，拜谒先帝皇陵，并设置陵使修复皇陵。
不久，桓温班师南回，并将三千多家归降百姓南迁至长江、汉水一带。
桓温返回荆州后，先后命部将剿平蛮贼文卢、妖贼李弘，将首级传送建康（今江苏南京）。但与此同时，收复的司隶、豫州、青州、兖州等地再次失陷。
升平四年（360年），朝廷封桓温为南郡公，并将其原有爵位临贺郡公降为县公，封授给其次子桓济。
隆和元年（362年），前燕将领吕护进攻洛阳。河南太守戴施弃城而逃，冠军将军陈佑遣使告急。
五月，桓温派竟陵太守邓遐率三千人协助守城，再次上表要求迁都洛阳，并建议将永嘉之乱后流亡江南者全部北徙，以充实河南之地，皆被朝廷驳回。
后来，朝廷又以交州、广州偏远为由，免去桓温的交广二州都督，改授其为都督并司冀三州诸军事。桓温上表推辞。
兴宁元年（363年），朝廷加授桓温为侍中、大司马、都督中外诸军事、假黄钺，赐其羽葆鼓吹一部。
二年（364年），桓温率水师进驻合肥，准备北伐。五月，朝廷进封桓温为扬州牧、录尚书事，遣侍中颜旄宣旨，召其入朝参政。
桓温以中原尚未恢复为由推托。朝廷不许，再次征桓温入朝，但当桓温赭圻（今安徽繁昌西）时，却又尚书车灌前来制止。
桓温遂驻军赭圻，上表辞去录尚书事一职，只遥领扬州牧。
兴宁三年（365年），前燕再次攻打洛阳，陈佑出逃。司马昱得知，与桓温在洌洲（在今安徽和县）会面，命他移镇姑孰（今安徽当涂），准备征讨之事，但最终因晋哀帝驾崩而作罢。
太和三年（368年），桓温获加殊礼，位在诸侯王之上。
太和四年（369年）三月，徐兖二州刺史郗愔致信桓温，表示愿意与他共同辅佐王室，请求率部出河上。
当时，北府兵卒悍勇，桓温不愿让郗愔掌握京口（今江苏镇江）重镇。郗愔之子郗超为桓温参军，暗中将原信毁掉，并以父亲的名义伪造信件，自称老病，请以闲职休养。
桓温便顺势改任郗愔为会稽内史，自领徐兖二州刺史，兼并了郗愔的军队。
同年四月，桓温亲率步骑五万，与江州刺史桓冲、豫州刺史袁真一同北伐前燕。
他率军攻湖陆，擒获燕将慕容忠，进逼金乡。当时正逢大旱，水道不通，桓温便让人在钜野开凿水路三百里，使船只由清水进入黄河。
郗超建议桓温尽率全军直击前燕国都邺城，或者坚守河道，控制漕运，储蓄粮食，直至明年夏天再继续进攻。
他认为如不速战速决，当战事拖延至秋冬后，在水量减少而北方早降温的客观条件之下，会令晋军更难维持。但桓温全都不听。
七月，燕国大将慕容垂、傅末波等人率八万大军前来抵抗晋军，两军对峙于枋头（在今河南浚县）。桓温命袁真进攻谯、梁，并打开石门水道。
但袁真始终无法开通石门，最终晋军军粮耗尽。九月，桓温焚毁战船，退军而去。慕容垂率八千骑军追赶，与晋军战于襄邑（今河南睢县西）。桓温大败，死伤三万人。
桓温兵败后，退至山阳（今江苏淮安），收集散卒，并将战败之罪委于袁真。他上疏朝廷，请废袁真为庶人。
袁真不服，据寿春（今安徽寿县西南）叛变，并暗中勾结前秦、前燕。
朝廷不但不敢追究桓温的兵败之责，还命侍中罗含带着牛酒到山阳犒劳桓温，并任命其子桓熙为豫州刺史。后来，桓温又移镇广陵（今江苏扬州）。
太和五年（370年）二月，袁真病死，部将朱辅拥立其子袁瑾为豫州刺史。前燕、前秦都遣军援助袁瑾，桓温命部将竺瑶、矫阳之率军迎战。
燕军先至，在武丘（今河南沈丘东南）与竺瑶交战，结果大败而回。同年八月，桓温率二万军队攻打寿春，并筑起长围，将城池团团围困。袁瑾只得婴城固守。
太和六年（371年），前秦将领王鉴、张蚝率军援救袁瑾，结果被桓温部将桓伊、桓石虔（桓温之侄）击败。
不久，桓温攻破寿春，俘获袁瑾，将袁瑾、朱辅及其宗族数十人全部送往建康斩首。袁瑾妻女被赏赐将士，所侍养的数百乞活军则被活埋。
从此，豫州彻底落入桓温之手。桓温掌握了进入建康的锁钥。