公元617年(大业十三年)，当瓦岗军李密进攻东都时，庞玉的军队被李密军打败，包括李大亮在内许多人被俘虏。
李密的大将张弼见到李大亮“异之”，于是，张弼把与李大亮一起俘获的一百多人全部就地斩杀，而唯独留下李大亮不杀。在与李大亮长谈之后，两人成为至交，把李大亮留在幕下。
李渊起兵进占长安，建立唐朝以后，李大亮投奔了唐朝。
公元618年(武德元年)，李渊授他为土门县令。当时，正赶上当地闹饥荒，县境出现许多盗贼。作为县令的李大亮对逃荒的老百姓，“招亡散，抚贫瘠”，甚至卖了自己乘坐的马，帮助百姓，劝大家垦田，当年该县粮食果然丰收。他又出击平息了盗贼，秦王李世民到北境巡视时，下书奖励，赐马五乘，帛五十段。
后来，突厥又来进犯，李大亮考虑自己一个小小的县城没有力量相拒，于是，他大胆地单骑出城赴敌营，说服其首领，突厥兵感服，李大亮又杀掉自己的马与之宴乐，自己徒步返回土门，前后降者千余人，县境以清。
李渊特别高兴，升任李大亮为金州总管府司马。后又奉命出兵荆襄一带，当时，割据势力王世充派其兄之子王弘烈占据襄阳，李渊下诏让李大亮前去安抚樊、邓。
李大亮率军进击，下十余城，李渊下书安勉，升李大亮为安州刺史。在出使广州、巴东至九江时，遇上辅公祏反叛，李大亮设计生擒其将张善安，又被升为越州都督。在越州，曾写书百卷，调任后，他都留给越州都督署。
李大亮品德高尚、为官清廉，在平辅公祏的战争中，因为战功卓著，李渊特赐给他奴婢一百人，李大亮却把他们全部释放了。
李渊知道以后，对他特别表示赞赏，重新赐给他“俚俾”（少数民族）二十人。
唐军取胜的具体细节传到长安，李靖的军事才能又一次震动朝野，李渊禁不住对李靖大加赞赏说：“李靖是萧铣、辅公祏膏肓，古之名将韩、白、卫、霍，岂能及也！”
而李孝恭，因为是名义上的主将，所以成为唐朝军功最为显赫的一位宗亲，后来位列凌烟阁功臣第二名。
李渊任命李孝恭为杨州大都督，李靖为大都督府长史。
此时李孝恭还干了这样一件事。
辅公祏被抓后，不甘心一个人上路，于是向唐军主帅李孝恭揭发杜伏威才是谋反的主谋，有密令为证(就是他假造的那个)，阚陵也参与了谋反。
正好此前李孝恭在没收反贼家产时把杜伏威和阚陵的私产一并没收了(不知道是故意还是弄错)，阚陵为此还和李孝恭吵了一架。
李孝恭想要报复阚棱，于是就趁此良机，以谋反罪将阚陵处死，可怜阚陵被捕前还以为自己破辅公祏有功等着论功行赏呢。
阚陵是江淮军最后一员大将，随着他的死亡，江淮军从此烟消云散。
李孝恭随即禀报李渊，说发现杜伏威才是谋反的幕后主谋，人证、物证俱全。
李渊早就想找借口收拾杜伏威了，现在终于等到了合适的机会，于是锁定证据，根本不给杜伏威申辩的机会，立即下诏免去杜伏威的官职、爵位，抄了杜伏威的家，被软禁了起来。
杜伏威百口莫辩，知道李渊是卸磨杀驴，于是整天惶恐，武德七年（625年）二月，杜伏威在长安暴卒，死因不明。
是不是被手下人下毒而死，不得而知。
反正这样的枭雄，按照李渊一贯的操作手法，是不会让他们活在世上的。
后来直到李世民即位，才“发现”杜伏威和阚陵惨遭诬陷，为二人平反恢复了名誉。
再说王雄涎死后，李渊和李世民有感于王雄涎的一片忠心，封了王的儿子为郡公，其子后来做到安西大都护。
南方平定，中原平定，长江中下游平定，现在能够威胁到大唐王朝的，只有北方的突厥政权了。
再说一下突厥的颉利可汗。
武德四年(621年)四月，颉利可汗率领一万多名骑兵联合马邑苑君璋所率领的六千兵力共同攻打雁门，定襄王李大恩将其击退。
颉利可汗捉住唐朝使者汉阳公苏瑰、太常卿郑元璹、左骁卫大将军长孙顺德，扣留了他们，不让回长安。
为了报复，李渊下令也扣留突厥相当数量的使者。两方剑拔弩张。大战一触即发。
颉利可汗看李渊不顺从，于是再次带兵入侵代州，打败行军总管王孝基，略取河东，侵犯原州，穿越延州要塞，唐朝诸将与之战，不能有所俘。
武德五年(622年)，颉利可汗送还长孙顺德等人请和，献鱼胶为礼，说是用来黏固两国的和好。
李渊顺坡下驴，立即放还他们的使者特勒热寒等人，并且赐与厚赏。
代州总管、定襄郡王李大恩上奏说：“突厥饥荒，可夺取马邑。”
唐高祖诏命李大恩与殿中少监独孤晟率军共同讨伐苑君璋。
独孤晟误期，李大恩不敢进军，屯兵新城。颉利可汗亲自带领数万骑兵与刘黑闼联合包围新城。李大恩战死，士兵阵亡数千。
颉利可汗等人继而进击忻州，但被唐朝左武卫大将军李高迁打败。同年六月，刘黑闼用突厥一万人马骚扰山东，践踏定州。
颉利可汗打得不顺心，又率领十五万人马进入雁门，围攻并州，抄掠汾、潞等州，掠取男女五千多人，又分几千人马转掠原、灵等州之间。
当时，李建成率兵出豳州道，李世民率兵出蒲州道来迎击；李子和领兵前往云中，掩杀颉利可汗后部；段德超带兵出夏州，截断他的归路。
并州总管、襄邑王李神符在汾东一战，斩杀俘获五百人，取马二千匹，汾州刺史萧顗献俘五千。
颉利可汗攻陷大震关，纵兵掳掠弘州，总管宇文歆及灵州杨师道迎战，获马匹、骆驼几千头。颉利可汗听说李世民将来，才引兵出塞，唐军回师。
武德六年(623年)，颉利可汗连同刘黑闼、苑君璋等骚扰定、匡、原、朔等州，与守将互有胜负。唐高祖派李建成再度屯守北边陲，李世民屯守并州，防备突厥入侵。很久后才撤。不久，突厥攻破代州的一屯，进击渭、豳二州，攻取马邑。不久向唐朝请和，归还马邑。
武德七年(624年)，颉利可汗攻打原、朔二州，进入代地，不胜。又与苑君璋合攻陇州及阴般城，分攻并州，李世民与李元吉屯兵豳州道备战。苑君璋与突厥兵出入原、朔、忻、并州等地，掳掠骚扰，多次被各将驱逐。同年八月，颉利可汗与突厥举国入寇，从原州连营南下，所到之处都极震恐，李世民、李元吉前往讨伐。
当初，关中雨涝，粮运阻绝，李世民等扎营豳州，颉利可汗率领一万余骑兵掩杀过来，列阵五龙坂，派几百骑兵出来挑战，唐军大恐。
李世民带领一百多人马驰往颉利可汗阵前，大声说：“国家没有背负突厥的地方，为什么背约深入我国？我就是秦王，来与颉利可汗单独一决雌雄。假若一定要以兵马相攻，我才一百多人，白白增加战死者，于事无益。”
颉利可汗笑而不答。
李世民又驰到突利可汗处说：“你过去曾与我有盟约，有急难，相互助。今日不念当日的香火之情了吗？能出来与我一决胜负吗？”
突利可汗也不回答。
李世民将渡沟水，颉利可汗见他兵少，又听见他香火之情的话，暗中疑忌突利可汗，于是派使者来说：“秦王别恼，我本不打算交战，只是想与王商议事情而已。”说后退兵。
李世民巧用离间计，突利可汗心向李世民，不愿再战。颉利可汗也失去强力不能战，就派突利可汗和夹毕特勒思摩入朝请和，李渊表示同意。
突利可汗向李世民表示愿结为兄弟。
李渊见到思摩，让人引他上御座。
思摩跪拜辞谢，李渊说：“我见你，就像见到颉利可汗。”思摩才就座。
突厥年年侵扰唐朝边陲，有人劝说唐高祖说：“突厥多次入寇，是因为这里有府库及好女子。如果我们离开长安，突厥的好战之心就会停止。”
李渊信以为真，于是就派中书侍郎宇文士及翻越南山，到樊、邓一带巡察，准备迁都。
众大臣也纷纷赞成迁都，唯独李世民慷慨激昂地说：“夷狄自古以来就是中国的边患，没听说过周、汉因此而迁都。希望陛下能给我几年的时间，我一定将突厥的可汗擒来献给陛下。”
李渊看李世民这样说，心里也感到有些惭愧，儿子说的确实有道理，于是才打消了迁都的念头。
颉利可汗见双方已经言和，又恰好天气多雨，弓箭都松弛毁坏了，也就解围而去。
李渊于是召集群臣商议边境防守的办法，将作大匠于筠提出在五原、灵武黄河边设置水军防守。
中书侍郎温彦博说：“魏国曾筑长堑遏止匈奴，此法现也可用。”
李渊于是下诏派桑显和到边境大道外挖堑，并召江南船工大造战舰。
颉利可汗派遣使者到长安，希望唐朝能开放北楼关便于贸易，李渊同意了突厥的提议。
当初李渊统领天下伊始，撤消了十二军，崇尚文治。至此，因为突厥之患，重新置军操练。