晋惠帝永兴元年（甲子、304）刘渊堂祖父右贤王刘宣对他的族人说：“自从汉朝灭亡以来，我们的单于都是徒有虚名，不再有一寸土地。其余的王侯，地位却降到百姓一样。现在我们大家虽然衰落，但也在两万人以上，怎么能伏首贴耳地充当役夫，这样匆匆地过了一百年！左贤王英俊威武超凡绝伦，上天如果不想使匈奴兴盛，也就一定不会白白生出这个人。现在司马氏骨肉亲人互相残杀，四海动乱如同鼎中沸腾的开水，光复呼韩邪的事业，这正是时候！”于是互相谋划，推举刘渊为大单于，并派他的党羽呼延攸到邺城去告知他。
刘渊告诉司马颖，请求回乡参与葬礼，司马颖不允许。刘渊让呼延攸先回去，通知刘宣等人让他们召集五部匈奴以及各小民族，声称援助司马颖，实际打算背叛他。等到王浚、东嬴公司马腾起兵，刘渊对司马颖说：“现在幽、并二州的镇将猖獗，率众十多万人，恐怕不是禁卫军和附近郡县的军队可能抵御的，我请求为殿下回去召集五部匈奴人马赴救国难。”司马颖说：“五部匈奴的人马，真能够发动吗？即使能发动他们，鲜卑、乌桓，也不是轻易能阻挡的。我想侍奉皇帝还归洛阳，避开他们的锋芒，再慢慢向天下发布檄文，用正义制服邪恶的道理说服他们。您认为怎么样？”刘渊说：“殿下是武帝的儿子，又对王室建立了大功勋，威严恩德远近闻名，四海之内，有谁不愿意为殿下拼死尽力呢？有什么难以发动的！王浚是小人，东赢公是关系疏远的皇亲，怎能与殿下争比高低呢！殿下如果离开邺城宫殿，那就是向人示弱，洛阳也不能进去了，即使到了洛阳，殿下也不会再有威势权力了。希望殿下抚慰勉励部众，使他们安定镇静，我请求为殿下用两部匈奴摧毁东赢公，三部匈奴去杀王浚，高悬二个小人的头颅，指日可待。”司马颖非常高兴，任命刘渊担任北单于、参丞相军事等职。
刘渊到左国城，刘宣等人给他封上大单于的称号，二十天之间，有了五万人，建都离石县，封刘聪为鹿蠡王。派左於陆王刘宏，带领五千精锐骑兵，会同司马颖的部将王粹阻击东嬴公司马腾。王粹已被司马腾打败，刘宏无功而返。
王浚、东嬴公司马腾联合军队去攻打王斌，把王斌打得惨败。王浚让主簿祁弘担任前锋，在平棘县打败石超，祁弘乘胜进军。侦察骑兵到了邺城，邺城城里非常震惊，文武百官四处奔逃，士卒离散。卢志规劝司马颖侍奉惠帝返回洛阳。当时还有一万五千武装士卒。卢志连夜部署分派，到早晨将要出发，但程太妃留恋邺城不愿离开，司马颖也犹豫不决。一会儿大家溃散，司马颖于是连忙带领军帐下的几十个骑兵与卢志侍奉着惠帝登上犊车，向南逃往洛阳。仓猝得君臣上下都没有带钱，中黄门行李中藏着三千私人的钱，诏令借他的这些钱，在路上买饭，夜里惠帝就用中黄门的布被，吃饭时使用瓦盆。到达温县，将要拜谒祖宗陵墓，惠帝把鞋走丢子，就把侍从的鞋要来穿上，到陵墓前流着泪下拜。过黄河时，张方派他儿子张罴带领三千骑兵，用自己的车乘侍奉迎接惠帝。行到芒山下，张方自己率领一万多骑兵迎接惠帝。张方将要叩拜谒见，惠帝下车止住了他。惠帝回到皇宫，四处奔散的官员有少数也回来，文武百官大致齐备。辛巳（八月十六日），宣布大赦。
王浚进入邺城，士卒们狂暴抢掠，邺城中死了很多人。派乌桓人羯朱追击皇太弟司马颖，追至朝歌，没有追上。王浚回到蓟城，因为鲜卑大多抢劫人家妇女，就下令：“胆敢有挟藏妇女的人，斩！”结果因此被沉入易水的妇女有八千人。
东赢公向拓跋猗求兵攻打刘渊，拓跋猗与弟拓跋猗卢联合在西河进攻刘渊，把刘渊打败，与司马腾在汾东结盟后回师。
刘渊听说皇太弟司马颖离开邺城，感叹说：“不采纳我的话，反倒自行奔逃溃散，真是奴才！但我与他有言在先，不能不救他。”打算发兵攻打鲜卑、乌桓，刘宣等人劝谏说：“晋朝人像奴隶一样使用我们，现在他们骨肉亲人之间互相残杀，是上天抛弃他们而让我们光复呼韩邪的事业。鲜卑、乌桓，是我们的同类，可以作为后援，怎么能攻打他们呢？”刘渊说：“好！大丈夫应当作汉高祖、魏武帝，呼韩邪哪里值得效仿呢？”刘宣等人叩头行礼说：“我们是想不到啊。”
荆州的军队擒获并杀掉张昌，他的同党都被诛灭三族。
李雄认为范长生有名气威德，被蜀地百姓所看重，想自己作为臣下迎奉他为国君，范长生不同意。各位部将坚持请求李雄登上王位。冬季，十月，李雄即位为成都王，宣布大赦，改年号为建兴。废除晋朝法律，自建法律七章。让他叔叔李骧担任太傅，兄李始担任太保，李离任太尉，李云任司徒，李璜任司空，李国任太宰，阎式任尚书令，杨褒任仆射。尊奉母亲罗氏为王太后，追尊父亲李特为成都景王。李雄因为李国、李离有智慧谋略，任何事情都必定找他们咨询后才行动，然而李国、李离也愈发谨慎。
刘渊将都城迁到左国城。胡人、晋朝人归附他的更加多了。刘渊对臣下们说：“过去汉能长久地拥有天下，是因为用恩德维系百姓。我作为汉朝刘氏的外甥，相约为兄弟，哥哥亡故而弟弟继承，不也可以吗？”于是建立国号称汉。刘宣等人请求给刘渊上一个尊号，刘渊说：“现在四方各地都没有平定，暂且按照汉高祖那样称汉王。”于是登上汉王王位，宣布大赦，改年号为元熙。追尊安乐公刘禅为孝怀皇帝，制作汉高祖、世祖，昭烈皇帝三祖和汉太宗、世宗、中宗、显宗、肃宗五宗的神主来祭祀他们。立他的妻子呼延氏为王后。让右贤王刘宣担任丞相，崔游任御史大夫，左於陆王刘宏担任太尉，范隆担任大鸿胪，朱纪任太常，上党人崔懿之、匈奴后部人陈元达都担任黄门郎，同族侄子刘曜担任建武将军。崔游坚决辞让不去就任。
陈元达年轻时就有志气节*，刘渊曾经招用他，陈元达没有答复，等到刘渊成为汉王，有人对陈元达说：“您害怕吗？”陈元达笑着说：“我了解这个人已很久了，他也明白我的心思，只恐怕过不了三两天，驿站必定送信来了。”到傍晚，刘渊果然征用陈元达。陈元达为刘渊作事，多次进谏忠言，退朝后就删削奏稿，即使是家人、子弟也没有谁能够知道内容。
刘曜长着白眉毛，眼睛中有赤光，年幼时很聪明，有胆量，很早就失去父母，被刘渊抚养。等长大后，仪表魁梧伟岸，性格磊落高尚，孤傲不与大家往来，喜爱读书，善于写文章，一寸厚的铁板，他能用箭射穿。常常把自己比作乐毅和萧何、曹参，当时的人没有赞许他的，只有刘聪看重他，说：“刘曜属于汉世祖、魏武帝一类，乐毅等人有什么可称道的！”
惠帝回到洛阳后，张方倚仗着兵权而独揽控制朝政，皇太弟司马颖不再能参与政事。豫州都督范阳王司马、徐州都督东平王司马等人给惠帝上言：“司马颖不能担负重任，应当把封地降为一个城邑，特许保全他的性命。应当交给太宰司马统领关右的职任，从州郡以下，选举人才授官任职，都让他去办理，朝廷的大事，废除兴办减损增益等事宜，都和他商量咨询。张方为国家报效气节，但不晓事理变通，没有及时回到西边，应当发遣他回到郡中，给张方的官职，请全部按照过去的任命。司徒王戎、司空司马越都忠于国家，小心谨慎，应当参与机要事务，把朝廷政事交给他们。王浚有稳定社稷的功勋，应当特别加以恩崇重用，让他管理幽州、朔方地区，成为北方藩篱屏障的首领，我们尽心竭力捍卫都城，保护皇室，那么陛下就可以垂衣拱手、高枕无忧，四海自然匡正。”
张方在洛阳时间已长，洛阳城几乎被兵士剽窃抢掠一空，士兵们喧闹吵嚷，没有再留下来的心思，商议着想侍奉着惠帝把都城迁往长安，恐怕惠帝和公卿大臣不同意，想等待惠帝出行时将他劫持。就请惠帝去拜谒宗庙，惠帝不答应。十一月，乙未（初一），张方带兵进入宫殿，用自己的车乘去接惠帝，惠帝连忙到后园竹林中躲避。兵士将惠帝带出，*迫着让他上车，惠帝流着泪勉强答应了。张方在马上行礼说：“现在强盗窃贼横行无忌，守护皇宫的禁卫势单力簿，希望陛下到我的营垒中去，我将拼死尽力来防备意外发生。”当时大臣们都四处逃避躲藏，只有中书监卢志在惠帝身边侍奉，说：“陛下今天的事情，应该全听右将军张方安排。”惠帝于是来到张方营垒，并让张方准备车去装载宫女、宝物。兵士们趁机到后宫抢劫污辱宫女，争夺瓜分宫中所藏的物品，割下丝织垂穗、皇宫兵器帷帐当作马鞍垫，宫中魏、晋以来蓄积的宝藏，一扫而空。张方将要焚烧宗庙、宫室，想断绝人们回返的心思，卢志说：“董卓暴虐不讲道义，在洛阳放火，怨怒愤恨的声音，一百年后还能听得见，为什么要去学他呢？”张方这才罢手。
惠帝在张方营垒中停留了三天，张方带着惠帝和皇太弟司马颖、豫章王司马炽等向长安进发，王戎逃奔郏县。太宰司马率领官员僚属和步兵、骑兵共三万人在霸上迎接，司马上前叩拜谒见，惠帝下车止住他。惠帝进入长安，以司马的征西将军府作为皇宫，只有尚书仆射荀藩、司隶刘暾、河南尹周馥在洛阳留守朝廷台署，根据皇帝的旨意处理事务，与长安新建台署分别号称东台、西台。荀藩是荀勖的儿子。丙午（疑误），洛阳留守台署宣布大赦，把年号又重新改为永安。辛丑（初七）恢复皇后羊氏的地位。
罗尚迁移到巴郡驻扎，派兵抢掠蜀中，抓获李骧的妻子昝氏和儿子李寿。
十二月，丁亥（二十四日），诏令皇太弟以成都王的身分返回府第，改立豫章王司马炽为皇太弟。惠帝兄弟共二十五人，当时在世的只有司马颖、司马炽和吴王司马晏。司马晏才能平庸资质低下，司马炽自幼平和质朴好学，所以太宰司马拥立他。诏令司空司马越任太傅，与司马共同辅佐皇室，王戎参与管理朝政。又让光禄大夫王衍任尚书左仆射。让高密王司马略任镇南将军，兼任司隶校尉，暂且镇守洛阳。东中郎将司马模担任宁北将军，都督冀州诸军事，镇守邺城。让各部门大臣官员各自回到本来的职任上。命令州、郡取消苛刻的政令，爱护人民，让他们从事本业，等到形势清平通畅后，就返回东京洛阳。宣布大赦，改年号为永兴。司马略和司马模，都是司马越的弟弟。王浚离开邺城后，司马越派司马模在邺城镇守。司马因为各地抵触分袭，祸患灾难不断出现，所以下这个诏令使各地方和解，企望能够获得稍微安定的局面。司马越推辞不接受太傅的职务。又下诏让太宰司马任都督中外诸军事。让张方担任中领军、录尚书事，兼任京兆太守。
东嬴公司马腾派将军聂玄攻打汉王刘渊，在大陵县交战，聂玄的军队惨败。
刘渊派刘曜进犯太原，攻克泫氏、屯留、长子、中都等地。又派冠军将军乔进犯西河，攻克介休。介休县令贾浑不投降，乔就把他杀了，打算娶贾浑妻宗氏，宗氏痛哭怒骂乔，乔又把她杀了。刘渊听说这事，非常生气，说：“假如上天知道了，乔还能希望有后代吗？”将乔追回，降了四级官秩，收敛贾浑的尸体安葬了。