而道教的集大成者，袁家必须算上，袁天罡的父亲袁玑，任梁州司仓，叔父袁守诚，著名术士，在《西游记》中曾问卦赌雨算死泾河龙王，祖父袁嵩，周朝时先后担任犍为地区浦阳、蒲江二郡的郡守和车骑将军，曾祖袁达，梁朝时做过江、黄二州的刺使，周朝时连续担任过天水、怀仁二郡的郡守。
袁天罡父母早逝，是在孤独与贫穷中度过他的少年时代，他喜欢作学问和学习技艺，精通相术，隋开皇年间科举取士，他参加并中了明经科，“学得文武艺，货与帝王家”，这并不奇怪。
奇怪的是，朝廷负责选拔干部的官员犯难了，这位进士所学庞杂，该让他干什么？最后想当然地拍板，既然是经科，那就去卖盐吧。
于是，袁天罡成了大隋盐官令，唐高祖武德年间担任过火井（临邛）令，（隋朝大业十二年（公元616年）设置火井县，唐朝著名数学家、天文学家袁天罡出任首任县令，后天宝年间，火井县改名临邛县）。唐太宗李世民时期任军师、国师。
隋炀帝大业末年，窦轨寄居在剑南德阳县，跟袁天罡住在一起，窦轨当时的境遇困苦不堪，于是，让袁天罡给他看看面相，预卜一下未来的命运。
袁天罡就说“你前额到发际骨骼隆起，一直连到脑后的玉枕处，你的下巴浑圆肥大，今后十年之内，你一定会富贵的，成为朝廷的贤臣良将，你的右侧下巴隆起，而且明洁光亮，应当以梁、益二州为分界线，树立显赫的功名”，窦轨听罢，就说“如果真像你说的那样，不敢忘你的大德”。十年后，窦轨响应并追随李渊起兵反隋，后被封为益州行台扑射，窦轨到任后，对袁天罡的准确预言十分佩服，于是再次宴请袁天罡，对他说“从前你我在德阳县相见，怎么能忘啊！”，说完，深施一礼，又请袁天罡为自己相面。
袁天罡望了他许久，说“你的面相和过去没有什么不同，然而眼睛色红连着瞳仁，说话浮躁，面色赤红，做了武将怕是要多杀人的啊，但愿你要时刻警戒自己”，不久，窦轨跟李世民征讨王世充、出击吐谷浑，但是他不仅没有警惕，反而大开杀戒，对部下也很严苛，稍不满意便处斩，甚至连自己的外甥都没放过。
武德九年（626年），唐高祖召窦轨进京，这个时候他有点心虚，便又找来袁天罡测算，让他欣慰的是，袁天罡带来了好消息，说他右侧下巴发亮，看来会蒙圣恩，还会回到益州任职。
不知是否因为这一利好消息的驱动，本来心虚的他反而骄傲了，到了京城不仅仪容不整，而且大大咧咧地和唐高祖坐着说话，高祖一怒之下将他下狱，不过，正如袁天罡所言，不久他就被放了出来，还被授予益州大都督的位子。
唐太宗贞观六年任期届满来到京城长安，太宗召见袁天罡。对他说“巴蜀古时候有个严君平擅长占卜，我有你，你自己看怎么样？”，袁天罡回答说“严君平生不逢时，我遇到了圣明的皇上，我应该胜过他”。
袁天罡初到洛阳时，在清化坊安顿下来，无论是朝庭中的高官显贵，还是民间的各等人士都往他那里跑，家中常常聚满了人。
当时，杜淹、王珪、韦挺三个人来见袁天罡，请他给看相，袁天罡对杜淹说“这位官人，鼻子的左侧饱满分明，脸盘宽阔”，对王珪说“这位官人从鼻翼经嘴角的两条纵理纹清晰，而且天庭与地阁直临。十年之内，一定能荣任五品的显要官职”，对韦挺说“这位官人脸像大兽的脸。文角清晰，一定会得到贵人的提携。刚开始时任武官”。又对杜淹说“二十年以后，恐怕三位贤士要同时被责罚贬黜，但是是暂时的，很快又会被召回恢复官职的”。
不久，杜淹升迁侍御史，唐高祖武德年间，又任天策府兵曹文字馆学士。王珪任隐太子中允，韦挺在隋朝末年由隐太子李世民引荐做了率更。
武德六年三人都被发配，流放到隽州，杜淹三人经过益州时，见了袁天罡哭泣着说：“袁公从前在洛阳说的话全都像神明的预示啊！今天的情况如此，再给我们看一看相吧”，袁天罡说“各位的骨法，大大胜过以往，不久就会回来的，最终必定能享受荣华富贵的”，
到了武德九年六月，三人都被召回京城。回来时，又经过益州，三人造访了袁天罡，袁天罡说：“杜公到京城，就能得到三品要职。年寿我就不知道了。王、韦二公，在这以后应该到得三品官，又都能长寿，但到了晚年在仕途上不能有太大的发展了。韦公可能更明显一些”。
杜淹到了京城，就被授予御史大夫，检校吏部尚书，杜淹非常高兴，回去后做了一首诗来赞颂袁天罡：“伊吕深可慕，松乔定是虚。系风终不得，脱屣欲安如。且珍绔素美，当与薜萝疏。既逢杨得意，非复久闲居”。
意思就是伊尹、吕尚那样的名相深深让人敬慕，赤松子、王子乔等传说中的得道仙人纯属子虚乌有，扑风捉影的事情终究不能成为现实，将一切看成象脱掉鞋子一样随便就会得到安宁。应当象珍惜洁白美丽的白绢一样珍重我们自己吧，让我们象疏离薜萝那样与恶运远离。君既然遇上杨得意这样的人且已相知相识，那么，你也一定能升达腾飞而不会久久闲居。
王珪不久任侍中，出任同州刺史。韦挺担任了好几年蒙州刺史，并且病死在任上，这一切全都和袁天罡当年说的一样。
唐太宗贞观年间，皇帝下诏书令袁天罡到九成宫，当时中书舍人岑文本让袁天罡给看相。袁天罡说“舍人的脸面宽大，眼眉又长过眼睛，你的文才可在海内名声大振。但是你头有生骨，不可能有太大的成就。从后面看完全没有得到三品官的命相，从前面看可以得到三品官。但是你四肢虚弱，骨与肉不相称，如果得到三品位，恐怕是折寿的征兆”，后来，岑文本升任中书令后，不久就死了。
房玄龄与李审素一同来见袁天罡。李审素平日恃才傲物，不怎么把房玄龄放在眼里，房玄龄让他先相。袁天罡说“五品看不出来。如果是六品以下比较重要的官职还有可能”，自视甚高的李审素自然不服气，不再问他自己的事，说“看看房公能得个什么官？”，袁天罡说“这位官人大富大贵，你要想得到五品官职就求他吧”，李审素当然不信袁天罡的话。结果后来房玄龄出任宰相，而他死在了官职卑微的起居舍人位子上。
唐高宗听说了袁天罡给房玄龄看相时说过的这些话后，让房玄龄赠封给袁天罡五品官职，房玄龄奏请圣上赠封他为谏议大夫。
蒲州刺史蒋严，幼年时袁天罡给他预测说“这孩子该受多年的牢狱之苦，以后能大富大贵，跟随某人，官能做到刺史，八十三岁之年八月五日午时，俸禄就终止了”。
后来，蒋严在征伐辽东时，被敌人擒获，在地牢中被囚禁了七年，平定高丽后方得归来，完全象袁天罡说的那样，官做到蒲州刺史。八十三岁时，他对家中人说“袁公说我八十三岁禄绝，这是死啊！”，于是置酒食与亲朋故友告别。
这时，果然传来皇帝的圣旨，革职放遂，立既停发俸禄。以后又过了好几年，他才去世。
李义府客居在四川，袁天罡看见他时，惊奇地说“这小伙子贵极人臣，但寿命不长”，于是留他在家中住下，把自己的儿子托付给他，说“这孩子有七品的命相，希望你今后多照顾”，李义府答应了，又问袁天罡自己的寿命有多长？袁天罡回答说“五十二岁往后，我就不知道了”，后来，李义府被安抚使李大亮、侍中刘洎等联名推荐。
唐太宗召见了他，并出了一道试题，让李义府作一首《咏乌》诗，李义府当场写出一首《咏乌》诗：日里扬朝采，琴中伴夜啼。上林多少树，不借一枝栖。
唐太宗非常赏识他说“我将全树借你，岂只一枝！从门下典仪起全越过去，你为监察御使”。
后来李义府的官位，寿数全如袁天罡所说的那样，该死的时候就死了……。
赞皇人李峤，年幼时就显露出卓越的才能，他家兄弟五人全不到三十岁就都死去了，只有李峤自己长大成人，李峤的母亲，一天比一天提心儿子会夭亡，就到袁天罡那里去，让给李峤看看面相。
袁天罡说“小伙子神气清秀，可惜寿命不长，恐怕活不到三十岁”，李母听了后大为悲伤，李峤这时已经很有名气，家中人都希望他显贵发达，听了袁天罡的话，都不愿意相信。
李母又请袁天罡，并且安排饭食招待他，让他再给儿子仔细察看，袁天罡说“肯定是这样的”，李母请袁天罡到书斋和李峤在一张床上同睡，袁天罡上床就睡得很平稳，李峤依然不睡，到五更时分忽然睡去。
这时，袁天罡正巧醒来，看李峤没有呼吸，用手试一下，鼻下已经断气。起初，袁天罡大吃一惊，察看了许久，发现李峤是用耳朵呼吸，袁天罡推醒李峤，告诉他说：“我找到了答案”。