第二天，李员外找到袁小，说“袁小呀，你在我家，我待你不错。我今天要和你打个商量，叫你那媳妇给我当个小妾，我多给你些钱，你再拿钱去娶个媳妇，再买些田地，盖些房子，就算有些家业了，这也不算亏待你”。
袁小作为一个伙计，也不敢和李员外对抗，他只好叫仙女让给了李员外。
袁小得了钱，不当茶童了，他用钱置了点小家业，拉扯住儿子袁天罡过日子，他为了对得起仙女，对天赌咒，不再娶女人。
这个仙女成为了李员外的夫人之后，又生了一个儿子，这就是大名鼎鼎的李淳风。
李淳风出生不久，天上敲响了天鼓，仙女上天了，打这以后，袁天罡和李淳风都没有妈了。
不久后袁天罡上学了，学生娃们都瞧不起茶童的儿子，天天打他，天天骂他“你这个没妈的娃子，打死你！”，袁天罡天天从学堂哭回家，问袁小“爹，我的妈呢？我为啥子没有妈？”，袁小怕别人笑话自己的媳妇跟了员外，根本不敢提这个事，每回看着儿挨打哭着回来，心里很难受，却不敢叫实情说给儿子。
这天，袁天罡在学里又挨打，又哭着往回走，路上，他遇着个白胡老头。这白胡老头是太白金星变的。
老头问袁天罡“学生娃，你哭啥呀？”，袁天罡说“我没有妈，天天受别人欺侮”，老头说“你咋没有妈呢？你有妈”。
袁天罡一下子拉住了白胡老头，给他跪下，说“爷爷，请你给我说，我妈在哪里？”，老头说“明天中午，你到隔山水塘边，藏在芭茅林里，你看水塘里有七个姑娘在洗澡，等她们洗罢澡，要走时，最后那个穿红衣裳的女子，就是你妈”。
第二天，袁天罡照着白胡老头的话做了，他待七个姑娘上岸要走时，一下子拉住了那个穿红衣裳的女子，喊，“妈妈！妈妈！”。
红衣女子过细一看，是自己的大儿子，就立马说道“儿呀，我给你一本书，你好好读，一辈子不会受穷”，袁天罡刚接过书，红衣女子就不见了。
红衣女子给袁天罡的书，传说是一本和那三页天书一样神奇的天书。按书中的文字推算，能知道许多还没发生的事。
人们给它起了书名，叫《天罡时》，那时候，朝廷的正宫娘娘掉了金钗，找了好些天数，总找不着。就派大臣来问袁天罡，袁天罡说了一首诗皇宫内外寻金钗，御花园里也没得，要想头上金钗现，又沾豆子又沾麦。
正宫娘娘和文武大臣们一起解诗。宰相想了一天，说“又沾豆子又沾麦，是不是酱豆呢？”，正宫娘娘一想，是呀，酱豆是豆子和麦子做的，又一想，是的，前些天数，她到酱园去过一趟，还看了看酱豆的好坏。
随即，正宫娘娘又来到酱园，伸手拿起勺子，在酱豆盆里一搅，搅出了金钗，原来，她的金钗是真正掉在了酱豆盆里。这一下，袁天罡出名了，他一下子成唐朝的“神算子”。
因为袁天罡和李淳风是一个妈生的，所以，李淳风也读了这本书。弟兄两个都有未卜先知的本领。
民间传说隋末唐初著名星命学家袁天罡和李淳风是亲哥俩，一说同母异父，一说是一母所生双胞胎，由袁、李两家抚养。
传说都是画上的仙女所生，李淳风是地主出身，兄弟轮流当家，有一年轮到他当家，他让长工把所有的地都种上糜黍，遭到了家里所有人的反对，他说“我当家，我说算，好不好，秋后看”。
恰遇这年，隋炀帝要下扬州看琼花，他坐在龙舟里，挑选童男、童女裸体拉纤，下面铺上糜黍合香油，我们知道糜黍在没碾成米之前是特别光滑的，再加上香油更滑了，这样龙船就可以向前走，但那些裸体的童男美女用力拉时，他就用刀子把纤绳割断，童男美女便跌倒在地，他在龙船上哈哈大笑。
糜黍铺地，拿黍行舟，那得用多少糜黍啊！沿路贪官为了取悦隋炀帝，到处征收糜黍，没有的农民便用谷子来换，五斤谷子换一斤糜黍，李淳风因此发了大财，一家人也佩服他的先见之明。
袁天罡、李淳风都精通《周易》八卦，能掐会算，有一次李淳风的夫人把金钗丢了（古代人就是有钱，天天丢金钗），李淳风起卦一算是丢在豆子里了（我看这是和豆子较上劲了），就叫家人、丫环找遍了所有与豆子有关的地方，就连豆秸垛都翻了也没找到。
他想，明明算就的在豆子里，邪了门啊，怎就找不到啊，我得问问我哥去，于是就买了两壶酒找袁天罡去了。
还没到那呢，老远就看他哥用苇草笘房呢，一想今天是火日啊，犯忌啊，哎，我哥还不如我，连犯忌都不知道，这酒我不给他了。
李淳风来到袁天罡跟前说“哥，笘房呢？”，哥答“啊！”，弟问“哥你知道今天笘房犯忌吗？”，哥答“知道，今天是火日啊！可兄弟你是水命啊！”，接着说“火日笘房水命来，兄弟打酒土里埋，金钗掉在酱缸里，何必丫鬟翻豆柴”。
然后说给李淳风听金钗就在酱缸里（多么熟悉的套路），你找去吧，可见袁天罡比李淳风技高一筹。
据说袁天罡学得一身好武艺，辞别了师父智仁法师下山来到家里，整日跟着义父靠卖烧饼度日，寒来署往，一天，他挑着烧饼担在青羊宫附近叫卖，遇上一位老人，拄着拐杖从他身边经过，说是要买一个烧饼。
袁天罡放下担子，可是那老人上下左右端详起他来，袁天罡奇怪地问“老人家，你不是要买烧饼吗？”，老人说，“对呀，我是要买一个烧饼”，说着就拿起一个烧饼来吃，袁天罡看这老者这么不客气，禁不住说“老人家，五文钱一个呀”。
老人在身上只摸出了一文钱说“我只有一文钱了”，袁天罡心想，这老儿想占便宜，用一文钱买我五文钱的烧饼，唉！算了吧，何必与他计较，于是说“你拿去吃好了，那一文钱我也不要了”。
老头一听，说道“还有这么好的事呀，白吃不要钱，干脆你再送给我一个吧”，说完，又伸手拿了一个。
袁天罡心里不觉有几分恼怒，老头怎么这样得寸进尺，真有点欺负人，真想打他一拳，可转而一想，对这种人还是躲得远点为妙，说不定你还没挨着他他就赖上你，想到这他挑起烧饼挑子就走。
老头见袁天罡走了就喊道“卖饼的小伙子，你等等，”，袁天罡回头说“什么事呀？你是不是还没吃饱哇？”，老头笑道“我刚才是和你闹着玩的”，说着他掏出十文钱来递给他说“给。”
相传，孙思邈自思年记大了，自己的医术和相人绝技不能没有传人，这十多年来，他一直在物色徒弟，但一直未能如愿。
到成都后，看到这个卖烙饼的青年人起了爱慕之心，他说“小伙子，我看你相貌堂堂，天庭饱满，五岳拱朝，学堂宫全，气度甚宽，想与你交个友”（套路！赤裸裸的套路），袁天罡一听，心中一惊，暗道，这老头有点来历，敢是江湖高人？
他忙放下担子行礼道“多蒙老前辈看重，晚辈十分感激，只是不知老前辈为何叫我？”，老头道“老朽姓孙名思邈，以医病相人为业，我游历江湖数十年，相过的人有数千之多，小伙子你的相算得上是贵相，你叫什么名字？”，袁天罡道“想不到你就是孙老前辈，江湖上久传你的大名，晚生只恨无缘相见，晚生姓袁，名天罡”。
孙思邈听罢说道“原来你就是赵昭之子，当年我在赵府还见过你呢，那时候你才六岁，大概记我不得了吧，一晃十来年，你已经是大人了，我都认不出来了”，袁天罡道“看来我与老前辈是早已获认识了”。
两人相视笑了起来“晚辈想拜老先生为师，学那医人相人之术，请老先生收纳”，袁天罡说“你义父赵昭也曾是天下名士，你在他那里学习多年，想必也得了一些真传”，“义父原本要教我相人之术，怎奈在我十岁时，他被贼人杀死了，所以晚辈于此道一无所知”袁天罡道。
孙思邈说“我看你骨法不凡，天资甚高，于歧黄、命理之术不难参透，只是不知你能否吃苦，随我浪迹江湖”，袁天罡一听此言，知道孙思邈有收徒之心，忙叩首道“师父在上，受徒弟一拜，我愿随师父游天下”。
药王孙思邈，七岁就学，日诵千言，精通老庄百家之说，其医术高超，名扬四海，北周时，孙思邈以天下多变，隐居太白山，隋文帝辅政时，被征为国子博士。后来，他不愿在京城，感觉不自在，便称疾不起，借而辞职离京，一路行医游历天下。他到成都已有月余，在成都城周围乡村给人治病。
从此，袁天罡每日随孙思邈学习，开始学的医术，孙思邈教他望、闻、切、问、配方用药、推拿针灸。
袁天罡学得很认真，孙思邈亦带他在江湖上行走。