宁夏固原有个叫柴四的人，到磁州贩卖羊，生意很不好，在那里也没事做。又到了秋天，刮起了秋风，心里想念家里，很想回家去了，便打点好，牵着驴子就上路了。
走在路上，误入丛林之中，就像进入八卦阵中，不知东西，迷路了。此时，他又饥又渴，疲惫不堪，就从驴背上下来，慢慢地徒步前进，一边牵着驴子，驴子一边啃着地上枯萎了的草，自己也拿出干粮啃起来，到处看看有没有可以休息的地方，看到前面不远的地方有一棵高大的树木，想那里应该可以休息一下，便朝着前面走去。
正往前行走，忽然窜出一只兔子，驴受到惊吓，一下闪过一边去，路边刚好有一口枯井，驴失脚，坠到里面去了。柴四拉着缰绳，绳子没放得有多长，和驴子挨得很近，没有来得及放开，跟着驴子也坠下去了。
也不知道井有多深，坠到底了，倒也没有什么损伤，只是里面漆黑一团，脚下全是稀泥，湮过了脚背。柴四暗中摸索，开来是没办法出去了，想自己死定了，悲伤了好长一会儿，又向周围看看了，不觉“噫”了一声，好像有一线光线透进去，就慢慢地移动过去，摸到那里是一面石门，用力地推动，不觉豁然开朗，在石门外边，长着细茸茸的小草，各种各样的花，犹如锦绣，远处的山，一派青黛色，近处的水，一片碧蓝，抬头看空中，天朗气清，一目千里，柴四绝处逢生喜出望外，立即牵着驴子走进去。
穿过花丛，大概半里路这样，就见到了一条小路，路两旁长着奇花异草，异常清香美丽，都是柴四生平没有见过的。
一种像是桃树的树上，长满的浓密的样子，也开满了花，但那桃花有碗口那么大，当时已是残秋季节了，然而那个地方的风景，则好像是暮春时节一样，柴四心里大惑不解，于是，也不管了，骑上驴子就得得地向前走去。
最后来到一个村落，清澈的溪水环绕在村子四周，村里里绿树浓荫。房屋的墙壁都是用竹子编织成的，上面盖着一张张木板，就像是一副山水画一样，村里面的黄发垂髫的小孩，还是满头白发的老人，每个人脸上都显得十分和悦。
村里的人忽然见到柴四，都感到很惊奇，尤其对他的那头驴子感到很奇怪。虽然众人聚拢过去，对他议论纷纷，可是没人敢靠近他。
柴四不明白他们的意思，只能低声温和地向他们诉说自己快要饿坏了。
一个老人指示他说：“向西走去，一座石桥边，有荀孺子的宅第，他家富有，并讲究礼仪，喜欢接纳客人，你为何不到他那里去呢？”
柴四就按老人说的，到了那里，果然有一处高大的宅第，对面有一座高大的石桥，极为显赫。
柴四上前去敲门，一个老仆人答应着走出来，问讯了一下，就请柴四进去。
又过了好久，荀孺子出来了，是一个面目白皙，长着漂亮的髭须的中年人，大概四十岁这样，带着一顶头冠，穿着宽大的衣袍，打扮很古雅。
荀孺子见到了驴，也很惊讶地说道：“这是什么兽呢？”
柴四回答说是驴子。
荀孺子细细玩赏，仔细观看，笑驴子形状怪异，说道：“‘驴’字在诗书上，倒是见过很多，现今才见到真正的驴子。”
荀孺子把柴四请到堂上，叫人把他的驴系在庭院的树上，还没来得及叙话，荀孺子便先去叫家人出来观看驴子。
其中有一个女郎，显得很艳冶，频频看了柴四好几次，似乎对他十分满意，柴四也被女郎的美貌和神态吸引了。
接着，驴大声鸣叫了一声，众人都惊讶地四散开来。
荀孺子大笑起来，说：“看它的形状，像是马一类的东西，它定然不会吃人的，又怕什么呢！不过听它的声音，又很美妙，真是世间少有的好东西。”于是，就让柴四留下，并且很热心地地招待，并派了两个僮仆去服侍他。
柴四在那里住了几天，柴四乘机向小僮打听女郎的消息，说出那女郎的形貌，并问那女郎是家里的什么人？小僮没有回答他，笑着就走了。
过了一会儿，荀孺子到来了，对他说：“听说你问起我的女儿，一定不会是无心的吧！”
柴四感到很羞愧，汗水都从额头冒出来了，说：“只是偶然随便问问，实在没有别的意思，希望你原谅。”
荀孺子道：“你听说过韦娭光的事吗？”
柴四道：“我从小就开始学做生意了，肚里实在没有什么墨水，哪里知道什么典故！”
荀孺子道：“韦娭光这人，精神充裕，精通神仙吐纳的工夫，吸风饮露，不是不能乘风腾云成为仙人，然而一见到钟鉴，就结为了夫妻，今天你们俩的事，也是有缘分。你要是不嫌弃我们是山野村夫之家，倒愿意把小女嫁给你为妻。”
柴四听了，心里不甚欢喜，简单推辞了一下，就算作答应了。
荀孺子就向柴四索要聘礼，柴四打开包裹，拿出两条紫金手镯，奉送给他。
荀孺子接过手镯，道：“这就足够了。”又问柴四生平是做什么的。柴四回答说：“贩卖羊。”
荀孺子一副惊愕地样子，说：“已做了几年了？”
柴四道：“以前是父亲在做，父亲老了，又到我继续接着做，已得两代了，当然算不上富有，可也算得上小康了。”
荀孺子听了，并没有感到高兴，相反，却带着一脸的不愉快，说：“你真是一个不仁之人，怎么能把女儿嫁给你？”
柴四道：“我们只是来往贩卖，又不杀害它们，想好像也不会有什么罪啊！”
荀孺子道：“你虽然没有亲手杀死羊，却有很多羊因为你们而死，怎么能说没有罪。”
柴四道：“那以后我就改业不做了。”
荀孺子道：“两代都是贩羊的，不知道已死去了多少羊，已罪不可恕了，即使改业也晚了。”就把两只手镯还给了他，只把他的驴子留下，并给一锭银子，就打发柴四离开他家。
柴四心里万分悔恨，也不敢争辩，悒悒不乐地背着包袱就走出了荀孺子的家，便到他家旁边的人家去居住，想办法要回去，到处去向人打听路径，然而没有一个人知道他要去哪里，心里十分郁闷，幸好那家的主人不向他索要房租，并且每天供给他两餐吃的，也没有什么缺乏的。柴四很喜欢那里风土秀美，人情淳朴，心里倒也安然。
一天，听四周邻里的人都纷纷传说：“荀孺子要把女儿嫁到鲍处士家去，今天就是迎亲的日子，为何不去看看？”
于是，全村无论男女老少，都围到路上去观看。柴四也挤进人群中去，见一对人打着彩旗在前面引路，后面跟着华贵的车架，穿着鲜丽的衣服、戴着彩色的帽子人，拥簇在车子的两边，十分热闹，又把他的驴装饰得很盛大华美，有一个戴着花帽子男子骑在上面，十分漂亮。
人们都说：“骑着异兽那位，就是鲍家公子，也就荀家的女婿。”
柴四见了，心头不觉大生嫉妒之心，忽然上前去拦在路上，问为何夺了他的驴子，众人刚见他上去的时候是感到惊讶，接着便是恼怒，于是凑上去用马鞭抽打他。
柴四也不怕，上前去抓住驴的笼头，不肯让开。
荀孺子听到有事情，便跑过来见是柴四，就说：“牧羊儿，还敢来扰乱我家的婚事大礼吗？”
于是，叫人上去把他绑住，柴四见有人来绑他，他才放开驴，在地上翻滚，不让他们绑，并大声说：“今天也打算一拼到底，还怕你们来绑我吗？”
众人还是上去，把他按住，送到官府，做官的袒护荀孺子，那容许柴四分辨，便以为人刁蛮狡诈不明事理罪，把他打了三百鞭子，流放到五百里之外的尘界关，让他去戍守边关。
柴四被押送到了那里，守关的官吏让他负责开关城门。柴四到了关上，差不多一个月了，也没有一个人出入关门，也觉得很寂寞。
一天守关的官吏有事要到别处去，嘱咐柴四好好看管好关门的钥匙，不要随便偷看关外。
官吏去之后，柴四终于有机会了，就想为何不打开关门逃走了呢？于是把门打开，加速往外走，刚走出关，风景顿时就大变了，并且十分的寒冷，一路奔走，走到了天黑，才来到一个村镇，问路上的行人，都说是湖南的一个县一个村，问是什么年代了，那些又说是某年的十一月了。
柴四吃惊不已，原来离他坠入井中的地方有上千里了，算了一下日期，离自己坠井的那天，已有十多年了。于是，急忙星夜赶回家去，家里已改变了主人，探访亲友，差不多都已搬走了，只有一个小的弟弟还在，因为贫苦，便在酒店中做佣人，胡子也长得老长了。
又到亲人的坟墓去拜望，旁边的屋子全都没有了，长满了松柏，不觉捶着胸悲伤地感叹。
他把贩羊得到的钱都给了他的那位弟弟，于是弃家修道去了，四处云游，不知所终。