常家祖上在朝代更换，战乱的时候救过一位老者，老者为了报答，留下了四幅字画给常家。说来也怪，自从常家有了那四幅字画，不但家里的生意越来越稳定，族里还出了读书人，考中了举人，都说是沾了东方先生的笔墨之香。
那四幅画常家就当传家宝一样，一代代传下来。到了常平的祖父这代，依旧视为珍宝。
世事难料，常家居然出了个痴情种，就是常平的父亲。常老太爷年幼的时候有个青梅竹马，但后来没能在一起。常老太爷为此受了打击，从此放纵自己，浪荡不羁，放着正妻不管，小妾是一房接着一房的娶。
如果常老太爷没有去扬州，日子也能凑合着过，可现实没有如果，常老太爷去扬州做生意的时候，遇到了他青梅。
当初那女子的家人因常老太爷是商户，不肯将女儿嫁到常家来，而是将女儿嫁到一户官宦人家。可是，那女子嫁过去没几年，那户官宦人家因受到株连，男子发配边疆，女子沦为娼妓。
时隔多年，那女子已经人老色衰，但她有个女儿，是当时的扬州名妓。常老太爷旧情复燃，非要替她们母女俩赎身，碍于手里没有那么多银钱，常平的祖父管的又严，不肯给他银子，于是他就偷偷拿走了那四幅古字画去变卖。
之所以去京城，是听说在京城能卖个好价钱，而且不易被发现。
常老太爷卖了字画，为了给那对母女赎身，费了好大的力气，还专门购置了宅子安置那对母女。按理说，罪臣的家眷是不准赎身的，可常老太爷出的价钱高，对方见钱眼开，就给那对母女弄了个新的身份从良了。
纸里包不住火，常老太爷扬州和池州两地跑，终于被他的正妻，常平的母亲发现了端倪，并告到了常平的祖父那里。
不但卖了祖传的字画，还养外室，常老太爷挨了打，几个月下不了床，被祖父关着不许出去，却死不知悔改，一直念叨着那对母女。
常平的祖父给常老太爷下了最后的通牒，若是再去扬州，就豁上常家的脸不要了，把那对母女送去官府，恢复她们的奴籍。
平常纳妾也就算了，常老太爷从未动过真心。这次却不一样，常老太爷心里只有那对母女，人是留下来了，魂儿却跟着走了。
常平的母亲受不了这样的打击，一条白绫，险些葬送了性命。从此夫妇二人，虽在一个屋檐下，却老死不相往来。
提起这段过往，常平对常老太爷满腹的抱怨，可那是他的父亲啊，明知道他的心不在家里，却还要给他养老送终。
不过还好，随着常老太爷神智越来越不清醒，倒是开始念叨常平的母亲了，大概是觉得从前愧对了她。只是，已经太晚了，常平的母亲郁郁寡欢，早在二十年前就已经去世了。
至于那四幅字画究竟卖给谁了，常平也不知道，当年常老太爷打死也不肯说，只说追不回来了。
难怪对方没有对常家下手，虽然那些字画是常家的人卖出去的，但常老太爷神志不清，其他人都不知道字画的去向，根本没有必要对常家下手。
费了不少功夫，得到的却是这样的答案，穆衍和秦知忍都有些失望，没有办法，该问的全问了，只能决定先回京城了。
……
常家的后宅，常平送走了穆衍和秦知忍，来到常老太爷的屋子，看着形容枯槁的老人，忍不住开始痛骂起来。
身为一个父亲，常老太爷是不合格的，他整日浪荡不羁，对常平没有尽到教导之责，为了那对母女，害常平的母亲伤心了一辈子。
身为一个儿子，常老太爷更不合格，他忤逆长辈，做出许多大逆不道的事情。
若是没有祖父的悉心教导，常平也不会有今天，所以常平最想念，最感激的人是祖父。
“为了那对母女，你盗走了传家的古字画拿去变卖，你知道造成了怎样的后果吗？不止是影响到我们常家，有人为了得到那些字画，谋杀了整个村的人，几百口人命啊。你敢说你就没有责任吗？”常平红着眼眶怒吼，
“《四时图》你究竟卖给谁了？当年祖父问你，你就不肯说，现在是人命关天，你赶紧说啊！”
无论常平怎样咆哮，常老太爷始终浑浑噩噩的皱着眉头，眼神空洞的沉浸在自己的世界里。
“那是常家的传家宝啊，你想把这些秘密都带到坟墓里去吗？你为什么始终都不肯说呢？‘孝道为先，积德行善， 和睦相处，团结友爱。不受无功之禄，不取不义之财……’”常平大声说道，
“我们常家的家规，都被你给破坏了，临死之前，你就不能为子孙后代积点福吗。《四时图》你到底卖给谁了？”
做为儿子，常平已经尽责了，这么多年来，除了母亲走的那次，常平没有对父亲大吼过。尽管母亲和祖父走后，他感受不到家的温暖，但有这么个父亲在，才是真正的家啊。
常老太爷浑浊的眼睛里突然流下了两行热泪，喉咙里喃喃地道：“对不起，对不起……”
因为声音极低，常平听不清楚，他连忙靠上前去问：“父亲，你说什么？”
“对不起……”
常平将耳朵凑到常老太爷嘴边，才听清了这三个字，忍不住跟着热泪盈眶。现在说对不起有什么用啊，早干嘛去了。
没想到，常老太爷又断断续续的说了一些话，大多都是觉得对不起常平，其中也有关于当年《四时图》的去向。
第二天一早，穆衍和秦知忍准备动身回京城的时候，收到了常平的信函。
常老太爷半夜走了，常平身穿重孝不方便见客，只能以这种方式告诉他们父亲临终前的遗言。
当年常老太爷是将字画卖给了一个姓王的举人，没想到江老太爷会如此执着，无奈之下才骗他说是卖给了一个北狄的商人，是为了让江老太爷死心。