勉强维持到杜衍六、七岁，丢下杜衍另嫁他人。杜衍只好跟着年迈的祖父生活。祖父很疼爱杜衍，举全家之力供他读书。杜衍三更灯火五更鸡，发奋读书以报答祖父。

有年夏秋之际，绍兴阴雨连绵山洪暴发，祖父带着杜衍逃命。山洪穷追不舍，奔跑中祖父的帽子掉在地上，杜衍捡了起来。一个大浪紧跟着打了过来，杜衍顺手抓起一根竹竿将祖父的帽子挑起来。他游泳追上祖父，把帽子戴在祖父头上，帽子居然一点都没有湿。

祖父因为受了惊吓和劳累，不久撒手西去。

祖父死后，两个哥哥找上门来，讨要他们的母亲当年留下的嫁妆。杜衍说没有，两个哥哥忽然大打出手，还动起了刀。杜衍害怕极了，一路狂奔到姑姑家，两个哥哥也追到姑姑家，姑姑连忙把杜衍藏在墙壁的夹缝中，总算躲过一劫。姑姑心疼杜衍，为他疗伤。

杜衍养好伤后只好去投奔改嫁的母亲，可是继父容不下他，各种家暴、找茬，杜衍只好离开母亲流落街头，开始半工半读养活自己。

在杜衍给当地一个复姓相里的人家抄写文书时，相里先生看准杜衍绝非池中之物，他和家人商量，把女儿许配给杜衍。太太倒是没说什么，可是大儿子坚决反对，不过父亲最终还是把女儿嫁给了杜衍。

杜衍结婚之后更加勤奋上进，初试复试面试过五关斩六将，宋真宗特别喜欢这个年轻人，让他担任扬州观察推官、秘书省着作左郎、平遥知县，此后在朝中任御史中丞、刑部侍郎、枢密使等职，总之干啥啥行，到哪里都是第一名。

吃水不忘挖井人，当年相里氏不顾反对，坚决把女儿嫁给杜衍，杜衍事业一帆风顺，有次和真宗聊天的时候，把自己的出身经历说了出来，顺便提出一个请求，能不能给自己的大舅哥找个工作，宋真宗恩准。给他的大舅哥找了份差事，级别自然比杜衍差很多，每次见到妹夫都毕恭毕敬。

杜衍当了宋仁宗的宰相后，积极倡导并且支持选拔人才必须逢进必考，坚决杜绝通过人情关系“恩荫”。可是杜衍似乎忘了他当年要求真宗“恩荫”大舅哥的事。他的人事改革制度一出台，大舅哥的事就被吃瓜群众扒出来，直接打脸，并不手软。

大臣们为了不让仁宗皇帝为难，联手罢免了杜衍，历史把他称作“百日宰相”。杜衍灰熘熘地结束了职场生涯。

杜衍辞官后回到老家，生活简简单单，常常“粟饭一盂，杂以饼饵”，丝毫没有玉食笙歌的做派。

杜衍为人低调，退休后的他更是朴实如田夫野老。他或出游，或读书，或吟诗，还开始练习草书，追求精神的丰富，不追求物质的奢华，过着清贫自乐的生活。

有一次杜衍应邀出席一场宴会。酒席延前，有位本地的小官转运使走来，在座的宾客纷纷向他打招呼。而杜衍戴着居家巾帽，穿着深色便装，端坐一隅不作声响。

转运使看见这位老头既不打躬又不作揖，像钉子一样钉在凳子上不动，不禁火冒三丈，厉声问：“足下前任何处?”

杜衍头也不抬，轻声回道：“同中书门下平章事(即宰相)。”转运使顿时面红耳赤呆若木鸡。