后来，为了在这里活下来，白日他那曾任翰林大学士的父亲下地去与那些整日赤脚的农夫一起耕作，她母亲便在家里忙碌，缝缝补补，洗衣做饭，每日忙碌个不停，那出身名门的母亲，仙女一样的女子，不到半年便被折磨得一病不起。
这里没有医者，人生病只能听天由命。
他和父亲眼见着母亲的病越来越重，除了叹息，他们没有一点儿办法。
有一日，裴允谦打柴归来，他在门口听到了父母的谈话。
他母亲郭氏对他父亲说道：“你莫要难过，这是我的命，我死了倒是不足惜，我只是可怜咱们的谦儿，他还这么小，若是困在这里一辈子，他可就毁了。”
他听到那一向坚强正直的父亲哽咽的回道：“是我连累了孩子，我对不住你们母子。”
他母亲拉住他父亲的手，说道：“益州的雍亲王妃是我的姨表姐，论起来我们已经是远亲了，但是闺中时候，我们也曾一起玩耍过，是谈得来的”
不待母亲说完，他父亲便叹气道：“我如今乃罪臣，莫说一个远房亲戚，便是至亲的族人，都要对我退避三舍，人家又凭什么帮咱们。”
他母亲回道：“我知晓你心气高，不愿意求人，但是为了儿子，我想试一试。”
那日夜里，他见母亲母亲挣扎着起身，她从灶膛里取出一只碳火，小心的用刀子削尖，然后在一方白布上写了起来。
这一封信，他那享有才名的母亲写了许久，她写写停停，紧蹙着眉头，每一个字，都在呕心沥血的斟酌着。
裴允谦起身来到母亲身边，他母亲原为他和父亲都已经睡着了，她见了儿子，骤然一惊：“这么晚了，你怎的还不睡？”
他紧握住母亲的手，默默饮泣道：“母亲，您莫要给表姨写信了，我哪里也不去，我就在这里陪着您和父亲。”
他母亲哭了。
那是他第二次见到母亲哭。
她说：“母亲知晓你一片孝心，可是，孝心不能与你的前程相比，你父亲被判为罪臣，我和他这一辈子算是完了，可是你还小，作为你母亲，我不得不想法子为你挣一份希望。”
他哭着摇头，他母亲握着他的手，叮嘱道：“你是我们唯一的儿子，只有你将来有出息了，我们裴家才不算真的倒下，你明白吗？”
第二日，父亲带上一点儿干粮，走了整整三日的路才找到了驿馆，将母亲写的那封信寄出去。
父亲归来后，也跟着病了一场。
母亲骗他说父亲是赶路累着了，可裴允谦虽然年幼，但心里却明白，父亲是被自己的愧疚之心累着了。
可他并不怨恨父亲，身为朝廷重臣，他如实上谏，这本是分内之责，只怪这个世道容不下他这样的忠贞之臣。