八月二十二，霍去病抵达河东郡郡治安邑。得知他的到来，河东太守亲自出城迎接。不过，霍去病并没有在安邑多做停留，直奔平阳而去。
到了平阳后，霍去病本欲亲自前往拜访霍仲孺，随行的毕方等人劝阻道：“将军今日之身份何等尊贵，应该是霍仲孺前来见您。”
霍去病不以为然：“我的身份再尊贵，终究为人子，岂敢自恃？”
“将军不在乎自己的身份，也应该为您的母亲想一想。当年，是他无情抛弃了将军母子，您若亲自登门拜访，将军母亲该作何感想？”毕方坚持道。
自从得知霍去病要来平阳寻父，他的部下都心怀不满，觉得对于霍仲孺这样的人，一道命令即可，甚至还有人认为，根本不该认这个所谓的父亲。
霍去病想了想，点头道：“好，你们去把他请来吧。记住，态度一定要恭敬。”
“将军放心，末将绝不敢放肆。”
第二天，霍仲孺被请到了平阳县的驿馆。看到父亲后，霍去病快步走上前，跪地哽咽道：“儿子一直不知道您是父亲，相认来迟，还请父亲见谅。”
霍仲孺惶恐不安，连忙将霍去病扶起，惭愧道：“老朽能有将军，乃是天意。”
看着霍去病对霍仲孺如此恭敬，毕方等人都一脸不愉之色，霍仲孺略有所觉，更加惶恐不安，根本不敢直视霍去病。
寒暄了几句之后，霍去病主动道：“父亲，我想去您家里看看。”
毕方忍不住道：“将军！”
霍去病瞪了他一眼，严厉道：“不要再说了！”
毕方无奈叹息，默默的跟在霍去病身后到了霍仲孺的家中。
这么多年来，霍仲孺一直都是个小吏，家境并不宽裕。霍去病转了一圈之后，当即拿出百金为霍仲孺置办了房屋和田产。
霍仲孺感激涕零，将一个年约十几岁的少年领到霍去病面前，有些不安道：“将军，这是老朽之子，名叫霍光，从小性情稳重，品性纯良，还望将军看在兄弟之义上，将他带到长安好好抚养。”
霍去病一把抱住霍光，大喜道：“父亲放心，既然是我的弟弟，自然要好生照顾他。”
不料，霍光却不愿意道：“父亲，我不想离开您。”
霍仲孺板起脸，训斥道：“糊涂！跟着我有什么出息，好好跟在哥哥后面，以后有你的好日子。”
“父亲，您也一起去长安吧，我再另外置一座府邸。”霍去病不假思索道。
霍仲孺连忙道：“老朽当年对不住你们母子，有何颜面重回长安？如能将光儿照顾好，老朽此生心愿已了。”
“当年之事已经过去了，您又何必耿耿于怀呢？”
“将军不要再说了，老朽是绝无颜面再去长安的。”
无论霍去病如何劝说，霍仲孺始终不肯随他一起去往长安。霍去病无可奈何，只得带着年仅十四岁的霍光回到了长安。