，同侍女卫少儿私通而生下霍去病。
中孺差事完成后回到家中又娶妻生下霍光，与卫少儿断了关系不通音信。
《汉书》霍光字子孟，骠骑将军去病弟也。
父中孺，河东平阳人也，以县吏给事平阳侯家，与侍者卫少皃私通而生去病。
中孺吏毕归家，娶妇生光，因绝不相闻。
3征和二年，卫太子被江充陷害所败，燕王刘旦、广陵王刘胥又都有很多过失。
这时候汉武帝年老，宠姬钩弋赵婕妤生了一个男孩，汉武帝心中打算把皇位传给他，并命大臣来辅佐他。
武帝观察群臣中衹有霍光才可担当重任，辅助社稷。
汉武帝于是就叫宫廷画师画了一张周公背着成王接受诸侯朝贺的画赐给霍光。
后元二年的春天，汉武帝出游五柞宫，病得很厉害，霍光流泪问道“如果皇上有不测，那当由谁来继位？”
汉武帝说道“难道你还不明白上次送给您的画的意思吗？立少子为帝，您当照周公辅佐成王那样行事。”
《汉书》征和二年，卫太子为江充所败，而燕王旦、广陵王胥皆多过失。
是时，上年老，宠姬钩弋赵婕妤有男，上心欲以为嗣，命大臣辅之。
察群臣唯光任大重，可属社稷。
上乃使黄门画者画周公负成王朝诸侯以赐光。
后元二年春，上游五柞宫，病笃，光涕泣问曰“如有不讳，谁当嗣者？”
上曰“君未谕前画意邪？立少子，君行周公之事。”
--