卫青的母亲在其夫家做女仆，因丈夫姓卫，她就被称为卫媪。
注：颜师古在《汉书》的注解中写明“媪者，后年老之号，非当时所呼也。卫者，举其夫家姓也。”以汉高祖刘邦之母被称为“刘媪”为例，卫青卫子夫的生母“卫媪”是以夫姓尊称，即卫老夫人之意。卫媪的儿女们并非其父不详，“冒姓”为卫的只有卫青、卫步、卫广三人（《史记卫将军骠骑列传》：后子夫男弟步、广皆冒卫氏，也有认为卫步广为一人）。
卫媪与卫姓男子生有一男三女：长子卫长君，长女卫君孺（《汉书》作卫君孺，《史记》作卫孺）、次女卫少儿、三女卫子夫。丈夫死后，仍在平阳侯家中帮佣，与同在平阳侯家中做事的县吏郑季私通，生了卫青。卫家的生活艰苦，于是卫青被送到了亲生父亲郑季的家里。但郑季却让这个年幼的私生子放羊，郑家的几个儿子也不把卫青看成手足兄弟，随意苛责（青为侯家人，少时归其父，其父使牧羊。先母之子皆奴畜之，不以为兄弟数。《史记卫将军骠骑列传》）。
卫青稍大一点后，不愿再受郑家的奴役，回到母亲身边，并做了平阳公主的骑奴。有一次，卫青跟随别人来到甘泉宫，一位囚徒看到他的相貌后说：“这是贵人的面相啊，官至封侯。”卫青笑道：“我身为人奴之子，只求免遭笞骂，已是万幸，哪里谈得上立功封侯呢？”
（青尝从入至甘泉居室，有一钳徒相青曰：“贵人也，官至封侯。”青笑曰：“人奴之生，得毋笞骂即足矣，安得封侯事乎！”《史记卫将军骠骑列传》）
折叠年龄推测
史料没有记载卫青确切的出生年份。但依几种资料可以大致推测他年龄的范围：
1，建元二年，18岁的刘彻（古时算的是虚岁）在平阳侯府做客，此时卫青的三个姐姐，均未出嫁。
汉朝法定女子过15岁不婚者，三十岁之前，分五等交税，每升一等加征一算，到三十岁加到五算，即一年要交六百钱（《汉书·惠帝纪》中就明文记载：“女子年十五以上至三十不嫁，五算。”）。
虽然平阳侯家的奴仆能免税，但奴婢作为王侯家的财产，婚育本身就是在增加主人的财富。即便三女都超过婚龄，也不应过大，三姐子夫更可能在14-16岁之间；而卫青是卫媪在丈夫死后和郑季私通所生，至少比卫子夫小1-2岁。
保守推测 建元二年（前139年），卫青13--14岁 （同年霍去病两岁）；
元封五年（前106年）， 卫青逝世时约46--47岁左右。
2，《史记》载，“青壮，为侯家骑”（注：此处的‘壮’意为 ‘长大一点儿’，如 ‘霍嬗字子侯，上爱之，幸其壮而将之。‘钩弋子年五六岁，壮大多知’。）
侯家骑，即骑奴，可作古时王宫贵族的“童骑”，年龄都不能大。
[汉 王符 《潜夫论·浮侈》：“富贵嫁娶，车軿各十，骑奴侍僮，夹毂节引”]
[《汉书 盖诸葛刘郑孙毋将何传》里的何并传中提到：（王）林卿既去，北度泾桥，令骑奴还至寺门，拔刀剥其建鼓。（何）并自从吏兵追林卿。行数十里，林卿迫窘，及令奴冠其冠被其襜褕自代，乘车从童骑，身变服从间径驰去。（何并、王林卿是西汉哀帝时代人，王林卿是邛成太后喜爱的臣子。）
《风俗通史 秦汉卷》里关于童骑记载：“‘童骑’即少年奴仆乘马相随在上层社会中十分普遍”]
折叠人生转折
建元二年（前139年）春，卫青的三姐卫子夫被因灞上扫墓做客平阳府的汉武帝看中，卫青相随入宫‘给事建章’。
建元三年（前138年），入宫后被冷落了一年多的卫子夫再次获幸有了身孕，引起了陈皇后的嫉妒，陈皇后是汉武帝姑姑馆陶长公主刘嫖的女儿，汉武帝的太子妃，后立为皇后，但一直无子。于是馆陶公主派人捉了正在建章（后为建章宫）当差的卫青，意图杀害。（“大长公主闻卫子夫幸，有身，妒之，乃使人捕青。青时给事建章，未知名。大长公主执囚青，欲杀之”）。孰知这却成了卫青命运的一大转折点。卫侍中卫青的好友公孙敖听到消息和几名壮士赶往抢救，把他从死亡边缘救了下来。汉武帝得知后，大为愤怒，立刻任命卫青为建章监、侍中，卫子夫为夫人，卫长君为侍中，数日间给卫青的赏赐便达到千金之多（《史记.卫将军骠骑列传》：“上闻，乃召青为建章监，侍中，及同母昆弟贵，赏赐数日间累千金”）。公孙敖也因此显贵。卫青的长姐卫孺嫁给了太仆公孙贺，二姐卫少儿嫁给了陈平的后人詹事陈掌。
这时候恐怕没有人想到被改变命运的不仅仅是卫家，同时还有多年来汉匈之间的攻守易形。
卫青后又被任命为太中大夫，秩比千石，掌议论。
史书没有记载从建元三年到元光六年首战这九年时间里卫青的经历和成长，但作为侍中，卫青从皇帝左右，出入禁中，与闻朝政，后又成为太中大夫，足见其才干深得武帝信任，为后来七征匈奴、甚至任大司马大将军为内朝参决政事，秉掌枢机打下良好基础。