元光二年，汉武帝策划了主动对匈奴诱敌歼灭的马邑之围。马邑之谋虽然失败，却结束了西汉自立朝初年以来对匈奴被动退让的和亲政策，同时也拉开了汉匈全面战争的序幕。
元光六年（公元前129年），匈奴又一次兴兵南下直指上谷（今河北省怀来县）。汉武帝果断地任命卫青为车骑将军，迎击匈奴。从此，卫青开始了他的戎马生涯。
这次用兵，汉武帝分派四路出击。车骑将军卫青出上谷，骑将军公孙敖从代郡（治代县，今山西大同、河北蔚县一带），轻车将军公孙贺从云中（今内蒙古托克托东北），骁骑将军李广从雁门出兵。四路将领各率一万骑兵。卫青
卫青虽是首次出征，但他果敢冷静，出其不意的深入险境，直捣匈奴祭天圣地龙城，首虏近千人，取得胜利。另外三路，两路失败，一路无功而还。汉武帝看到只有卫青胜利凯旋，非常赏识，封卫青为关内侯。
龙城之战在汉匈交战史上具有划时代的意义。汉朝自高祖刘邦建国以来，屡屡受到北方匈奴的掠夺羞辱，如高祖“白登七日”之困，吕后受冒顿单于书信之辱，孝文帝十四年匈奴十四万骑大入关，斥候一度略至长安附近的甘泉，以及匈奴频频对汉朝边郡和百姓的烧杀劫掠等，可谓汉朝的心腹大患。龙城的胜利打破了自汉初以来“匈奴不可战胜”的神话，大大鼓舞了汉军士气，成为汉匈战争的转折点，为以后汉朝的进一步反击打下了良好的人心基础。龙城大捷后，卫青还向汉武帝为李广和公孙敖开脱，说道：若不是二位将军牵制住敌方主力，他也无法取得胜利。汉武帝谓曰：真仁义也。
公元前128年（元朔元年）秋，卫青为车骑将军出雁门，领三万骑兵，长驱而进斩首虏数千人。
公元前127年（元朔二年），匈奴大举入侵上谷、渔阳，先攻破辽西，杀死辽西太守，又打败渔阳守将韩安国，劫掠百姓两千多人。武帝派李息从代郡出击，卫青率大军进攻久为匈奴盘踞的河南地（黄河河套地区）。
这是西汉对匈奴的第一次大战役。
卫青领四万大军从云中出发，采用“迂回侧击”的战术，西绕到匈奴军的后方，迅速攻占高阙（今内蒙古杭锦后旗），切断了驻守河南地的匈奴白羊王、楼烦王同单于王庭的联系。
而后，卫青又率精骑，飞兵南下，进到陇县西，形成了对白羊王、楼烦王的包围。两王见势不好，仓惶率兵逃走。汉军活捉敌兵数千人，夺取牲畜数百万之多，完全控制了河套地区。
因这一带水草肥美，形势险要，武帝在此修筑朔方城（今内蒙古杭锦旗西北），设朔方郡、五原郡，从内地迁徙十万人到那里定居，还修复了秦时蒙恬所筑的边塞和沿河的防御工事。这样，不但解除了匈奴骑兵对长安的直接威胁，也建立起了进一步反击匈奴的前方基地。
《史记》《汉书》盛赞此仗汉军“全甲兵而还”，卫青立有大功，被封为长平侯，食邑3800户。苏建、张次公以校尉从卫将军有功，封平陵侯[6]、岸头侯[7]。
折叠奇袭高阙
不甘心在河南地的失败，匈奴在几年内多次出兵反扑——元朔三年（前126年）夏，数万骑兵攻代郡，杀太守共友，掳掠千余人。同年秋季入雁门，杀掠千余人。元朔四年（前125年）匈奴又使各三万骑攻入代郡、定襄、上郡。
公元前124年（元朔五年）春，汉武帝命卫青领三万骑兵出高阙；游击将军苏建、彊弩将军李沮、太仆公孙贺为骑将军、代相李蔡为轻车将军从朔方；大行李息、岸头侯张次公为将军率兵从右北平出发，配合其行动。这次总兵力有十余万人。匈奴右贤王认为汉军离得很远，一时不可能到来。卫青却率大军急行军六、七百里，趁着黑夜包围了右贤王的营帐。此时，右贤王正在帐中拥着美妾饮酒，忽听帐外杀声震天，火光遍野，右贤王惊慌失措，抱了爱妾和几百壮骑向北逃去。汉军俘虏右贤王的小王十余人，男女1.5万余人，牲畜达千几百万头。（《史记》“得右贤裨王十馀人，众男女万五千馀人，畜数千百万，於是引兵而还。至塞，天子使使者持大将军印，即军中拜车骑将军青为大将军，诸将皆以兵属大将军，大将军立号而归”）
汉武帝接到战报，喜出望外，派特使捧着印信，到军中拜卫青为大将军，加封食邑6000户（汉书8700户），所有将领归他指挥。卫青的三个儿子都还在襁褓之中，也被汉武帝封为列侯。卫青谦辞说：“我军胜利，全是将士们拚死奋战的功劳。陛下已加封了我的食邑，我的儿子年纪尚幼，毫无功劳，陛下却分割土地封他们为侯。这样是不能鼓励将士奋力作战的。”汉武帝表示：“我没有忘记诸校尉的功劳，同样也会嘉赏。”
于是卫青三子在襁褓中被封为列侯，长子卫伉为宜春侯，次子卫不疑为阴安侯，幼子卫登为发干侯，均食邑1300户。
汉武帝随后又封赏了随从卫青作战的公孙敖、韩说、公孙贺、李蔡、李朔、赵不虞、公孙戎奴、李沮、李息、豆如意等。