公元前121年，在西汉与匈奴的战役中，汉对河西(今河西走廊及湟水流域)地区匈奴停止了两次纵深突袭作战。
在公元前123年，他随大将军卫青出征。北击匈奴时，他带领八百精锐马队分开雄师队几百里去追击匈奴，最后歼敌2028人，此中有相国和单于的祖父，活捉单于叔叔，战后封为冠军侯。公元前121年春，霍去病被任命为骠骑将军，带领精骑一万人，向河西地区进发。在这场战役中，汉军大获全胜，斩杀匈奴楼兰王、卢侯王，活捉了匈奴浑邪王的儿子及相国、都尉等高官，歼敌8900余人，并且缉获了匈奴休屠王的祭天金神像。战后，汉武帝命令增封霍去病食邑2000户。公元前121年夏的第二次河西战役中，霍去病孤军深切，以他变幻莫测的战术大败匈奴军。此次战役中，匈奴单桓王、酋涂王及相国、都尉等2500人投降，王母、单于阏氏、王子、相国、将军、当户、都尉等120多人被俘虏，匈奴兵30200人被汉军毁灭。霍去病的名誉日趋显赫，职位也日趋高贵。
为策应霍去病作战，郎中令李广、卫尉张骞率马队万余，从右北平(郡治平刚，今辽宁凌源西北)解缆，进击左贤王。李广率4000骑北进数百里，因张骞部未能定时解缆，被左贤王4万骑包抄，军士皆发急。李广命其子李敢率数十骑打击匈奴马队步队，以鼓励士气；并将马行列成圆阵御敌，匈奴打击，则弓弩齐发。苦战整天，汉军箭矢将尽，李广手持强弩“大黄”，持续射杀匈奴裨将数人，减缓了匈奴的打击。战至次日，汉军死伤过半，匈奴也伤亡很大。时张骞率万骑赶到，左贤王得救北撤，完成了管束左贤王部的任务。
霍去病是大将军卫青的外甥，母亲卫少儿是汉武帝皇后卫子夫的姐姐。因为有皇族干系，霍去病在18岁时就很得天子宠任，入宫做了侍中。
霍去病于漠南战役中脱颖而出，此次出战河西，是他第一次独立领兵作战。这位年青的主帅，一贯具有剽悍英勇的战役风格，不畏艰险，不怕劲敌，作战时“敢深切，常与壮骑先其雄师”，这极大地鼓励了汉军的士气，鼓励他们英勇奋战。河西之战使汉匈两边的力量对比产生了严峻的窜改。此役使匈奴继失河南地后又丧失河西，其统治西部地区的根底便被完整肃除了。而后，匈奴不但在与汉朝争夺西域的斗争中耐久陷于被动的职位，同时也在经济上蒙受严峻的丧失。
汉武帝刘彻对匈奴建议计谋反击后，前后获得了河南、漠南之战的胜利。匈奴单于和右贤王远遁大漠以北，河西仅存休屠王、浑邪王等部，势孤力单。汉武帝抓住无益机会，建议河西之战。此役分为春、夏两次作战。
二年春，汉以霍去病为骠骑将军，率精骑万人，由陇西(郡治狄道，今甘肃临洮)解缆，涉狐奴水(今甘肃石羊河)，历五国，转战六天，过焉支山(今甘肃山丹东南之大黄山)，向西北挺进千余里。大败休屠王、浑邪王部，杀折兰王、卢胡王，俘浑邪王子及相国、都尉，斩获8900余人，汉军丧失非常之七。
战后，伊樨斜单于怒浑邪王、休屠王惨败，欲召至单于庭诛之。二王恐，乃向汉求降。休屠王悔，浑邪王遂杀休屠王，并其众，共4万余人降汉。西汉将降众分置陇西、北地、上郡(郡治肤施，今陕西榆林市南鱼河堡)、朔方(郡治朔方城，今内蒙古杭锦旗北)，云中(郡治云中，今内蒙古托克托东北)五郡塞外，称五属国。而后，陇西、北地和河西地区少有匈奴攻略，遂减守兵之半。