却无放牧之人，感到奇怪，就去攻打汉朝的侦察哨所。这时，雁门郡的尉史正在巡察，看到敌军，就保护侦察哨所，他知道汉朝的打算。单于捉到了尉史，想杀死他，尉史便向单于报告了汉朝军队埋伏的地点。单于大惊说：“我本来就对此事有疑心。”于是单于就率兵而回。走出边境时说道：“我得到尉史，是天意，天让你向我报告。”就封尉史做“天王”。汉朝军队曾约定，单于进入马邑城后，再放纵兵士攻杀。如今单于未到马邑，所以汉朝军队一无所获。汉朝将军王恢的军队走出代郡攻击匈奴的辎重，听说单于大军已回，兵卒多，因而不敢出击。汉朝认为王恢本是这次伏击战的出谋画策的人，却不敢进攻，因而杀了王恢。从此以后，匈奴断绝和亲关系，攻击直通要道的边塞，常常侵入汉朝边境抢掠，次数多得无法计算。但匈奴贪婪，还是喜欢与汉朝互通关市，非常喜欢汉朝的财物，汉朝也仍然与匈奴保持着关市贸易关系，投合他们的心意。
马邑军事行动之后的第五年秋天，汉朝派卫青等四位将军各率一万骑兵，在关市附近攻打匈奴。将军卫青率兵走出上谷郡，到达茏城，杀死和俘获匈奴七百余人。公孙贺率兵走出云中郡，没有收获。公孙敖率兵走出代郡，被匈奴打败，损失七千余人。李广率兵走出雁门郡，被匈奴打败，匈奴人活捉了李广，后来李广得以逃归汉朝。汉朝囚禁公孙敖和李广，公孙敖和李广交了赎金，成为平民百姓。这年冬天，匈奴屡次闯进边境抢掠，渔阳受害尤其严重。汉朝派将军韩安国驻军渔阳防御匈奴。第二年秋天，匈奴两万骑兵侵入汉朝，杀死了辽西太守，掠走两千余人。匈奴又侵入渔阳，打败渔阳太守的一千多军队，把汉朝将军韩安国围困起来。这时韩安国的一千多骑兵也将要全部被歼，恰巧燕王的救兵赶到，匈奴才离去。匈奴又侵入雁门郡，杀死和抢走千余人。于是汉朝派将军卫青率三万骑兵走出雁门，李息率兵逼出代郡，攻打匈奴，杀死和俘虏匈奴数千人。第二年，卫青又走出云中郡西边及西部的陇西一带，在黄河河套南岸地带攻打匈奴属下的楼烦和白羊王，杀死和俘虏数千人，得到牛羊百余万头。于是汉朝就夺取了黄河河套南岸地区，修筑朔方城，又修缮从前秦朝蒙恬所修建的关塞，凭借黄河做为坚固的防线。汉朝也放弃了上谷郡的曲折僻远的县如造阳一带给匈奴。这年是汉武帝元朔二年。
后一年的冬天，匈奴军臣单于死去。军臣单于的弟弟左谷蠡王伊稚斜自立为单于，打败了军臣单于的太子於单。於单逃走，投降汉朝，汉朝封於单为涉安侯，几个月后，他就死了。
伊稚斜单
