季到边境上来朝拜皇上。”汉朝就派任敞出使匈奴，去见单于。单于听了任敞的计划，大怒，把他扣留在匈奴，不让他回汉朝。在此之前，汉朝也招降过匈奴使者，单于也扣留汉朝使者相抵偿。汉朝正在重新收集士卒兵马，恰巧骠骑将军霍去病病逝，于是汉朝很长时间没有北上攻打匈奴。
几年后，伊稚斜单于继位十三年去世了，他的儿子乌维继位当了单于。这年，是汉武帝元鼎三年。乌维单于继位，汉天子开始出京去巡视郡县。这以后汉正在诛杀南方的南越和东越，没有进攻匈奴，匈奴也没有侵入汉朝边境。
乌维单于继位三年，汉已灭亡南越，就派遣原来的太仆公孙贺率领一万五千骑兵走出九原二千余里，到达浮苴井才撤回，没看到一个匈奴人。汉朝又派遣原来的从骑侯赵破奴率领一万多骑兵走出令居几千里地，到达匈河水才撤回，也没看到一个匈奴人。
这时，皇帝巡视边境，到达朔方郡，统率十八万骑兵以显示军威，又派郭吉委婉地告诉单于。郭吉到了匈奴，匈奴主客询问他出使的任务，郭吉谦卑施礼，说了些好话，说：“我见到单于再亲口对他说。”单于接见了郭吉，郭吉说：“南越王的人头已经悬挂在汉朝京城的北阙之上。如今单于若是能够前去与汉军交战，天子将要亲自领兵在边境上等待你；单于要是不能前去，就应当面朝南方向汉朝称臣。何必白白地向远处逃跑，躲藏在沙漠以北的又冷又艰苦也缺少水草的地方，没有什么作为呢？”他说完了，单于就大怒起来，立刻杀了允许郭吉进见的那位主客，而且扣留郭吉，不让他回汉朝，把他迁移到北海那里去。单于也始终不肯到汉朝边境去侵扰抢夺，只是休养士卒和马匹，练习射箭打猎的技术，屡次派使者到汉朝，说了好话，请求和亲。
汉朝派遣王乌等去窥探匈奴的情况。匈奴的法律规定，汉朝使者若不放弃旄节和用墨黥面就不能进入毡帐。王乌是北地人，熟悉匈奴风俗，就放弃旄节，用墨黥面，所以进入毡帐。单于喜爱他，假装用好话做出许诺，派遣太子到汉朝做人质，以此要求同汉朝和亲。
汉朝派杨信到匈奴去。这时，汉朝在东边攻取了秽貉和朝鲜，并设置了郡，而西边设置了酒泉郡，用以隔绝匈奴和羌人的通路。汉朝又向西沟通了月氏和大夏，又把公主嫁给乌孙王做妻子，以此离间匈奴和西方援国的关系。汉朝又向北扩大田地，直到胘雷，做为边塞，匈奴始终不敢对此表示不满。这一年，翕侯赵信死了，汉朝的官员们以为匈奴已经衰弱，可以把他们变为属臣。杨信为人刚直倔强，一向不是汉朝尊贵的大臣，单于不亲近他。单于想召他到
