应该连坐到你。”苏武说：“我本来就没有参与谋划，又不是他的亲属，怎么谈得上连坐？”卫律又举剑对准苏武，苏武岿然不动。卫律说：“苏君！我卫律以前背弃汉廷，归顺匈奴，幸运地受到单于的大恩，赐我爵号，让我称王；拥有奴隶数万、马和其他牲畜满山，如此富贵！苏君你今日投降，明日也是这样。白白地用身体给草地做肥料，又有谁知道你呢！”苏武毫无反应。卫律说：“你通过我而投降，我与你结为兄弟；今天不听我的安排，以后再想见我，还能得到机会吗？” 苏武痛骂卫律说：“你做人家的臣下，不顾及恩德义理，背叛皇上、抛弃亲人，在异族那里做投降的奴隶，我为什么要见你！况且单于信任你，让你决定别人的死活，而你却居心不平，不主持公道，反而想要使汉皇帝和匈奴单于二主相斗，旁观两国的灾祸和损失！南越王杀汉使者，结果九郡被平定。宛王杀汉使者，自己头颅被悬挂在宫殿的北门。朝鲜王杀汉使者，随即被讨平。唯独匈奴未受惩罚。你明知道我决不会投降，想要使汉和匈奴互相攻打。匈奴的灾祸，将从杀死我苏武开始了！”
卫律知道苏武终究不可胁迫投降，报告了单于。单于越发想要使他投降，就把苏武囚禁起来，放在大地穴里面，断绝供应，不给他喝的、吃的。天下雪，苏武卧着嚼雪，同毡毛一起吞下充饥，几日不死。匈奴认为这是神在帮他，就把苏武迁移到北海边没有人的地方，让他放牧公羊，公羊生了小羊才能回来。分开他的随从官吏常惠等人，分别投放到另外的地方。苏武迁移到北海后，公家发给的粮食不来，掘野鼠、收草实来吃。拄着汉朝的旄节牧羊，睡觉、起来都拿着，以致系在节上的牦牛尾毛全部脱尽。一共过了五、六年，单于的弟弟於靬王到北海上打猎。苏武擅长结网和纺制系在箭尾的丝绳，矫正弓弩，於靬王颇器重他，供给他衣服、食品。三年多过后，於靬王得病，赐给苏武马匹和牲畜、盛酒酪的瓦器、圆顶的毡帐篷。王死后，他的部下也都迁离。这年冬天，丁令部落盗去了苏武的牛羊，苏武又陷入穷困。
当初，苏武与李陵都为侍中。苏武出使匈奴的第二年，李陵投降匈奴，不敢访求苏武。时间一久，单于派遣李陵去北海，为苏武安排了酒宴和歌舞。李陵趁机对苏武说：“单于听说我与你交情一向深厚，所以派我来劝说足下，愿谦诚地相待你。你终究不能回归本朝了，白白地在荒无人烟的地方受苦，你对汉廷的信义又怎能有所表现呢？以前你的大哥苏嘉做奉车都尉，跟随皇上到雍棫阳宫，扶着皇帝的车驾下殿阶，碰到柱子，折断了车辕，被定为大不敬的罪，
