渐渐的这样的风言风语传到了赵王的耳朵里，赵王听了自然很生气。
整天杀牛宰羊，靡费公帑，部队竟然这样无所作为，那养兵何用？
他这样想是完全有理由的。要知道，当时长平之战早已过去，赵国损失惨重，实力大为削弱。财力绝对不允许他白养一支无用的军队。于是他立即派出使者，前去斥责李牧不该畏敌如虎，要求李牧出动出击。
李牧呢却置若罔闻，一副将在外君命有所不受。赵王一怒之下调李牧进邯郸，给了个闲职养老，另派别人前去接替李牧。
新来的将军倒是积极迎击入侵的匈奴，可惜胜多败少。边境上的百姓无心耕种，田地全都荒芜了。赵王这才急了，请李牧重新出山。
使者来了好几回，李牧都是闭门不出，口称因为“身体原因”无法就任。这当然不是身体原因，而是心理原因。三请三推，已经给足面子，赵孝成王不再演戏，强令李牧出征。李牧顺势提了条件：“王必用臣，臣如前，乃敢奉令。”得到准许后，李牧重新赴任。
这之后的几年又是李牧上任之初的情景再现。匈奴数年（依然是三四年）无功而返，始终认为李牧胆小可欺。
就在匈奴上下松懈之时，李牧动手了。而且他要做的就是不鸣则已，一鸣惊人。
《史记》记载李牧“选车得一千三百乘，选骑得万三千匹，百金之士五万人，彀者十万人”，如此来看，兵力当在十六万上下。
在秋高马肥之际，李牧隐忍十年的大网终于撒开了。他命令百姓出去放牧，一时之间，整个代地牛羊满山，匈奴人闻风而动。
在初尝了李牧故意给的一点甜头之后，匈奴单于倾尽主力，妄图沾这个许久不见的大便宜，狠狠捞一笔。哪料到迎接他的是赵国无情的利箭。
一番苦战，赵国大败匈奴，斩杀匈奴十几万人马。接着李牧率军消灭襜褴，打败东胡，迫使林胡投降，单于逃跑。
这一战的后果就是今后的十几年匈奴不敢靠近赵国边境，匈奴元气大伤。赵国获得了一个安稳的北方局势。李牧也成为闻名天下的名将。