半夜，他以巡检为名，去敲宰相王溥的门，吓得王溥“惊悸而出”。结果王彦升被贬为唐州刺史。宋太祖的这些做法，对稳定后周旧臣的情绪，缓解他们对新王朝的疑惧，使他们放心地为新王朝服务，起了很好的作用。
但不是所有的周旧臣都被笼络了。建隆元年（公元960年）四月，昭义军节度使李筠举兵反宋，宋太祖派遣石守信、高怀德率军前往征讨李筠，战幕正式拉开。但宋军刚刚出发，李筠就由潞州攻占了泽州，大有西下太行的可能。与此同时，北汉又出兵南下，声援李筠。正在局势日益严重之际，又传来了扬州李重进准备起兵响应李筠的消息。李重进是周太祖的外甥，周世宗死时，他以马步军都指挥的身份驻守扬州，实际上是与宋太祖分掌内外禁兵的。李筠举兵反宋的消息传到扬州后，他决定从扬州起兵响应，南北夹攻，于是派翟守珣前往李筠处联络。但翟守珣却偷偷来到东京，将此事报告给宋太祖。
面对这种复杂局面，宋太祖果断地采取了两项措施：一、李重进既然追随李筠起兵，说明他可能只是为了富贵，而并不一定像李筠那样想做天子。故可考虑向他颁赐“铁券”，以示永保富贵，誓不相负。同时让翟守珣速回扬州，编造假情报，双管齐下，尽量延缓其起兵的时间；二、以皇弟赵匡义及赵普、吴延祚留守东京，宋太祖本人亲自出马征讨李筠，以求速战速决。临行前，宋太祖对赵匡义说：“此行，若朕胜则不言，万一不胜，则使赵普分兵守河阳，别作一家计度”，已经做了最坏的打算。
五月，宋太祖由东京出发，渡黄河，进太行山与石守信等部会合。太行山区路陡坡险，乱石嵯峨，宋太祖亲自带头搬石开路，将校及士兵自然更是人人争先，行军速度大大加快。不久宋军就越过太行，大败李筠于长平。六月，攻占了泽州。李筠走投无路，自焚而死。
经过短暂的休整，同年十月，赵匡胤又亲率大军征服了扬州李重进，宋初的“二李之乱”就这样被平息了，至此，宋王朝与后周旧臣之间的矛盾可以说基本上得到了解决。
随着与后周旧臣矛盾的解决，宋太祖精神上的压力不像以前那样大了，行为上也有点放纵了。建隆二年（公元961年）闰三月，他以忏悔的口吻对大臣们说，自己这一阵子“沉湎”于酒席之中，常有失态，有时还喝得大醉，太不应该了。看来稍有醒悟。紧接着这年六月又发生一件大事，使他对形势的认识才变得清醒起来。
这年六月甲午，宋太祖的母亲皇太后杜氏因病去世。杜氏出身大家，为人有胆有识，当年陈桥兵变时，有些听到消息的人向她报告，她镇静地说：“我儿素有大志，应当如此。”临终时，她突然问一直在身旁侍奉汤药的宋太祖说：“你可知道你为什么能做天子吗？”宋太祖大概觉得现在不是讨论这一问题的时候，所以“呜噎不能对”，但太后偏要他回答，他只好应付道：“这都是先世和太后积德积功的结果。”太后严厉地说：“根本不是这么回事！你能做天子，那是因为周世宗死后继位的国君年幼的缘故，如果当时是一位成年人继位的话，你能当上天子吗？我想将来你传位时，就应当传位于你弟弟光义，立年长者为国君，是社稷之福呀！”宋太祖哭着答应道：“一定按您的吩咐办。”于是由赵普当场记下太后遗嘱，藏于金匮之中，这就是历史上提到的所谓“金匮之盟”。但也有史家认为“金匮之盟”是宋太宗授意下的杜撰之说。
尽管从感情上说，宋太祖对将来帝位的传弟而不传子不免有些难以接受，但政治家的理智告诉他，太后的这种用心良苦的安排决非杞人忧天。宋王朝作为梁、唐、晋、汉、周5个短命王朝之后的第6个王朝，还远没有摆脱重蹈覆辙的噩运。
在太后逝世后的次月（七月），皇弟赵匡义就以泰宁军节度使、大内都部署的身份被任命为开封尹、同平章事。这是一个非同小可的任命，五代时期，凡皇位的继承人都要封王任开封府尹，赵匡义此时虽未封王，但任开封尹已隐然有让他继位的含义了。这不但是贯彻太后临终遗嘱的一个重要步骤，更重要的是，宋太祖希望通过此举向臣僚们表明，在未来的皇位交接中，不会再出现那种“主少国疑”的局面。
不过，这毕竟还是一个比较消极的措施。宋太祖深知，五代时期之所以会出现那种朝代更替，不暇稍息的现象，与其说是因为皇帝太弱，不如说是因为臣属太强。特别是那些领兵大帅，依仗手中的兵权，篡位弑主，易于反掌，是威胁皇权的最大势力。为了确保统治的稳固，宋太祖决心采取更为积极的措施，收夺禁军将帅的兵权。“杯酒释兵权”，就是在这种背景下发生的。
一日晚朝后，宋太祖将石守信、王审琦等禁军高级将帅留下，设便宴招待他们。酒到半酣，宋太祖慨叹道：“若没有你们出力相扶，我哪能有今天，你们的功德，我是永远不会忘的，可是做天子也太难了，远不如做节度使时快乐。自做了皇帝后，我可没睡过一夜安稳觉。”石守信等人忙问：“这是为什么呢？”宋太祖一字一顿地说：“这还不明白，皇帝的位子，谁不想坐。”一听话里有话，石守信等人吓得慌忙站起来说：“陛下为何口出此言？如今天命已定，谁还敢再有二心？”宋太祖说：“那也未必！纵使你们无异心，可你们手下的人呢？一旦他们贪图富贵，将黄袍披在你们身上，你们就是不想当这皇帝怕也不行吧？”这一番话直把石守信等人给说懵了，不知如何表白才是，只得请皇上给指一条路。宋太祖长叹一声说道：“你们为何不释去兵权，买上一批好田宅，为子孙们留下一份产业，家中多置一些歌儿舞女，天天饮酒作乐，快活地过完这一辈子呢？这样一来，我们君臣之间就再也不用互相猜疑了，上下相睦相安，这该有多好！”石守信等人很感激地说：“陛下为我们想得这么周密，这么长远，真如同对待亲生骨肉一般！”第二天，他们都上书称自己有病，不适宜领兵征战了，要求解除兵权。宋太祖十分高兴，对他们赏赐安抚了一番后，随之宣布免去石守信、高怀德、王审琦、张令铎、罗彦环等人的禁军职务，让他们到地方州郡去做节度使。
“杯酒释兵权”后，禁军中不再设置殿前都点检、副都点检、侍卫马步军正副都指挥使等职务，只剩下了侍卫马军都指挥使、侍卫步军都指挥使和殿前都指挥使这三个不能相互统属的职务，这三使各领一司（合称“三衙”），互相牵制，均直接听命于皇帝。同时，“三衙”的长官都是由资历较浅的后辈武将担任，使其难以在禁军中形成根深蒂固的势力。
为了“安抚”被释去兵权的石守信等人，宋太祖不但给他们赏赐了大量的钱财，而且表示要同他们结为亲戚，“约婚以示无间”。不久，太祖寡居在家的妹妹燕国长公主就嫁给了高怀德，女儿延庆公主、昭庆公主则分别下嫁石守信之子和王审琦之子，除年幼夭折的以外，太祖只有一妹三女，她们中竟有三位下嫁到了被释去兵权的禁军高级将领家，说明这种婚姻是有着强烈的政治色彩的，这不但使石守信等人在一失一得中获得了一种心理平衡，进而消除了“鸟尽弓藏，兔死狗烹”之类的疑惧，而且作为一种象征，也表明了宋初皇帝与曾经拥立过皇帝的功臣宿将之间的矛盾也终于得到了较为合理的解决。
三、南北用兵统一全国
五代十国末期，人们要求结束分裂战乱，实现安定统一的呼声越来越高，统一的历史趋势已经形成。早在后周时期，宋太祖作为周世宗的最得力助手，就曾协助周世宗在推进统一的军事斗争中做出了很大的贡献。现在，当他代周自立，并巩固了自己的统治之后，自然就把完成中国统一的任务提到议事日程上来了。
从当时的客观形势看，刚刚立国不久的宋王朝周围存在着几个由外族所建立的敌对国家和许多由汉族所建立的割据政权。在北方有契丹族所建立的辽国，在西北有党项族的强大势力，夹在二者之间的则是割据山西一带的北汉。北汉受到契丹的支持，与以前的后周和现在的宋王朝一直处于公开敌对的状态。在江淮以南，则存在着南唐、吴越、后蜀、荆南、湖南、南汉、南平、漳泉等8个割据政权。虽然这些割据政权处于物产丰富、生产相对发达的地区，但由于其各自疆域狭小，又互不联合，因而大都国力不武，软弱怯懦，不得不向以前的后周和刚刚建立的宋王朝表示名义上的臣服或通好。
在这种形势下，摆在赵匡胤面前有两条路，一是乘南方诸国名义上已表示臣服的时机，继续周世宗的政策，进行北伐，收复为辽所占领的燕云16州领土，割断辽与北汉的联系，进而消灭北汉这一公开的敌对势力，然后统一南方诸国；另一条道路则是南征，在完全征服了南方8个割据势力以后，再来亡北汉，攻取燕云16州，将契丹赶回长城以北。经过君臣之间的反复论证，宋太祖集思广益，最后终于在建隆三年确立了“先南后北”的统一方针。
乾德元年（公元963年），宋太祖任命慕容延钊为湖南道行营都部署，李处耘为都监，率安、复等10州之州兵出征荆湖。临行前，他对慕容延钊和李处耘说：“出征湖南，必然要借道于南平，南平国势卑弱，可顺便将其攻灭。”
慕容延钊等依计而行，于乾德元年二月，出兵湖南途中攻破江陵，高继冲遂以3州17县，142300户归降。一个月后，湖南亦被平定，又得14州1监66县，97380户。
平定荆湖以后，“水陆皆可趋蜀”，后蜀这一雄据川中的南方大国已处于坐以待毙的境地了。乾德二年（公元964年）十一月，宋太祖派大将王全斌、曹彬分兵两路，仅用66天的时间就灭亡了后蜀，取得了46州、240县的广大领土。
后蜀物产丰富，府库充盈，号称“天府之国”。平定后蜀后，宋太祖特命参知政事（副宰相）吕余庆为成都知府，协同王全斌等人大肆搜刮。一时间，船载路运，“日夜不息”，大量财富被集中到东京开封。这固然加强了宋王朝的国力和财力，但同时却又激化了后蜀地区的社会矛盾，在此后相当长的一段时间里，后蜀一直动乱不已，民变、兵变相继发生，牵扯了北宋王朝的很大一部分兵力。
平定后蜀不久，宋太祖先后派遣了侯霸荣、惠磷等人为间谍，打进了北汉内部。侯、惠等人积极活动，很快买通了当时北汉宰相郭无为。在郭无为的安排下，侯惠等人都成了北汉的宫庭供奉官，可以方便地出入宫禁。
开宝元年（公元968年）八月，宋太祖发大兵进攻北汉。同时又密令侯、惠等人相机行事，里应外合，“迎接”宋军。九月，宋军突破了北汉的团柏谷防线，越过汾河桥，进逼太原城下。
在宋军进逼太原城下的同时，侯霸荣在郭无为的支持下，发动了宫廷政变，刺杀了北汉国主刘继恩。但意想不到的是，郭无为此时却又突然变卦。就在侯霸荣率人刺杀刘继恩时，他却悄悄调动部队包围了刺杀现场，将侯霸荣和其同党全部杀死。
郭无为的临阵变卦，搅乱了宋太祖精心布置的一着妙棋，宋军的失败也在眼前。果然，宋兵围困太原不久，契丹即以兵来援北汉，围城的宋军腹背受敌，大败而归。北汉乘机反攻，宋朝方面自八月进军以来所占领的州县不但全部丢兵，还被北汉军队打进了晋、绛二州，大掠而去。
本来，此次开战前，宋太祖已将北汉君臣投降后的官职提前封好了，没想到最后的结局却是这样。次年二月，为雪前耻，他决定亲率大军征讨北汉。战事一开始，北宋方面很顺利。三月，宋太祖即率大军突破了北汉的数道防线，进抵太原城下，将其团团围住。但此后战事即进入胶着状态。宋军发起的几次强攻都被北汉名将刘继业击退。强攻不行，宋太祖又采取了长期围困的政策，但三个多月过去了，仍没能将太原攻克。这年的闰五月，宋兵正式从太原撤兵。北汉军队又一次乘势追击，宋军丢失了大批粮草，损失比上一次还要严重。
北宋自建隆三年（公元962年）九月首次对外用兵起，至乾德三年（公元965年）正月，不足3年的时间，就平定了南平高氏、湖南周氏、后蜀孟氏3个割据政权，统一了63州1监的大片领土。但可惜的是，自平蜀后，几乎完全是由于宋太祖个人的举措失当，导致了一系列意外的变故，先是蜀中动荡不已，紧接着又是两次北征太原，损失惨重，“先南后北”的统一大业因此而停滞逆转。
自太原班师后，经过一年多的休整，开宝三年九月，宋太祖决定攻取