赵匡胤在一年内两次亲征的胜利，基本解决了新王朝与旧王朝残余势力的矛盾，但他并未因此而感到安心，相反，他更时时刻刻感到另一种潜在的威胁。有一次，他单独找赵普谈话，问他说：“天下自唐末以来，不过才过了数十年，帝王的姓氏已经换了八个，战斗不息，百姓惨死，生灵涂炭，其中的原因何在呢？我想结束天下征战不已的局面，为国家做长久的打算，但却不知应该如何去做。”
赵普说：“陛下能谈到这个问题，真是社稷百姓的福气。其实，这没有什么不好理解的，只是因为藩镇的势力太大，君弱臣强，时间久了，就积重难返，局势自然无法控制。现在要解决这个问题，也没有什么特别的办法，只有逐步削夺藩镇的权力，控制他们的钱粮收入，将藩镇的精兵尽收于陛下手中，那么天下自然会安定了。”宋太祖连连点头，赞赏赵普说得好。
为此，他在扑灭了李重进的叛乱之后，就以自己曾经担任过殿前都点检这一职务为由，说是出于避嫌或是避讳，解除了慕容延钊的这一职务，派慕容延钊到外地去当节度使。从此这一禁军中的最高职务就消失了。禁军将领石守信，因为拥立有功，宋太祖没有立即罢免他。
后来，赵普又对宋太祖说：“禁军大将石守信、王审琦两人，兵权太大，还是把他们调离禁军为好。”宋太祖说：“你放心，这两人是我的老朋友，不会反对我。”
赵普说：“我并不担心他们叛变。但是据我看，这两个人没有统帅的才能，管不住下面的将士。有朝一日，下面的人闹起事来，只怕他们也身不由主呀！”宋太祖敲敲自己的额角说：“亏得你提醒一下。”于是，他就定下了“杯酒释兵权”的方针。
在中国古代历史上，收缴兵权历来都是件极为敏感而棘手的事，稍有不慎就会引发兵变，造成混乱。历史上这样的前车之鉴实在是太多了。
赵匡胤选了一个日子，把石守信、王审琦、高怀德等几位老将请到宫中饮酒。酒席上，君臣痛饮，大家都十分高兴。酒酣之时，赵匡胤见时机已到，便让侍立四周的人都退下，悄悄地对他们说出自己的“心里话”来。
赵匡胤说：“我没有你们的鼎力相助，也当不了皇帝，我会永远感念你们的恩德。可是做天子也太艰难了，还不如做节度使快乐。不瞒各位说，这一年来，我就没有一夜睡过安稳觉。”石守信等人不知就里，忙问为什么。
赵匡胤便接着说：“这还不明白？皇帝这个位子，谁不眼红呀？试问在座诸位，有谁不愿意做天子？”这在当时是最为敏感的话，如果有谁沾上了谋反的边，就会被诛灭九族。石守信等人听了这话，立即惶恐不安，连忙向赵匡胤叩头说：“陛下为什么说出这样的话来？现在天命已定，谁还敢怀有野心，想做天子？”
赵匡胤摇摇说：“你们说的不对。对你们几位我还信不过？但你们虽然没有野心，你们手下的人难道不想贪图富贵吗？一旦你们也被黄袍加身，你们虽然不愿意做皇帝，但那可能吗？你们难道已经忘记了我是怎样被你们拥戴当皇帝的吗？”
石守信等人这才恍然大悟，终于完全明白了皇帝是在担心他们。他们都是聪明人，不要说当时毫无准备，不能与赵匡胤相抗衡，惟有任他处置一条路，就是被皇帝怀疑上了，也最终没有好下场。石守信等人感到大祸临头，连连磕头，含着眼泪说：“我们都是粗人，没想到这一点，请陛下指引一条出路。”
赵匡胤见他的一席话已经震慑住了石守信等人，便真心地劝他们说：“人生好比白驹过隙，飞逝而过，所好者无非就是富贵，不过想多积钱财，厚自娱乐，造福子孙。我替你们着想，你们不如把兵权交出来，到地方上去做个闲官，多买些良田美宅，给子孙留点家业，再多置些歌儿舞女，日夜宴饮，快快活活度个晚年。我再与你们结成儿女亲家，这样一来，臣君相安，两无猜忌，该是多好的事啊！”
赵匡胤的这一番话，说得石守信等人真是茅塞顿开，拨云见日，马上谢恩说：“陛下替我们想得真是太周到了，真是生死大恩啊！”
酒席一散，大家各自回家。第二天上朝，每人都递上一份奏章，说自己年老多病，请求辞职。宋太祖马上照准，收回他们的兵权，令其都以寄禄官的身份回家，并给予优厚的赏赐。他们虽仍有官阶身份，已无实际职权。
这就是历史上著名的“杯酒释兵权”（“释”就是“解除”）。
开国皇帝杀功臣，在中国历史上比比皆是。如汉朝开国皇帝刘邦、后来明朝开国皇帝朱元璋，都是这样的典型。宋太祖不仅不杀，而且采取一种最省力的方式，让大家都得到很好的结局，这里有三点很重要：一是威吓；二是推心置腹的谈心；三是安排出路。三点缺一，效果必然大打折扣。
“杯酒释兵权”后，禁军中的殿前都点检，副都点检、侍卫马步军正副都指挥使等职务不再设置了，只剩下了侍卫马军都指挥使、侍卫步军都指挥使和殿前都使指挥使这３个不能相互统属的职务，这三使各领一司（合称“三衙”），互相牵制均直接听命于皇帝。同时“三衙”的长官都是由资历较浅的后辈武将担任，使其难以在禁军中形成根深蒂固的势力。
为了“安抚”被释去兵权的石守信等人，宋太祖不但向他们赏赐了大量的钱财，而且表示要和他们结为亲戚，“约婚以示无间”。不久，太祖寡居在家的妹妹燕国公主就嫁给了高怀德，女儿延庆公主、昭庆公主则分别下嫁石守信之子和王审琦之子。除年幼夭折以外，太祖只有一妹三女，她们中竟有三位下嫁到了被释去兵权的禁军高级将领家，说明这种婚姻是有着强烈的政治色彩的。这不但使石守信等人在一失一得中获得了一种心理平衡，进而消除“鸟尽弓藏，兔死狗烹”之类的疑惧，而且作为一种象征，也表明了宋初皇帝与曾经拥立过的功臣宿将之间的矛盾终于得到了较为合理的解决。
过了一段时期，又有一些节度使到京城来朝见。宋太祖在御花园举行宴会。太祖说：“你们都是国家老臣，现在藩镇的事务那么繁忙，还要你们干这种苦差，我真过意不去！”有个乖巧的节度使马上接口说：“我本来没什么功劳，留在这个位子上也不合适，希望陛下让我告老回乡。”也有个别节度使不知趣，唠唠叼叼地把自己的经历夸说了一番，说自己立过多少多少功劳。宋太祖听了，直皱眉头，说：“这都是陈年老账了，尽提它干什么？”
第二天，宋太祖把这些节度使的兵权全部解除了。至此，所有高级将领的兵权都被解除。
宋太祖收回地方将领的兵权以后，建立了新的军事制度，从地方军队挑选出精兵，编成禁军，由皇帝直接控制，并制定了“更戍法”，规定除了警卫皇室的殿前班外，所有禁军都要定期换防，将领经常调动，军队和将帅的调动权也归中央，使得“兵无常帅，帅无常师”。接着，他又实行了“内外相制”的策略，各地行政长官由朝廷委派，大大削弱了藩镇的实力和实权（包括兵权、政权和财权）。通过这些措施，新建立的北宋王朝开始稳定下来。
这样一来，宋朝的确成功地解决了藩镇割据问题，为宋王朝的长治久安打下坚实的基础，这是中国传统社会发展到一定历史阶段在政治上走向成熟的又一个重要标志。但由于对兵权问题的高度重视，在集中兵权与整顿军队后，军权完全集中到了皇帝手中，但同时也造成了兵不知将，将不知兵，军队作战要依皇帝钦定作战方案来进行等等一系列弊端。在后来宋军对辽、西夏的作战中，兵权高度集中的弊端显现出来，使得宋军屡遭败绩，形成了积弱局面。这又是赵匡胤、赵普当初在定计安天下时所始料不及的。
统一南方
962年，割据湖南的周行逢病死了，他的儿子周保权继位。大将张文表不服周保权，起兵反抗，割据潭州（今湖南长沙）。周保权派人向来朝求援。宋朝出兵湖南，一举占领了南平，平定了湖南。赵匡胤又着手进兵后蜀。
967年11月，宋太祖赵匡胤命忠武节度使王全斌率军六万向蜀地进攻，并命工匠在汴梁为蜀主孟昶起造住宅，谕令将士：“行军所至，不得焚荡庐舍，驱逐吏民，开发邱坟，剪伐桑朽，凡克城寨，不可滥杀俘虏，乱抢财物。”这月汴梁大雪，宋太祖在讲武堂设坛帐，衣紫貂裘帽视事，忽对左右说：“我被服如此体尚觉寒，念西征将士，冲犯霜霰，何以堪此？”即解下紫貂裘帽，遣太监飞骑赶往蜀地赐给王全斌，且传谕全军，以不能遍赏为憾事。于是宋军人人奋勇，十四万守成都的蜀兵竟不战而溃。
灭蜀之后，有人将后蜀皇帝孟昶用七彩宝石装饰的夜壶送给赵匡胤。赵匡胤很生气地将壶摔碎了。
登了大宝的赵匡胤见了这个“宝壶”，不是爱不释手，而是“大摔出手”，说明他没有忘记过去。赵匡胤起身于下层行伍，跟随周世宗多次南征北战、屡立战功，穿的用的也都很节俭。正如他为君后常把布衣等物赐给左右近侍说的那样“朕过去就穿这些”。
宋太祖这一摔，也说明他懂得奢侈腐化必然亡国的道理。他经历了五代十国的动荡局面，深知历代因奢侈腐化而亡国的教训。在他看来，即使把夜壶装饰得再好，也不过是一个便器。实际上，平民百姓家多用瓦尿罐，富贵人家多用铜尿盆，帝王之家多用银夜壶甚至金夜壶，而孟昶一个小国之君，竟用七宝夜壶，实在没有必要。难怪赵匡胤说：“用七彩宝石装饰夜壶，那该用什么东西盛粮食，像孟昶这样腐化，不亡国才怪呢！”孟昶的生活十分奢侈，就连他的一个宠妃使用的痰盂都是金装水晶石做的。享乐到如此地步，岂有不亡国的。
宋太祖这一摔，还说明他要以身作则，倡导节俭风。赵匡胤身为天子，富有四海，但却力行节俭，从不讲排场，比阔气。寝殿中的苇帘都是用青布包边，宫中闱幕也没有花纹作装饰，乘坐的肩舆也不用黄金装饰。赵匡胤说：“我大宋富有四海，用金银装饰金殿也能办到，但我是为天下人掌管钱财，怎能随便乱用。”赵匡胤就连日常衣服也是洗过多次再穿。961年2月，他下令文武百官及百姓在皇帝诞生日及各种节日。不准上贡物送贺礼。
宋太祖的弟弟赵光义（即宋太宗）看到哥哥当了皇帝还十分俭约，便说：“陛下服用太俭朴了。”宋太祖说：“你别忘了咱家在洛阳夹马营的艰苦日子呀。”
宋太祖不仅自己身体力行，还带头约束家人不能奢华。972年7月，宋太祖之女永庆公主下嫁后回家省亲，穿了一件贴绣铺翠的短袄入宫。宋太祖看了，很不高兴，说：“以后穿戴不要如此华丽。”公主不以为然，笑了笑说：“用不了许多钱。”宋太祖严肃地说：“不对，你当公主的，穿这样贵重的衣服，别人就会模仿。这样一来，京城里的高档服装。就会涨价；价格一涨。商贩就会贩卖，结果只会伤害百姓。你生长富贵之家，要珍惜富贵的日子，岂可开坏风气的头？”永庆公主听了十分惭愧。
又有一次，永庆公主与其母（皇后）对宋太祖说：“皇上的车轿该用黄金装饰。”宋太祖笑着说：“朕富有天下，甭说用黄金装饰车轿，就是用黄金装修房屋也能办到。不过，想到朕是为天下百姓守财，就不能这么干呀！古人讲：以一人治天下，不以天下奉一人。如果让天下百姓都为朕一人服务，百姓们如何活命呢？”
宋太祖本来很喜欢射猎和踢球（当时称“蹴鞠”），刚做皇帝那阵，他还常常技痒难忍，不时邀手下的人玩上几次。这些游戏对宋太祖来说自然属于忙里偷闲，但有时玩到兴头，难免误事。一次，他正在后苑射鸟，忽然有大臣口称急事求见。可他接过奏章一看，里面说的并不是马上要办的事，不由得有些恼火，当即训斥了几句。那大臣却说：“这些事虽不是很急，但总比射鸟急吧。”他愈加恼怒，随手抄起一把玉斧，朝那人撞去，一失手，撞掉了两颗牙齿。那人也不作声，跪在地上，将牙齿捡起来装在衣服里。宋太祖问：“你想拿这个来控告我吗？”那大臣说：“不敢！不过陛下既为天子，一言一行自然会由史官记录在案的。”这话算是说到点子上了，逼得宋太祖不得不赶紧地表示道歉。通过这件事，使宋太祖认识到“吾为天下主”，一言一行至关重要，“畋游”（即射猎）、“蹴鞠”终究不是“正经事”，以后慢慢地就将这些嗜好戒除了。
970