七旅二部也下车野宿，迅速修筑防御工事。不料，七旅旅长龚凤山行前曾得到阎锡山以保存实力为主的密令，而五旅旅长刘树藩又以为龚凤山是阎的亲信，处处看着他的作为行事，因此，二人认为张培梅是小题大作，自找苦吃，对张培梅的命令敷衍了事。张培梅因此十分恼怒，决定召开军事会议，严惩抗拒军令者。龚凤山和刘树藩又找借口只派参谋长出席，于是张培梅更加忿恨，触动杀机，命令将二人就地正法，并且枭首示众。辛亥革命后已经取消了杀头的刑法，随军没有刽子手，执刀者也没有经验，连续砍过几刀，才把人头砍下，把血肉模胡的人头挂在营门示众。这一下，把其它军官都吓得失魂落魄，再没人敢对张培梅的命令有一丝怠慢。
晋军两个旅长被砍头的消息传回太原，阎锡山十分惊骇，怒气冲冲地说：“鹤峰（张培梅的字）如此胡闹，擅杀团长，形成独立，石家庄人心恐惶，不能不即时出动镇压！”当即命令另一亲信杨爱源做好准备，要亲自出马问罪。幸亏号称晋军“诸葛”的南桂馨出面调停，劝阎锡山不要操之过急，又亲自到石家庄前线去观察动态，并劝张培梅自请处分，以释众疑，才将这场风波平息下去。
石家庄被晋军卡住，山东又宣告中立，津浦、京汉两路援军都无法接应，直系大势已去。11月2日，曹锟辞去大总统，吴佩孚接着也宣布下野，第二次直奉战争以直系失败告终。阎锡山这次走出山西伸手中原，顺利地成为胜家，顿感自己说话腰杆儿硬了起来。他积极推戴段琪瑞再次执政，以便自己在中央政府有个大靠山，于是联络西北军阀马福祥等人，抬高自己的身价，俨然以西北各省的首领自居，与奉系张作霖南北呼应，为段琪瑞出山鼓噪呐喊。
1924年11月24日，张作霖和冯玉祥在北京宣告成立“中华民国临时执政府”，推出段琪瑞就任“临时执政”。眼看实现了自己的心愿，阎锡山很是满意。但段琪瑞虽然名为“执政”，却因实力不足而腰杆不直，说话不灵，事事处处需仰人鼻息。段琪瑞便施展手段，让冯、张互相牵制，并企图借阎锡山之力，联络西北各省军阀，形成第三势力。阎锡山积极配合，也知道这是自己出头的机会，但他明白，在军阀混战时期，弱肉强食，大鱼吃小鱼，最重要的是加强自己的实力。他对部下说：“咱们要赶紧充实力量。自己力量不够，哪一方胜利了，也没有咱们的好处。”于是，趁着得胜的时机，山西再次抓紧时间扩军。兵力增加一倍，达到了4万人的规模。阎锡山踌躇满志地表示，不仅要“保境安民”，而且要在逐鹿中原的混战中“唯力是视”。
在掌得中央政府的实权之后，冯玉祥的国民军势力迅速膨胀。北京，察哈尔，绥远，河北，河南，陕西等省都成为势力范围，山西被包围在中间成为孤岛。形势很快又变得对阎锡山甚为不利。曾受阎锡山排挤而被迫离开山西的反阎派续桐溪，这时就积极筹划进行倒阎活动。续桐溪是辛亥革命时期晋北公团的领袖人物，对辛亥革命在山西的胜利，作出过不小贡献。民国之后，续在山西警察道任职，与阎锡山交往相当密切。后因对阎锡山投靠袁世凯十分不满，多次当面予以讥讽，阎锡山将其视为异己。有一次，军警与商绅闹起冲突，阎趁机派人煽惑将事态闹大，背地里支持商绅请愿，声言要到北京告状，要求将续罢免。续并不示弱，就找到阎锡山大闹一场，将阎的阴谋活动当场揭穿，闹得阎恼羞成怒，准备派人将续逮捕，以军警冲突为借口将续杀掉。幸亏有人给续透露了消息，续得以逃走。因此，与阎锡山结下了难解的仇恨。续桐溪此时已担任国民军的总参议，他拟定了先行夺取山西，巩固豫、晋、陕三省，然后再竭全力对付奉军的计划。联络河南军阀樊钟秀，出兵攻打山西。在国民军第三军任参谋长的山西人徐永昌把续的计划秘密报告了阎锡山，使晋军及早做好了准备，因而，樊钟秀的进攻草草收场，无功而返。经历过这一次反暗算的小战斗，阎锡山对老乡徐永昌心存感激，对冯玉祥的势力则多了几分警觉和仇恨，为他此后参加反冯联盟埋下了种子。
联直奉反冯 势力扩大到绥远
1925年冬，奉系以4个军团的重兵向冯玉祥部发起大规模进攻，吴佩孚则派兵由津浦路北上与之呼应。奉军将领郭松龄因不满张作霖而与冯联合，率所部占领山海关，并将部队改编为东北国民军。东北革命军的倒戈，将奉军推入了困境。张作霖只好调动主力回军东北，在日军的支援下，才灭掉了这一心腹大患。冯玉祥于是趁机尽占关内地盘，并独享了北京政府权力。张作霖气急败坏，转而对数月之前还恨之入骨的吴佩孚大唱赞歌，表示“只要扑灭反复无常叛主卖友之冯玉祥，其它无所企求”，恳求吴佩孚迅速北上。
这种形势下，阎锡山表面上两不得罪，圆滑应付。当国民军从北京退出时，他允许其眷属由山西过境；但另一方面，他又与吴佩孚相互勾结，阻隔国民军河南与直隶间的联络，使国民军所占的地盘处于直、奉、晋三方面的分割包围之中。各方竭力拉拢山西，而阎锡山在大局不明朗之际，又以他特有的策略，进行着多面敷衍外交。各方代表走马灯一般来到太原，利用种种关系，想方设法与阎锡山见面，力陈与自己联合的好处。冯玉祥的代表张吉士说：张作霖因为内部倒戈，已经元气大伤，只能在关外苟延残喘，再无力来中原逞强。吴佩孚的精锐部队已在上次战争中损失殆尽，现在拼凑起来的杂牌军队，战斗力自然难比当年。而国民军占有华北平津，尤其是察哈尔、绥远一带，与山西是唇齿相依的形势，山西与国民军合作最为妥当。阎锡山敷衍一番，哼哼哈哈，含胡其辞地点头；吴佩孚的代表顾祥麟极力替吴大帅吹嘘：玉帅原本就实力很强，经过这些日子在湖北大力整顿，现在的实力胜过从前。对冯玉祥的倒戈，一直耿耿于怀，要与东北的张雨亭携手，对冯大张挞伐，希望山西能够站在玉帅一边。阎锡山表态说：冯军不但是玉帅的敌人，也是山西的敌人。玉帅如果发动义师，我们力量虽然有限，也理当竭力协助。奉系代表于国翰则透露，不但中国人对冯玉祥痛恨，连日本人也怕冯一旦成功，中国会全部“赤化”，因此愿意帮助雨帅消灭冯的势力。这次，雨帅决心和吴大帅合作，打倒冯玉祥。如果咱们三方合作，就可以胜券在握了。阎锡山回答说：雨帅和玉帅在中原会师的时候，我们一定追随。
阎锡山十分清楚山西的处境。他看到山西有被国民军包围并瓜分的危机，自己的力量尚不足以抗争。张作霖连年征战实力也已大不如前，此时又受内部兵变的困扰，没有力量援助山西。解围的希望，就寄托在吴佩孚北上。但第二次直奉战争中自己出兵石家庄，曾得罪于直系；而当下要保持与冯玉祥在面子上的联合，又不便于大张旗鼓地与吴佩孚来往。思来想去，他决定派一个资历浅而不为世人注意的小人物，前往吴佩孚处联络。这个小人物就是《晋阳日报》的主编梁航标。梁航标到汉口见到吴佩孚后，先是转达了阎锡山表示悔过的自责之词，恳求吴大帅不念旧恶，共图大局，并保证在直系军队北上之时，山西军队可东出太行，南攻陇海，击溃国民军的二、三军，然后与吴大帅合力围攻国民一军。阎锡山的悔过、恳求和建议，正合吴佩孚之意，于是也就一拍即合。
1926年的春天，张作霖，吴佩孚，阎锡山合力反冯的战争就拉开了序幕。直系军队从湖北北上，攻击国民二军；晋军出太行，出娘子关，攻击国民三军；奉军迅速入关，威胁和攻击国民一军。三方联合，对冯玉祥形成了大包围的态势。冯玉祥见形势逼人，为避免国民军遭受三方的联合打击，就通电辞职，国民军退出北京，军队由部下张之江、鹿钟麟指挥，自己则出国赴苏联考察去了。冯玉祥虽然下野，联合反冯的攻势并未因此停顿，4月6日，三方下达了总攻击令，倒冯战争于是全面铺开。
4月中旬后，国民军退出北京，东路军抵挡奉、直军队的进攻，西路军则在山西北部与晋军交了火。开始阶段，晋军溃败，损失惨重，使阎锡山很是紧张。他把军队撤到雁门关一线，心急火燎地请吴佩孚支援。同时就准备自己的后退之路，让部下在京津为自己购买房屋。
此时，形势却又发生了变化。国、共两党合作组建的广东革命政府，在苏联的大力支持和资助下，决定北伐。直系在湖南的地盘首当其冲，吴佩孚得知这个消息，无心再在华北作战，准备回师南下，保卫自己的老窝。张作霖大吃一惊，生怕因直系退出，不仅难以解决冯军的问题，自己反会孤立无援，受到攻击。因此，他忙与吴佩孚商定要限期击败国民军。奉军立即增调骑兵上前线，猛攻多伦多，威胁张家口，并要阎锡山配合，兵出雁门关，截断国民军向西北的退路。在直、奉联军的猛攻之下，国民军东路军失掉了多伦多和南口等战略要地；西路军在山西北部与晋军多次激战，消耗大量兵力，也未能攻下形势险要的雁门关。国民军被迫败退西北，此后就被称为西北军。
西北军的溃败，给晋军造成了可趁之机。阎锡山瞅准时机，乘国民军撤退之际，派兵向绥远方向追击，大获其利。国民一军的陈希圣、韩复榘、石友三的队伍，先后被迫投降。阎锡山一下子增加了三个师的军队，将势力范围扩张到了绥远，占领了包头。这次讨冯，阎锡山再次获得厚利，把自己的势力范围扩张到了绥远，于是宣布把晋军改编为晋绥军。
在直、奉、阎联合讨伐冯玉祥期间，广东革命政府的北伐也在积极准备之中。冯玉祥宣布下野之后，赴苏联考察。在苏期间，与苏联领导人会见，并与中共驻共产国际代表接触，对革命有了进一步的认识。因此，9月回国，就响应广东革命政府的北伐，率西北军在内蒙五原誓师。在誓词中明确宣布：“现在我所努力的，是遵奉中山先生的遗嘱，进行国民革命，实行三民主义。”兵败后归附晋绥的陈希圣、韩复榘、石友三的部队与冯玉祥旧情不断，得到消息，都悄悄开赴五原与冯玉祥会师。这三个师归附之后，阎锡山给他们补发了欠饷，换发了服装，还补充了弹药。一夜之间，他们突然开拔，都又回到冯玉祥的怀抱。事前既无任何风声，事中也无什么周折。这使阎锡山非常惊异，也十分恼怒。但他却没有大发雷霆，也没有怪罪部下，反而做了个顺水人情，给冯玉祥拍发一个电报，表示：你的队伍经我代管了几个月，现在你回国来了，他们自应还归你指挥，等等。吃亏换个人情，也许就给自己多留了一条路，阎锡山的算盘，打得总是很精细的。
趁热打铁，阎锡山着手进行第三次扩军。自任“晋绥军”总司令，将步兵扩编为17个师。后来，收编徐永昌的国民军第三军之后，又将师扩充为军，共编了8个步兵军，另组成8个炮兵团，兵力突破10万，达到了13万人。
联蒋讨奉 占据京津
北伐的胜利进军，直系的土崩瓦解，给各路军阀敲响了丧钟，迫使他们聚集起来商讨对策。11月，张作霖慌忙在天津召开会议，拼凑所谓“安国军”，企图与北伐军对抗。“安国军”由张作霖任总司令，阎锡山为副总司令之一。阎锡山在表面上拥护张作霖，还派出自己的代表参与“安国军”的事务，却迟迟不肯就任副总司令一职。他经过仔细的盘算，觉得北洋军阀已经走向穷途末路，难以依靠；张作霖的力量也未必能够抵挡锋芒锐利的北伐军。前程难测，决不能死心眼地吊在一棵树上。因此在应付张作霖的同时，又走出了左右逢源的棋子。这时，广州革命政府派代表到太原，与阎联系，希望作为同盟会老前辈，阎锡山能派人到武汉商讨参加北伐事宜。阎派出老同盟会员赵丕廉前往，行前，阎再三叮嘱：“秘密未揭开前，由你负责；揭开以后，是蒙的事。”原来，此时的阎锡山还有一段隐忧。他从日本进口一批枪械，三个月后才能运回山西，之前不能有所举动。否则，枪械就可能让奉军掠去。赵在武汉与北伐军会面之后，又赴南昌拜见了北伐军总司令蒋介石，转达了山西方面对北伐军的欢迎和期盼之情。蒋介石对阎锡山做出这样的表态表示满意，认为阎锡山是同盟会的老前辈，又是丈夫团的人，盼望他能及早举事。阎锡山听到这个消息，感到这次试探收获重大，北伐军不仅没有将自己当作打倒的对象，而�