歌打仗可算是李存勖用兵之一绝。在加上河东兵都穿着黑衣，铠甲也用黑衣包裹，所以被称为“鸦军”。不过，他们唱的军歌肯定比乌鸦唱得好听。
经过努力，不但军队的战斗力大增，经济实力也有了很大的提高，李存勖的力量比父亲李克用时要强很多，所以才能在和朱温的对抗中逐渐地占了上风，为日后夺取山东，灭掉后梁打下了坚实的基础。
此后，李存勖便和后梁展开了对黄河以北地区的争夺。河北的战略地位极为重要，占据了河北，向西就可以攻击河东，向南则可以压服后梁。当时的河北地区主要有三支割据势力：王镕占据镇州（今河北正定），为成德节度使，王处直据有定州（今河北定县），为义武节度使，刘守光在幽州（今北京城西南），为卢龙节度使。三人当中，刘守光的势力最大，而王镕和王处直较弱。朱温称帝建立后梁时，三镇为保持自己的割据势力，均表示臣服归顺。而李克用也极力拉拢三镇，想趁机将河东的势力扩张到河北。
王熔和王处直由于不满朱温的猜疑与滥杀，反梁而投向了河东，朱温发兵征讨，王镕和王处直急忙向李存勖请求援兵。李存勖立即派周德威率兵作为先锋出发相救，自己亲率大部队随后增援。中途俘获了梁军士兵，得知朱温派兵遣将时曾经下令：“镇州就算是用铁铸成的，也要给我拿下来！”李存勖为激励两州将士死守的决心，派人将俘虏送到了镇州和定州。后来两军在柏乡一带展开激战，周德威与其他将领奋勇冲杀，机智调兵，最终大败梁军，取得了柏乡大战的胜利。
后来，幽州的刘守光在囚禁父亲刘仁恭夺取节度使之位后，发兵攻打镇、定地区，李存勖率军救援，而朱温则应刘守光的请求趁机再次和河东军开战，由于柏乡惨败的阴影还没有忘记，进军路上心情暴躁，以致于交战之前就杀死了几个文官，勇将李思安也被斩首。朱温自己泄了些怨气，但却使部下心神不宁，导致又一次惨败。还未碰上晋军，就有流言说晋军大部队已经铺天盖地而来。朱温如惊弓之鸟，竟丢下自己的行营大帐，奔逃到枣强（今河北枣强），与大将杨师厚一起攻城，因为守军抵抗，在攻陷后梁军竟血洗该城。河东的援兵在李存审的率领下，仅以几千人对付朱温的强兵五万。李存审在夜里先以数百名骑兵突袭梁军，朱温不敢恋战，又烧大营逃命。惊慌之中又迷失了方向，走错了路。跑出一百五十里后才发现。对滥杀成性的朱温早已恨之入骨的河北人民听说梁军又来，纷纷拿起武器到处袭击梁军，有的在地里劳动的农民也举着锄头痛击梁军。朱温这次败退，因为并没有和河东军主力交锋，所以更觉得窝火，结果一病不起，不久就被儿子朱友圭杀死。
消灭刘守光
朱友圭杀父继位后，众兄弟都不服，特别是朱温和张惠所生的朱友贞，身为嫡子，更是打起了“除凶逆，复大仇”的旗号，联合魏博节度使杨师厚兴师问罪。在杨师厚的帮助下，朱友贞得到宫中禁军的配合，最后杀死朱友圭，夺取了皇位。在五代时期，他是通过兵变夺取皇位的第一个人，从此为以后的兵变提供了效仿的先例。
但朱友贞并没有遏止后梁衰亡的趋势，相反，却加强了这种趋势。朱友贞重用为他夺取帝位出谋划策的赵岩，而且赵岩又是父亲朱温的女婿，关系亲密。但赵岩没有治国之才，只会弄权乱政，败坏风气。中央政治被他们弄得腐败了，一些老臣在他们的纵容下横行霸道，基层的官吏更是敲诈剥削，任意加重百姓的负担。朱友贞不善用人，派朱友能任陈州刺史，朱友能却只会横行乡里，纵容下属骚扰百姓，最终逼出了陈州农民起义。起义虽然被镇压，但说明后梁统治已经到了穷途末路。本来陈州是后梁的财赋重地，当初朱温能称霸中原，打败并消灭秦宗权，正是靠张全义经营陈州，全力供应才得以实现的。朱友贞却反其道而行之，这又怎么不加速自己的灭亡呢？
就在后梁矛盾重重国势日益衰微之时，李存勖却步步得胜，集中力量灭掉了刘守光。
刘仁恭在朱温灭唐之前取得了沧州，便命长子刘守文为沧州节度使，接着进兵镇州和定州与魏博，被朱温打败后向李克用求救。朱温领兵大举进攻沧州，刘仁恭由于兵少，竟命令男子十五岁至七十岁的全部自备粮食和武器参军，男子的脸上刺“定霸都”三个字，士人则在臂上刺“一心事主”四个字，以防止逃亡，共得士兵二十万，但战斗力很差。沧州被围困得竟然出现了吃土吃人的惨相，最后由于梁将丁会降晋，削弱了梁军，加上朱温急于称帝而退兵，刘仁恭才得以维持其势力。但回到幽州后，刘仁恭却一下子昏庸起来，在西边大安山修建宫殿，广招美女，醉心于声色之中，又召僧道炼长生不老之药。儿子刘守光在后梁军再次侵扰时趁机领兵进入幽州城，派人将父亲抓回来，囚禁在幽州城。刘守文从沧州起兵讨伐大逆不道的弟弟。最后被心狠手辣的弟弟杀死。
在刘守光妄自尊大，想要当北方的盟主的时候，李存勖便施了骄兵之计，和王熔、王处直一起尊刘守光为“尚父”，但刘守光并不满足，最后竟登基称帝。在刘守光派兵南下时，李存勖便趁机派周德威端了他的老巢，将刘守光和其父刘仁恭一并抓获，押回河东处死。一对反复无常的父子得到了应有的下场。
李存勖至此完成了父亲交给的一支箭的任务，灭掉幽州和沧州后，李存勖便扫除了后顾之忧，在他正要南下夺取魏博时，恰好魏博发生了兵变，李存勖借势出兵，唾手而得魏博。从而使河东的势力逼近了后梁的生命线：黄河。
奇兵灭后梁
杨刘是黄河的一个重要渡口，可以直逼后梁重镇郓州，梁军沿河驻防。在贞明三年（公元917年）十二月，李存勖趁黄河结冰的机会，从晋阳赶到魏州，率兵经朝城（今河北莘县西南）渡过了黄河，占领梁军营寨，又抢占了杨刘城。
控制杨刘之后，918年7月，？�李存勖又调集重兵想一举南下灭梁。为破坏沿河地区对梁军的供给，李存勖率兵经杨刘过黄河，攻掠郓州（今山东西北）、濮州（今河南濮阳）后，再沿河而上驻守在濮州东北的麻家渡，梁将谢彦章在濮州北边的行台村筑垒对抗。李存勖轻敌冒进的特点又暴露出来，常率领轻骑兵到敌营前挑战，几次遭到梁军围攻，都是在部下的拼死保护下才得以脱险的。但李存勖丝毫不引以为戒，结果在这次胡柳陂之战中白白丧失了周德威这员大将。
不久，梁军内部发生权力之争，将领贺瑰杀掉谢彦章。李存勖就想趁机领兵直捣后梁首都。周德威却认为梁军损失一将，并未影响实力，不能轻举妄动。但李存勖根本不听，他先命令老弱军卒和家属返回魏州，再毁掉营寨，然后率军南下想一举灭梁。贺瑰探知晋军意图后也拔营起寨尾随追击。到达胡柳陂（今山东鄄城西北）时，李存勖安营扎寨。第二天一早贺瑰的追兵也到了。周德威向李存勖建议：晋军孤军深入，又逼近了后梁的首都，不宜轻易开战，而梁军刚到，营寨未建，待其建营寨疲惫之后再以逸待劳前去挑战，然后乘虚攻击消灭梁军。李存勖却不同意：“先前在黄河岸边见不到梁军我就有怨气，现在梁军来了还等什么，你又怕什么？”李存勖下令辎重马上出发先行，自己领兵随后出击。由周德威领兵作为后援。两军列阵交战后，李存勖先率骑兵冲击梁军，梁将王彦章兵少先败，向后退却。而正在列队前进的晋军辎重部队却误以为梁军前来夹击，慌忙中后退冲入了周德威的阵营，引起混乱。梁军则趁机冲杀过来，致使周德威父子双双战死。晋军伤亡惨重，李存勖这才整顿局势，稍稍稳住阵脚，然后率领骑兵出战，夺取了梁军的一座山头。
这时天近黄昏，李存勖和众将都打算收兵回营休整，但大将李嗣昭却认为晋军深入梁军辖地，各方面都不利，如果退走回营，梁军追来时无法列阵相迎，必然不战自溃。他主张用骑兵攻击正在建营寨的梁军步兵，因为王彦章的骑兵已经退走，山下只有步兵。如果此时用少量骑兵袭扰，使步兵无法吃晚饭，在其后退时再趁机猛追，就可以一举歼灭。李存勖听后精神一振，立即命令李嗣昭等率骑兵先行出击，自己督率大部队增援。梁军未料到晋军会再次突袭追杀，阵势顿时大乱，被歼近三万之众。
大战胡柳陂，李存勖丧失了一员大将，但最后还是取得了胜利。不过，双方伤亡都近三分之二，损失都很惨重。晋军无力再进，回兵魏州休整。李存勖一举灭梁的计划未能实现，说明梁军实力尚存，时机还未成熟。加上李存勖冒险突进，虽然取得胜利但并不是全胜。
贞明五年（公元919年）正月，晋军将领李存审领兵进占德胜，并夹河筑了两城防守渡口。晋梁开始了德胜渡口之战。四月，梁将贺瑰认为晋军占据德胜构成的威胁极大，便开始进攻德胜。为防止晋军从河上增援，又用战舰十余艘相连横断于黄河之上，还在战舰上蒙盖牛皮，垒上短墙以便防守。李存勖则命人率领三百敢死队乘船冲入梁军的战舰之中，砍断绳索，再用木制大桶装满柴草浇上油，点燃后顺流漂下，随后用兵船攻击。梁军大部分溺死或烧死。第一次德胜渡口保卫战以晋军取胜而告终。
不久，贺瑰病死，梁末帝命开封尹王瓒为北面行营招讨使。王瓒领兵五万渡河袭击澶州、魏州一带，尔后撤回河南，然后，王瓒在距离德胜渡口上游十八里的杨村夹河筑堡垒，并造浮桥与河南联系。晋军将领李存进针锋相对，也在德胜渡口修建浮桥，加强防守，以便将来大部队渡河作战。
李存勖为大举南进，先扩建了德胜北城，以便屯兵准备物资。为了袭扰梁军，李存勖还亲自率骑兵沿黄河南岸西进，邀击梁军的辎重补给部队，但在返回的路上却遭到了梁军的伏击，败退突围中幸得部将李绍荣接应救援才得以脱险。几天后，李存勖便率主力与梁军决战于黄河南岸，大败王瓒所部梁军，歼灭万余人。晋军又乘胜攻占了濮阳。濮阳位于德胜渡口南面，这样对于固守德胜又多了一个战略要点。梁末帝看到王瓒作战失利，便以戴思远代替他为北面行营招讨使，领兵驻屯于黄河南岸牵制并阻止晋军南下。德胜之战最终是晋军取得了胜利，为以后的战略展开奠定了基础。
从晋军袭占杨刘，到胡柳陂之战，再到德胜渡口争夺战，李存勖与梁军争夺这些黄河沿岸战略要地的战争前后持续了两年，双方所用兵力均在十万左右，反复拉锯战说明了这些渡口及据点的战略地位对于双方都极为重要，黄河作为天堑在军事上都是双方出兵前进的战略基地。交战初期，由于梁军占有这些据点和渡口，后援充足，所以处于有利地位。晋军攻占之后，一方面可以进一步巩固新得到的河北地区，更为重要的是，突破了黄河这个后梁首都最大的屏障，对后梁构成了致命的威胁。此后，李存勖之所以能出奇兵灭掉后梁，与晋军先行占据有利地形，特别是占据重要渡口有着极大的关系。但晋军限于山川地形，未能发挥骑兵优势歼灭梁军主力，而且自己伤亡也很重，因此后续力量缺乏，无法一举南下直捣其首都，这就造成了双方的对峙局面，为积蓄充足的力量，李存勖又等了两三年的时间，其间对河北地区变乱的平息无形中又分散了精力。
在龙德元年（公元921年）二月，河北地区的镇州发生内乱，王镕的养子王德明杀死养父，夺取政权，并联合后梁和契丹，准备合击晋军。为保住河北实现南下灭梁的计划，李存勖只得再次亲征镇州，先北上击败契丹军队，解除幽州定州之围，然后夺取镇州，重新稳定了河北局势，后方稳固之后，李存勖马不停蹄地继续南下。
李存勖称帝时后唐局势也很危急：后梁大将段凝夺取黄河北岸德胜以西的卫州，契丹军队又时常围攻幽州，潞州的后唐守将李嗣昭之子李继韬投降后梁。这些使得后唐内部人心不一，以为后梁难以攻取。但这时机会终于来了，后梁驻守郓州的将领卢顺投降了后唐，卢顺透露了郓州的虚实：“郓州守城士兵不到一千人，守将又不得人心，可以派并袭取。”但郭崇韬认为孤军深入，胜利的把握不大。
李存勖分析了全局形势，认为后梁此时由于西面的潞州刚刚归降，注意力已集中于西面，想从西面威胁晋阳，而东方准备不足，懈于防守，正可以趁机袭占郓州，动摇其军心。郓州在杨刘渡口之南，此后战