这样一来，上海没去成，罗荣桓的病也就一拖再拖。当罗荣桓已不把这事放在心上的时候，毛泽东又想起了这事。在当时，肾病是很难治愈的，是不是有生命危险，谁也不敢打保票。所以毛泽东考虑让林彪去山东接替罗荣桓是非常有道理的。林彪去山东，可以减轻罗荣桓的工作负担。
毛泽东只是在征求山东军区和罗荣桓的意见，林彪来不来山东还没有定下来，即使定下来了，从延安到山东也不是一天半天的事，罗荣桓还得坚守岗位，坐在担架上指挥作战。
在粉碎敌人的“扫荡”以后，胶济路两侧和鲁南地区的伪军大部分被扫掉了，几个战略区连成一片，山东多年没有解决的问题，基本得到了解决。以我为主、准备反攻的局面在山东已经基本形成，争取抗日战争最后胜利的曙光就在眼前。罗荣桓的病仍未减轻，但胜利的喜悦在一定程度上缓解了疾病给他带来的痛苦。
大 扩 军
１９４５年８月８日，苏联对日宣战。与此同时，美国也于６日和９日分别在日本的广岛和长崎扔下了两颗原子弹。小日本招架不住，鬼子的末日真的到来了。
这些消息都让罗荣桓感到高兴，可高兴的事却不只这一件。８月１０日深夜，在莒南县大店村的一所普通民房里，罗荣桓正在灯下研读毛泽东于前一天刚刚发表的文章《对日寇的最后一战》，机要科送来了一份加急电报，罗荣桓很快看完了这份内容不长的电文，高兴地对正在收拾床铺的林月琴说：
“好消息！”
林月琴放下手中笤帚，转过身来看着自己的丈夫。罗荣桓不是一个感情外露的人，他很少把一些事情告诉自己的妻子。可今天他却是这样地高兴，在高兴中还带有激动的感情。林月琴不知发生了什么事，没有说话。罗荣桓尽力克制自己的激动，又补充了一句：
“日本政府发出照会，要求投降了！”
“小日本被打败了！”林月琴简直不敢相信这是真的。
“打败日本帝国主义”，这是亿万中国人民，也是八路军、新四军和共产党领导的所有抗日武装广大指战员日夜盼望的事情。当这一天真正到来的时候，有的人竟不敢相信会来得这样快。
罗荣桓又说：“现在看起来，我还可以再订一个五年计划，参加建设新中国。”林月琴高兴地说：“抗战胜利了，医疗条件好了，你的病会治好的，一定还可以订好多个五年计划。”胜利的消息使他们再也不能入睡，你一言，我一语，回顾８年抗战的历程，怀念过去，展望未来。清晨，整个驻地沸腾起来，山东分局、省行政委员会和军区的负责人，纷纷相互祝贺。人们喜气洋洋，都忘记了吃早饭的时间。
这天上午，罗荣桓又收到中共中央１０日发出的电报：“山东军区有占领德州、济南、徐州、青岛、连云港及其他大小城市交通要道之任务……”在同一封电报中，中央要求：“迅速进攻与招降伪军，争取群众，扩大部队”，“将山东行政委员会宣布为正式省政府。”
中央的指示主要包括两项内容，即实施进攻，以扩大八路军的控制区；迅速扩大部队的规模，以增强自己的实力。接到中央的指示后，罗荣桓召开了山东分局、省行政委员会和军区高级干部会议，研究贯彻党中央的指示，讨论全面反攻和扩大部队规模等问题。
就在前一天，蒋介石已经给八路军下达了命令，要八路军所属部队在原地驻防待命，其在各战区作战的部队，应该接受各战区司令官的指挥，不能随意行动。同时命令各地伪军在驻地负责维持地方治安，没有蒋介石的命令，不得擅自移动驻地，并不得让其他部队收编伪军。
共产党不会甘心听蒋介石的摆布。同其他抗日根据地一样，在罗荣桓的领导下，山东的共产党也迅速行动起来。在１１日这一天，山东分局、山东军区就发出了一系列命令、紧急指示和布告，其中包括山东分局的《关于调集干部确保城市及交通要道之占领的紧急指示》，山东军区的《紧急动员全体军民保证抗战最后胜利》的布告，山东军区《对日本驻军的通牒》以及山东军区的《对伪军伪警及一切伪组织的紧急通告》。在这一系列指示、布告和命令中，罗荣桓、黎玉和萧华等领导人发出号召：“在此紧急关头，尤须我党政军民以战斗姿态，紧急动员，组织起来，团结起来，保证民族战争之最后胜利。”
当晚，在罗荣桓的主持下召开了山东分局、山东军区和山东行政委员会高级干部（包括党外人士）会议，讨论大反攻和扩大部队的任务。罗荣桓传达了中共中央关于迅速占领徐州、济南等大中城市、准备接受敌伪投降的指示，以及八路军总司令朱德向解放区所有武装部队发布的七道进军命令。他在会议上指出，要迅速整编部队，向铁路和大城市进军，迫使敌人向我军缴械投降。他特别提醒大家：“敌人乞降了，还不等于缴械。蒋介石一定会利用日伪军来对付八路军，同我们争夺山东。因此，不要认为日本乞降，我们就可以顺利受降，就没有事了。我们决不能麻痹大意，要全力以赴，准备长期斗争。”
就在第二天，中共中央发出了关于军队编制的决定，指出：为适应今后的作战，最后消灭日本侵略者，备战略区应就现有兵力迅速抽出二分之一至五分之二的兵力，编为野战兵团，并向各战略区下达了关于充实野战部队的指示。
山东军区在罗荣桓的领导下，迅速进行了部队的整编。他们把山东第一线部队编成８个师、１２个警备旅、１个滨海支队及１个海军支队。每个师辖３个甲种团（每团充实到２５００人以上），主要担任机动作战、夺取大城市的任务。每个警备旅辖两个团，担任次要方向上的作战任务。
整编后，滨海军区部队编为山东第１师、第２师、山东警备第１０旅、第１１旅，其中１师师长梁兴初，政委梁必业；２师师长罗华生，政委刘兴元。鲁中军区部队编为山东第３师、第４师、山东警备第１旅、第２旅、第３旅（后来又编了个第４旅），３师师长王建安，政委周赤萍；４师师长廖容标，政委王一平。胶东军区部队编为山东第５师、第６师、山东警备第４旅、第５旅，５师师长吴克华，政委彭嘉庆；６师师长聂凤智，政委李丙令。海军支队也隶属于胶东军区。渤海军区部队编为山东第７师、山东警备第６旅、第７旅，７师师长杨国夫，政委周贯五。鲁南军区部队编为山东第８师，山东警备第８旅、第９旅，８师师长兼政委王麓水。
另外，滨海支队，即由万毅率领的部队准备按朱德的命令进军东北。
为扩大自己的力量，山东各军区广泛开展了参军运动，以组织八路军的第二梯队，县区武装升级后，又立即补充起来。
不久，山东八路军的总数就达到了２７万余人。
“不投降，就消灭它”
就在山东军区接受日伪军投降、扩大解放区的同时，蒋介石也迅速在山东采取行动。他任命的国民党山东省政府主席何思源在日伪军的保护下进入济南。何思源一进城，就要日军“就地驻防，加强防务”，同时将山东所有的伪军都收编为国民党军队。于是那些在日军统治时期为非作歹的汉奸，转眼之间都成了国民党的“地下工作人员”，蒋、日、伪完全同流合污了。
由于有国民党在背后撑腰，山东的日伪军拒绝向八路军投降。
“不投降，就消灭它！”罗荣桓说。
８月１３日，山东分局和山东军区发出《决心彻底消灭日伪军》和《夺取大城市的部署》，１５日又发出《部队作战方向的规定》，对部队的行动作了部署，决定兵分五路，首先扫清孤立于解放区内的中小城市，再向山东铁路沿线地区和大中城市进军。罗荣桓将这一部署上报中共中央，同时建议将部队名称改为“人民解放军”，中央中央复电表示同意。这是在我军历史上首次使用“人民解放军”这一名称。
山东八路军在罗荣桓等人的领导下，夜以继日地奋战，所属部队边动员、边行军、边扩大、边编组，冒着酷暑，昼夜兼程，很快就席卷了解放区内的敌占中小城市，并开始向大城市及交通要道疾进。
鲁中部队为第一路，在前线指挥王建安、政委罗舜初的率领下，连克临朐、博山、益都、莱芜、淄川、章邱、周村和新泰，切断胶济路西段，并从东南方向进逼济南。
滨海部队为第二路，在前线指挥陈士榘、政委唐亮率领下，攻克胶县，切断胶济路东段；南占莒县、日照、赣榆、青口，切断陇海路东段，逼近海州和连云港。
胶东部队为第三路，在前线指挥许世友、政委林浩率领下，解放威海卫、牟平、烟台、福山、篷莱、黄县、龙口、招远、莱阳、石岛、即墨，并突破了敌人之崂山防线，攻占了流亭机场，逼近青岛。
渤海部队为第四路，在前线指挥杨国夫、政委景晓村率领下，解放了昌邑、寿光、临淄、广饶、博兴、高苑、桓台、长山、阳信、临邑、邹平、宁津、吴桥、辛店，切断了胶济路中段，与第一路大军会合，从东北方向逼近济南。
鲁南部队为第五路，由前线指挥张光中、政委王麓水率领，切断了津浦路，解放了泗水、曲阜、台儿庄及官庄火车站，兵临兖州和徐州。
在以上这些攻势中，唯有临沂战役打得时间最长，也最为激烈，罗荣桓为这次作战倾注了大量的心血。
８月１５日，日本正式宣布投降，东京电台播放了裕仁天皇的“停战诏书”。第二天，驻守在临沂的日军就逃往枣庄，临沂只剩下伪保安大队长许兰生的部队，伪费县保安大队邵子厚部也集中到临沂城里。他们又与盘踞在临沂以北、汪沟西南坚固筑垒地区的王洪九部互相策应。这三股伪军加起来共４０００余人，企图依靠坚固的工事和日军逃走时留下的大批武器弹药和粮食，固守顽抗。
山东军区决定组织滨海第４团、山东军区特务团、鲁中第１１团和临沭独立团攻城。由于各团属于不同的部队，罗荣桓就派军区参谋处长李作鹏去临沂前线指挥。
８月２０日和２２日，八路军发动了多次攻击，皆因准备不足、配合不好和敌人的工事坚固而未能成功，攻城部队的伤亡不小。当时罗荣桓率军区机关正在大店，对进攻临沂的情况不了解，几次想去前线，由于身体不好，加上别的人一再阻拦，没有去成。
８月２６日，李作鹏从临沂回到大店，汇报了前线的情况。罗荣桓听完汇报后强调，临沂是滨海、鲁中、鲁南三区的联结点，必须拔掉这颗钉子。然后，他批评了李作鹏的轻敌思想。
接着，李作鹏报告了下一步作战方案，即一面在阵地前沿对敌展开政治攻势，一面在城西北角实行秘密的坑道作业，准备把坑道挖到城墙下进行爆破。罗荣桓同意了这一方案，并派作战科副科长王德、参谋尹健一起去临沂。
李作鹏返回临沂前线后，于８月２８日召开了作战会议，总结了前几次攻城失败的教训，确定了作战部署。经过充分的准备，终于在９月１０日炸开了城墙，９月１１日上午占领临沂全城，歼灭伪军２０００多，活捉汉奸许兰生和邵子厚。尔后转移兵力围攻城北的王洪九部。不久，王率残部逃走。
９月２０日，山东分局和山东军区的指挥机关进驻临沂。刚到不久，罗荣桓就提出要出去走走。他当时的身体非常不好，在林月琴和卫生员的陪同下沿着城墙边慢慢地走。他仔细地察看着城墙和攻城部队挖的坑道和架设的云梯。这时，大家才明白，罗荣桓不是为了散步，而是察看地形，总结这次作战的经验教训。
在进行临沂战役的同时，山东军区的其他部队仍在不停地反攻，都取得了巨大的胜利。到９月中旬，山东八路军共克县城４６座，占领了烟台、威海等６个港口，占领火车站３５处，歼灭拒绝投降的日伪军６万余人。山东的５个解放区完全连成一片，并与华中解放区和冀鲁豫解放区取得了直接联系。
山东八路军的胜利还直接增强了中国共产党在国共谈判中的地位。１９４５年９月１５日，周恩来在重庆同国民党代表谈判时指出：“山东解放区迄今收复８０余县（包括津浦路以西地区及过去已解放的县城），均已实行民选县长，治理民政，只等中央承认加委……”
由于山东省的绝大部分地区已由共产党控制，９月１９日，周恩来又向国民党谈判代表提出，山东应作为由中共方面任命省长的四省之一。
１１５师和山东军区的出色成绩，为中国共产