率军进攻，仍不能下。于是祖逖便用离间计，从张平部下分化出谢浮，谢浮借与张平商讨军情之机，杀死张平，率众归降。
张平虽死，樊雅仍占据谯城，祖逖进据太丘（今永城），因军中乏食，处境十分困难。樊雅派兵乘夜来袭，攻入营垒，拔戟大呼，直逼祖逖营帐，军中大乱。祖逖临危不乱，安排左右拒敌，督护董昭英勇杀敌，终于打退了樊雅的进攻。祖逖率部追讨，张平余部帮助樊雅迎击祖逖。为了尽快攻下谯城，祖逖向蓬坞堡主陈川、南中郎将王含求援。陈川派李头、王含派桓宣来援，王含也命参军桓宣领兵五百助战。祖逖一面发兵进攻，一面派对桓宣说：“卿先已说平、雅，信义大著于彼。今复为我说雅。雅若降者，方相擢用，不但免死而已”。桓宣遂入谯城劝降。见到樊雅，桓宣说：“祖逖方欲平荡二寇，每何卿为援。前殷乂轻薄，非豫州意。今若和解，则忠勋可立，富贵可保。若犹固执，东府赫然更遣猛将，以卿乌合之众，凭阻穷城，强贼伺其北，国家攻其南，万无一全也。愿善量之”。樊雅这才出城归降。经过一年多的苦战，祖逖终于攻占谯城，在豫州站住了脚跟，并打通了北伐的通道。
正当祖逖以谯城为根据地，且战且耕，逐步扩大战果时，发生了蓬陂坞主陈川叛归石勒的事件。陈川本是号称“乞活”的流民集团的首领，自称宁朔将军、陈留太守。这支流民武装长期割据浚仪蓬陂，曾经投降石勒，又受晋官号。陈川部将李头攻打谯城立功，祖逖遇之甚厚，正好祖逖获得樊雅一匹好马，李头很想要又不敢说，祖逖知道他的心思后，便把马给了他。以后李头经常感激地说：“若得此人为主，吾死无恨”。陈川闻后大怒，遂杀李头。李头的亲信冯宠鼓动所属四百多人投奔祖逖，陈川更加怒不可遏，大掠豫州诸郡以为报复。祖逖则针锋相对，命卫策在谷水伏击，尽获其所掠之车马子女，祖逖下令，将车马子女全部归回原主，军队一点也不截留。陈川大为惊恐，于东晋大兴二年（公元319年）农历4月以浚仪（今河南开封）投降石勒。
当时石勒建基于襄国（今河北邢台），活动于黄河流域，因实力所限而推行北攻南守方针。南面所要对付的主要是祖逖所率领的北伐队伍。而要阻止祖逖北进，首要的也在于争夺各地的坞堡组织。
祖逖得知陈川叛晋后，遂于五月进攻蓬关（蓬陂，今河南开封）。石勒派养子石虎率领五万大军救授陈川，与祖逖军战于浚仪。祖逖战败，退守淮南（今安徽寿县）＇1＇。石虎在豫州进行了一番洗劫之后，也带着陈川回师襄国，只留下将领桃豹戍守蓬陂坞。农历10月，祖逖派督护陈超攻打桃豹没有成功。农历11月，石勒自立为赵王（史称后赵）。
东晋大兴二年（公元319年）农历6月，石虎派桃豹据浚仪，屯兵西台，从南门出入，祖逖则派韩潜据东台，由东门出入，两军相持四十日。祖逖决定设计智取。当时，双方粮草供应都很紧张，祖逖命令把沙土装在粮袋里，假装成米，让一千多人像运送军粮一样，忙忙碌碌运上东台。又故意让几个人真的挑着大米，走在后面，佯装疲惫在路上休息，等敌军来抢米。桃豹的军队缺粮已久，见晋军运粮，以为有机可乘，突然冲过来抢粮，那几个人扔下粮袋仓皇逃跑。桃豹军士抢得粮米后，以为祖逖士兵都能吃饱，而自己长久饥饿，于是更加恐惧，士气低落。这时，石勒部将刘夜堂用一千头驴运粮食给桃豹，祖逖侦知消息，派部将韩潜、冯铁等部在汴水截击，尽获其粮食和脚力。桃豹闻讯，连夜退兵东燕城（今河南延津）。祖逖乘胜进军，派韩潜进屯封丘（今河南封丘），威逼桃豹，冯铁部进据二台，自己统兵镇守雍丘（今河南杞县）。并屡次派兵截击后赵军，后赵很多城镇纷纷叛赵归晋。
农历7月，石勒不甘心失败，派遣一万多精锐骑兵反扑，但又被严阵以待的北伐军所败。又经过一年多的反复争夺，祖逖取得北伐战争以来最重大的胜利。
祖逖在北伐中不仅善于分化瓦解敌军，而且善于团结可以团结的豪强武装集团和坞壁主，这是他能够以弱小兵力多次打败敌军的重要原因。侦察兵常俘获濮阳人，祖逖总是优待他们，送他们回去，这些人感谢祖逖的恩德，联络了乡里五百家来归附。当时河南境内有赵固、上官巳、李矩、郭默等割据集团，他们各据一方，经常以兵戎相见。祖逖多次派人从中调解，晓以大义，消除他们之间的矛盾，使他们都服从自己的统一指挥。
黄河以南，原有一些坞堡主，迫于石勒强大的势力，不得不臣服于石勒，送其子弟到襄国为人质。祖逖允许他们表面上仍归附石勒，任凭他们两边交往，并常派些小部队假装攻打他们，以表明他们并未归附晋朝，从而消解石勒的疑心，减轻坞堡的压力。各坞堡主感戴祖逖的恩德，经常帮助北伐军刺探情报，因而祖逖在战场上始终处于主动地位，屡战屡胜，威名远播。
六、图平河北
祖逖礼贤下士，善体恤民情。即使是关系疏远、地位低下之人，也施布恩信，予以礼遇。将士“其有微功，赏不逾日”。祖逖在统治区内劝督农桑，恢复农业生产；在军队中一直实行且战且耕，以耕养战，以减轻人民的负担。祖逖自身生活俭朴，自奉节俭，不畜私产，其子弟与战士一样参加耕耘、背柴负薪。他还收葬枯骨，加以祭奠。因此，北伐军得到河南地区人民群众的拥护和爱戴。
一次，祖逖摆下酒宴，招待当地的父老兄弟，一些老人流着眼泪说：“吾等老矣！更得父母，死将何恨”！乃在座上歌曰：
“幸哉遗黎免俘虏，三辰既朗遇慈父。玄酒忘劳甘瓠脯，何以咏恩歌且舞”。
由于祖逖策略得当，民众归心，所以不出几年，基本上收复了黄河以南地区。刘琨在写给亲戚的信中，大力称扬祖逖的威德，晋元帝也下诏擢升他为镇西将军。
在极端困难的条件下，祖逖领导下的北伐军正是依靠群众的支援，同占据绝对优势的敌人苦战四年多，终于收复黄河以南的大片土地；北伐军也由小到大，越战越强，成为一支使“石勒不敢窥兵河南”的劲旅。石勒慑于北伐军的威力，转而采取守势，他下令幽州官府修祖氏坟墓、成皋县修祖逖母亲坟墓。并写信给祖逖，请求互通使节、互市贸易。祖逖格于形势，没有回信，但听任双方互市，收利十倍，于是官方和私人都富足起来，兵马也日益强壮。
七、北伐遗恨
祖逖的目标是清定中原，他不敢稍有懈怠，抓紧练兵积谷，准备“推锋越河，扫清冀朔”。正当祖逖准备渡河北进，完成统一大业之时，晋元帝听说祖逖在河南深得民心，屡建战功，怕将来不利于自己的统治，便于晋太兴四年（公元321年）农历7月任命戴渊为都督兖豫雍冀并司六州军事、征西将军，出镇合肥，以牵制祖逖。祖逖认为，戴渊是南方吴人，虽然有名望，但并无远见卓识，加上自己目前已剪除荆棘，收复河南，而戴不费气力，即来统御，心中颇为不乐。这时，又传来王敦跋扈，朝廷内部矛盾日益尖锐的消息，眼看内乱将起，北伐还有什么希望！祖逖心力交瘁，忧愤成疾。于是，把家眷安排在汝南大木山下。当时中原的士大夫都认为祖逖应该进据武牢，没想到他却把家属安置到了险要之处，纷纷劝阻他，他不听。
祖逖心中虽然忧愤，但仍“图进取不辍”，抱病营缮虎牢城。虎牢城北临黄河，西接成皋，地理位置非常重要，他担心城南没有坚固的壁垒，易被敌人攻破，特意派堂侄祖济（汝南太守）、汝阳太守张敞、新祭内史周闳等率众筑垒。营垒尚未修成，祖逖病危，农历9月，祖逖病死在雍丘（今河南杞县），终年五十六岁。
祖逖死讯传出，豫州人民痛哭流涕，谯梁百姓还自发为祖逖修建祠堂，纪念这位热爱祖国、热爱人民、不畏强敌、百折不挠的爱国名将。朝庭追赠祖逖为车骑将军。
八、祖逖北伐
建兴元年（313年）四月，愍帝在长安即位，以司马睿为左丞相，让他率兵二十万直攻洛阳，六月复遣使催促。当时，司马睿致力于开拓江南地区，根本顾不上北伐。祖逖出身北方大族，本可以在司马睿偏安一隅的小朝廷里安享尊荣，步步高升。但他不愿苟且偷安，不贪恋安定舒适的生活。在南北门阀士族热衷于新*的权力再分配，进行新的兼并的时候，祖逖义正辞严地提出收复半壁河山，拯救中原汉家同胞于水火的强烈要求。祖逖向司马睿进言：“晋室之乱，非上无道而下怨叛也。由籓王争权，自相诛灭，遂使戎狄乘隙，毒流中原。今遗黎既被残酷，人有奋击之志。大王诚能发威命将，使若逖等为之统主，则郡国豪杰必因风向赴，沈弱之士欣于来苏，庶几国耻可雪，愿大王图之”。
祖逖的要求，代表了汉族人民的愿望，但无异于给司马睿出了一个难题。司马睿自移镇建邺，一心在拼凑江南小朝廷，他和拥戴他的门阀士族都无意北伐。但面对祖逖大义凛然的请求，他又不愿落下阻止北伐的恶名，于是，便消极对待此事。为了敷衍天下人耳目，司马睿乃任命祖逖为奋威将军、豫州刺史、前锋都督出师北伐，只拨给他1000人粮饷，3000匹布，不给铠甲兵器，而不给一兵一卒，让他自募士众，自制刀枪。
司马睿的冷漠态度并没有动摇祖逖北伐中原的决心，他率领跟随自己南下的流人队伍百余家，毅然从京口渡江北上。船到中流，祖逖眼望面前滚滚东去的江水，感慨万千。想到山河破碎和百姓涂炭的情景，想到困难的处境和壮志难伸的愤懑，豪气干云，热血涌动，于是敲着船楫朗声发誓：“祖逖不能清中原而复济者，有如大江”（《晋书·祖逖传》）！意思是若不能平定中原，收复失地，决不重回江东！祖逖“辞色壮烈”，部属为之慨叹。祖逖渡过长江后，暂驻淮阴，起炉冶铁，铸造兵器，同时又招募到二千多士兵。建兴四年（316年）十一月，晋愍帝被匈奴贼寇刘曜俘虏，长安失陷，西晋灭亡。司马睿被迫移檄四方，约期北征，祖逖欣然应命。当时北伐的形势十分严峻。祖逖面临的对手不仅是割据冀、豫一带，拥兵十多万祸乱天下的羯寇石勒，河南地区还盘踞着为数众多的汉族地主豪强武装，即所谓“坞主”。这些坞主修筑坞堡，自称刺史、太守，称霸一方，依违于晋、赵之间，情况非常复杂。他们可能成为北伐军的盟友，也可能成为北伐军的敌人。这种形势决定祖逖北伐的道路是一条充满了艰难险阻的道路。
建兴五年，祖逖进驻芦洲（在今安徽亳县），果然，北伐军首先遭到流人坞主张平、樊雅的阻遏。张平、樊雅是兖、豫一带的豪强，乘乱起兵，张自任豫州刺史，樊自任谯郡太守，各据一城，有众数千人。张平部下还有董瞻、于武、谢浮等十多支小部队，各有数百人。张、樊名义上臣属于司马睿，接受司马睿给予的四品将军头衔，实际上不受约束，自行其是。祖逖派遣参军殷乂去联络张、樊，殷乂出身世族，看不起张平，指着他的住房说这只配作马厩，又指张平的一口大镬说这可以铸铁器。并说张平不能保住头颅。张平大怒，杀死殷义，勒兵固守。张平“阻兵固守”，殷乂诚然不能辞其咎，但根本原因恐怕还是这位自封的豫州刺史不能容忍朝廷派来的豫州刺史。这类豪强，虽然他们原来也经常受到敌人的攻击，但当他们的既得利益稍许受到危害，他们则宁肯站到敌人的立场攻击自己的同盟者。祖逖率军进攻，仍不能下。于是祖逖便用离间计，从张平部下分化出谢浮，谢浮借与张平商讨军情之机，杀死张平，率众归降。
张平虽死，樊雅仍占据谯城，祖逖进据太丘（今永城县西北），因军中乏食，处境十分困难。樊雅派兵乘夜来袭，攻入营垒，拔戟大呼，直逼祖逖营帐，军中大乱。祖逖临危不乱，安排左右拒敌，督护董昭英勇杀敌，终于打退了樊雅的进攻。祖逖率部追讨，张平余部帮助樊雅迎击祖逖。为了尽快攻下谯城，祖逖向蓬坞堡主陈川、南中郎将王含求援。陈川派李头、王含派桓宣来援，王含也命参军桓宣领兵五百助战。祖逖一面发兵进攻，一面派对桓宣说：“卿先已说平、雅，信义大著于彼。今复为我说雅。雅若降者，方相擢用，不但免死而已”（《晋书·桓宣传》）。桓宣遂入谯城劝降。见到樊雅，桓宣说：“祖逖方欲平荡二寇，每何卿为援。前殷乂轻薄，非豫州意。今若