交结进步学员，发展他们加入共产党，他的秘密任务是主持共产党一个地下组织的日常工作。这个组织不断发展壮大，至少有几十名军校学生入了党，邓的工作之一想必是把他们分派到冯玉祥的各基层部队中去，经他输送出去的军官中，一些人1928年在西安附近的农村领导了起义，其余一些人则成了红军小股部队的领导人。这些红军部队建立的根据地后来接纳了1935年和1936年长征结束后的红军主力部队。
邓小平在西安的时候，国民革命运动随着孙中山的去世，内部矛盾日益加剧，终于分裂成两派。最主要的一个原因是军队中大多数军官都来自地主家庭，因此坚定地反对农村的社会革命。第二个原因是蒋介石和相当一大批国民党政治家反对抵制外国势力的活动，认为这些活动会妨碍国际社会及早承认新生的国民政府。如果还有其他原因的话，那就是他们像斯大林和托洛斯基在l926年初那样，想极力避免冒犯各国列强，尤其害怕冒犯日本。
分裂是蒋介石蓄意挑起的。1927年3月，蒋开始采取分裂行动，整个春天和夏天，他在其所控制的省份（他的军队已经占领了除湖北、湖南和江西部分地区以外的所有长江以南的省份）展开了一连串残酷无情的清洗运动，所有正式或非正式的共产党组织和左翼国民党组织都受到袭击。3月，在赣南的重镇赣州，一名军事指挥官拘捕了共产党的工会领袖并将他处死，从而揭开了蒋介石分裂活动的序幕。4月份，他开始在上海公开地、有组织地进行分裂活动。国民党军队和地方上的黑帮匪徒，有的伪装成工人，肆意破坏市总工会在港口和产业工人心目中的威信。在巷战和大搜捕中，数以百计的人被打死。有传闻说，铁路工人波活活地推进燃烧着的火车锅炉中。这也许并不真实。但毫无疑问的是有很多被捕的工会组织者和普通工人被公开处死，而且一旦群众聚集在一起示威抗议，军队就向手无寸铁的人群开枪。很多共产党员牺牲了，其中就有工会的头头王寿华（他是在一个青帮头目家哈完饭出来时被捕的）、邓小平的马克思主义导师赵世炎。当时上海共产党的最高领导人周恩来幸免于难。他虽然被捕了，但他运气好，在被送到军部时被一名热心的军官释放了。
大屠杀在南京、广州以及长江三角洲其它一些小工业城镇蔓延开来，而在国民党左翼或工农武装控制的地风，也随即举行了抗议活动，在武汉，十几个反共工头被掉。在政治上，国民党左派把蒋介石开除出党。蒋介石更在南京另立政府。4月底，左右两派最终正式分裂。
国民党的分裂使共产党人面临抉择：是与国民党分道扬镳；还是继续与左翼国民党合作以争取和控制他们。共产党的一些领导人，包括毛泽东在内，认为，湖南（毛的家乡）的数百万农民已准备就绪，可以举行革命暴动，因而主张采取激烈的行动。但另一些人，如总书记陈独秀，则倾向于妥协，尽管他们对长远的国共关系也持悲观的看法。而当时的斯大林正在批判托洛斯基，由于托洛斯基的思想与毛泽东的不无一致，斯大林便指示左派统（托洛斯基的观点与毛洋东的思想并不一致。——译注）一战线维持现状。鲍罗廷当时认为国民党人即使冒与共产国际闹僵的危险也会抵制农村的社会革命。在5月下旬召开的一次共产国际常委会上，斯大林虽然引用了鲍罗廷的观点，但仍然坚持共产党应该与国民党“周旋”而不应该与之分裂。会议最后决定共产党继续与左翼国民党直接合作①。这些指示随后下达给了鲍罗廷和陈独秀。
从那以后，共产党的处境越来越糟了。6月，新到任的共产国际代表罗易给当时最有影响的左翼国民党领袖汪精卫看了斯大林本人发来的电报，电报指示陈独秀和他的同事发动武装的农民夺取土地，并采取行动阻止反革命军官的“过激行为”。这一举动激怒了支持共产党的关键人物。同月，冯玉祥在北方的一次会议上对汪精卫美言了几句，然后宣布要与蒋介石合作，并告诉一群记者说，他要“根除”共产主义和军国主义。几位本来忠于国民党左翼的拥有实权的将军也开始公开要求把共产党员清除出国民党。
7月，共产国际指示中共从武汉政府中撤出，但仍作为国民党员留在国民党内，“从基层”设法影响它的领导层和政策。但已为时太晚。国民党中央执行委员会已经开始考虑正式结束国共合作，政治委员会则正式作出关于“分共”的决定，命令两党的党员互从对方组织中退出。几天之后，武汉颁布了戒严令，国民党军队开始搜捕共产党员。
陈独秀在整个夏天一直处于困惑之中。一方面来自共产国际的指令根本不切实际，另一方面他本人也很不情愿实行社会革命（毛泽东后来说他是因为害怕）。这时，他辞去了共产党总书记的职务，但仍在武汉逗留了一段时间。其他一些共产党的高层领导人或出走江西，因为那里的军事领导人同情共产党，或躲进汉口的外国租界。
为了躲避冯玉祥将要发动的清共运动，邓小平于6月份离开西安来到武汉，他先到长江南岸的武昌，向周恩来领导的共产党军事委员会报到。但很快他又受命到北岸的汉口陈独秀主持的党中央担任中央委员会的秘书，这是他第一次在党中央工作。
出于工作之便，邓得以有机会看到了中国国民党和苏联合作的寿终正寝。鲍罗廷带着失职的沮丧于7月7日离开了汉口。他和他的俄国同事们乘坐的火车装满了行李，另外火车上还载有卡车和载重旅行车，这是准备穿越戈壁沙漠时用的。就斯大林的个性来讲，鲍罗廷在中国的失败本应受到谴责和惩罚。然而他当时并未受到排挤，只是被凋任到次要的职位上，并平安地度过了30年代。最后给他带来灾难的不是中国的使命，而是反犹太运动。1949年他和许多犹太血统的党员一起被捕。1951年死在一所监狱里，享年近七十岁。
大约就是在这一时期，邓改用邓小平这一名字，这一定是出于安全的考虑。一旦被捕，他可以在审讯时使用化名，不至于被查出真实身分。有很多著名的共产党人都曾在不同阶段使用不同的化名。对王明、博古等回国留学生来说，采用化名则是因为布尔什维克有使用假名的习惯，而其他许多人，像周恩来，他们使用化名都是出于地下工作者的安全考虑。而邓小平在选择化名时与众不同，这个名字并不十分隐蔽，保留了原姓，而且在以后不再必要时，仍一直继续使用。
8月7日，中央委员会在汉口召开紧急会议。会议选举了新的临时政治局，并通过四个文件，但未选出新的总书记。共产国际代表贝索·罗米那兹在其中的一份文件中谴责了前任党的领导的“机会主义”；其它三份文件号召全党推翻在南京和武汉的国民政府，组织武装起义，建立地方和省的苏维埃政府。但出于策略上的考虑，起义仍将打着国民党左派的旗帜。邓小平以党中央秘书的身份参加了会议，从而亲身经历了共产党从惨败转向全新战略的过程。
共产党人是在完全没有把握的情况下开始实行新的战略的。整个夏天，斯大林和共产国际都在强迫共产尝维持与国民党左派合作，现在他们又要求共产党加快取得革命胜利，而这恰恰是共产党所不可能达到的。在城市，共产党的工会领导人不是牺牲就是转入地下。在农村，农民的武装斗争在许多积极分子遭屠杀后转入低潮。在军队里，共产党人及其同情者倒是拥有一些军团，并且在其他武装力量的政治部门有很强的势力，但他们都是以国民党军官的身份执行任务的。另外，陈独秀下台后，一些毫无军事经验的人掌握了领导权。政治局的代理书记翟秋白是作家，而其他十名委员中无一名军人（作为中央候补委员的毛泽东，倒是穿过军装，那是1912年在一个湖南军阀的军队当兵，但从没有当过军官）。
在八七会议召开之前，已经举行过一次起义。这次起义是江西首府南昌附近驻扎的两个兵团发动的。起义者占领了南昌，并建立起第一支由共产党直接领导的拥有一万五干人的军队。但胜利并没有维持多久。这支新建的队伍在向广州以东海岸的长征途中，士兵不断逃跑，还有一名师长率部叛变，致使兵力锐减，最终被国民党军队打散，弄到无法整编的地步。起义部队的大部分领导人逃往香港或上海。领导整个起义的周恩来，抵达香港时身患重病，在九龙住了很长一段时间医院。后来的红军总司令末德，留下来继续带领他的部队，最后率领着仅存的六百人于1928年4月与毛泽东在井冈山根据地汇合。
随后的秋收起义也失败了，在湖北，拼凑起来的农民军队很快就被原以为是盟友的国民自卫队解除了武装。毛泽东是湖南农民起义的组织者，他率领着由起义士兵、矿工、农民和士匪组成的四个“团”。他接到的命令是攻占长沙，经过了一番苦战，他手下的两个团之间还发生了内讧。毛泽东认为自己手下的这支军队根本无法完成任务。于是，毛泽东在远离长沙的一个小镇集合起剩余的兵力，劝说其中的大部分人跟他上了井冈山。井冈山位于湖南、江西两省交界处，地理位置偏僻，地势险峻，自古以来土匪出没。当时有两伙土匪占领着井冈山，毛泽东说服了他们的首领与他结成同盟并驻扎下来，在这个中国南方最易守难攻的峭壁密林深处，度过了一个极其艰苦但相对安全的冬天。
当年的第三次起义12月份在广州爆发，也以惨败告终。起义者计划利用共产党领导的当地军队和武装工人占领城市，建立苏维埃市政府（公社），开辟一个长久的红色区域。但经过几天激战，结果共产党组织被彻底摧毁。几位全国著名的领导人牺牲，数以千计的工人遭屠戮，其中许多人手无寸铁。斯大林认为，广州起义还有另一笔损失：国民党军队在街上打死了几名俄国人并袭击了苏朕领事馆。斯大林竭力将派往中国的共产国际顾问和苏联外交官区别开来，但广州惨案表明国民党的军官并没有对他们加以区别。自此，苏联与中国国民党之间的合作，在这个孙中山和鲍罗廷曾为之牵线搭桥的城市，划上了一个蘸满鲜血的句号。
那年秋天，瞿秋白决定将共产党中央迁回上海。仍然担任党中央秘书的邓小平于9月底或10月初到了上海。和他一起去的是李维汉。李与邓早在法国时就已相识，当时李刚被提开到政治局工作。现在，邓小平转了一圈之后，又回到了阔别七年的上海。
邓小平到上海不久就被任命为中央秘书长，负责处里中央机关的文书、机要、交通、财务等工作②。在平常时期，这类工作原本就很繁琐，在当时的工作环境下就更繁重了。共产党在当时是非法组织，其党员随时都有被捕的危险。国民党的军队和警察逮捕到嫌疑犯后，会使用一切手段逼供，一个人若是叛变了，会牵连到许多人。在共产党人要积极重建党的影响的产业界，很多劳工组织都属于青帮或其他反共黑社会组织，到处都有密探。公共租界的巡捕、法国租界的警察和国民党的警察一样仇视共产主义和共产党人。他们经常主动搜捕共产党人，然后再把抓到的嫌疑犯引渡给国民党警察。
共产党的中央机关及其下属部门在上海分布很广。中央委员会的大多数部门集中在上海市中心；江苏省委机关设在闸北和虹口的工业区内；青年团的部分单位则设在法租界。周恩来当时负责中央机关的安全工作，他规定，政治局开会时，政治局委员不必全到，要有一至二人留外，以防警察局一旦突袭时不致于全体被捕。政治局会议常常在公共场所比如医院内的安全地点召开。据周恩来的传记记载，邓小平经常前往市中心威海卫路的一家医院开会。1929年8月，大约就是在邓小平离开上每去西南的同一时间，两名政治局委员被出卖后遭到逮捕和杀害。总的来讲，在邓小平做地下工作的两年之中，中共中央在上海的安全工作一直做得很出色。
在1928年或1929年年初的某一时间，邓小平结婚了。他的妻子张锡瑗是一名共产党员，曾经在江西、福建交界的山区某个小根据地任过职。邓小平是什么时候、怎么为她相识的不得而知，很有可能是在她奉命到上海送信时两人相遇的。
不管邓小平和张锡瑗是在什么情形之下结婚的，他们的婚姻只持续了很短的一段时间便悲剧性地结束了。张锡援死于难产。关于她去世的时间有不同的说法，但有一点是一致的，即当时邓小平不在上海。有关他在1928�