觉得不顺心，因为在老蒋面前，他永远像一只老鼠似的提心吊胆过日子，老蒋的那双眼睛，像鹰一般犀利，直盯得他心里发怵。“西安事变”，他心怀“大志”，力主出兵讨伐张、杨，但被宋美龄等识破诡计严加制止。从那以后，他总觉得蒋介石的那两只眼睛无时不盯在他的身上，似乎不在他脑后找出两块魏延似的“反骨”来永不罢休。陈诚青云直上，慢慢取代了他的地位。抗战胜利后，蒋介石干脆把他推到联合国去当有名无实的军事代表团团长。
回国后，蒋介石虽然委任他为国防部长，但却没给什么兵权，徐蚌两地区100多万国军交由白崇禧指挥。但谁知白崇禧不领情，拒绝指挥，结果徐蚌会战一败涂地，紧接着白崇禧又心怀叵测，举起倡和之旗，此时，何应钦才看出桂系野心之大，令人震惊，他们要逼蒋下野，取而代之。何深怕受到牵连，便以徐蚌战败引咎辞职，躲到上海，以观时局。不久，桂系名义取得胜利，蒋介石下野，李宗仁当上了代总统，他怕老蒋怀疑他与李、白勾结，便跑到蒋的心腹汤恩伯的别墅里隐居起来，每日只带一名副官，到山上游玩打猎，以示淡泊。听说孙科辞了行政院长，他立即回到了上海，估计李宗仁必然会来找他出面组阁。从内心来讲，他对行政院长一职仰慕已久，老蒋硬是不让他如愿。现在李宗仁当了代总统，对他来说是个天赐良机，但老蒋会让他再和李、白搞在一起吗？老蒋是绝不会忘记民国十七年那快伤疤的。想到这里，何的心里像猫爪挠心，很不69是滋味。
李宗仁来上海后，何应钦还是不敢应允。李宗仁明知道是因为害怕蒋介石不同意，但只有气愤，而无可奈何。此时，李宗仁深感他这个代总统的无能为力，脸上火辣辣像被谁打了耳光似的。但是，为了他的政府的生存，他不得不放下代总统的架子，低声下气地直接给蒋介石打电话，央求让何应钦出来当行政院长。
3月12日，何应钦正式就任行政院院长。
李宗仁既然费了九牛二虎之力当上了个代总统，他就想给世人有个好印象，也想显示一下这个“新”总统与蒋介石的不同风范。1月14日，他命令行政院采取下列措施：（一）把各地“剿总”改为军政长官公署；（二）取消全国戒严令（接近前线者，俟双方下令停止军事行动后再取消）；（三）
裁撤戡乱建国总队；（四）释放政治犯；（五）启封一切在勘乱期间因抵触戡乱法令而被封闭的报馆杂志；（六）撤销特种刑事法庭，废止刑事条例：（七）通令停止特务活动，对人民非依法不得逮捕。
这些法令，行政院表面上都接受了，但不同意取消戒严令。行政院的发言人说：“开释政治犯与戒严法系属二事，触犯戒严令不能称为政治犯。戒严法所规定之事项，无一为政治犯性质。在戒严地区当局，为维持治安与秩序起见，自仍应按照戒严法办理。”这很显然，只要将政治性事件引用戒严法来处理，把政治犯换上触犯戒严法的罪名，同样可以为所欲为。汤恩伯就是这样办理的，他在2月11日发表谈话时称：（一）南京、上海等地区接近前线，在全面和平未实现前，仍继续执行戒严令。（二）本人业已手令京沪各地，以后不准有罢工、怠工聚众威胁情势。为安定各地秩序，如果有暴动事情发生，为首暴徒，由地方军法机关处理，就地枪决。（三）希望南京、上海新闻界根据正确事实报道。以安定民心。如果破坏政府全面和平主张，破坏军事区安全，扰乱社会秩序者，将予以严处。（四）奉令停刊之报纸杂志，在未正式接到复刊许可时，不得复刊。汤恩伯这番做法，把代总统歙允，一笔勾销。
李宗仁上台后，下令参谋总长顾祝同，释放张学良、杨虎城，也被顾祝同、陈诚等人给硬硬实实地顶着不办。
李宗仁以上这些措施，对于他来说都不是最重要的，或者说是做个样子给国人看的，或者说是为了打击一下退避幕后而实际操纵的蒋介石。
李宗仁争个代总统当，一不是为了国人，二不是为了和平。其根本目的，是准备和共产党讨价还价，不让共产党的军队打过长江，划江而治，弄个李氏家族的半壁江山。
当然，李宗仁毕竟不是庸碌之辈，他看得清楚，局势错综复杂，危在旦夕，当前最紧迫的，莫过于阻止解放军的进攻。如果解放军一过江，一切将无从谈起。他现在已经到了在谈判的条件上没有讨价还价的地步了。
1月27日，李宗仁致电毛泽东，称“弭战谋和，已成为今日全国一致之呼声。故自弟主政之日起，即决心以最高之诚意，尽最大之努力，务期促成和平之实现。”“务望先生号召贵党同志，共同迅速促成和谈，即日派遣代表商定地点，开始谈判。。。贵方所提八项条件，政府方面已承认可以作为基础，进行和谈，各项问题，自可在谈判中商讨决定。”虽是屈膝言和之电，但此时李宗仁却有胜者的感觉。李宗仁以国民党和国民政府的最高首脑的名义，和中共的最高领导人毛泽东直接对话，这本身就抬高了李宗仁在党内、国内以及历史上的地位。因为这是蒋介石所做不到的，这是李宗仁经过几十年的斗争占了蒋介百上风的一个结果。人的感情如此之复杂，有时候屈辱和自豪两种截然不同的情愫却能同时由一件事情维系在一起，实在让71人不可思议！
3月26日，中共正式发表周恩来、林伯渠、林彪、叶剑英、李维汉、聂荣臻为和谈代表，周恩来为首席代表，以元月14日《中共中央毛泽东主席关于时局的声明》所列八条和平条件为基础，自4月1日起在北平与南京政府举行和谈，并通过广播电台通知南京政府，依照上述时间、地点，派遣代表团携带为八项条件准备的必要材料，前往北平。
紧接着，南京国民党政府亦宣布，张治中、黄绍竑、章士钊、刘斐、李蒸为政府和谈代表，张治中为首席代表，将于4月1日由南京乘坐“空中行宫”号专机，飞往北平。
在中国现代史上，张治中是一个非常特殊的人物，郭沫若曾对他有过一针见血的评价：“这个人对那独夫异常忠诚，但是对中共的友谊还是比较持久，比较有信义！这个人爱国，却又实际参加了独夫卖国的一些勾当。这个人，是个大官僚，却也常常讲点民主。”奇特的中国政治和文化，造就了奇特的历史人物。由于他这种特殊性，在国民党战败求和之际这个特殊的历史时期，自然会产生一些特殊的作用，与共产党和谈周旋的责任，实在是非他莫属。因为，他在共产党面前有面子，他可以为国民党力争到最有利的条件而能为共产党最大限度地容忍；因为他对蒋介石一贯忠诚，国民党内反对和谈的势力必有所顾及。
本来，李宗仁一上台时，就想改组内阁，用所谓“刷新内政、促成和谈”的招牌收揽人心。他曾想让张治中任行政院长。张治中不愿接受，回兰州去，仍作他的西北军政长官公署长官。张回兰州前，李宗仁对他说：“你不做行政院长可以，但是，你一贯主张和谈，我现在和谈，你回去之后，要快快地回来。”张治中心里明白蒋介石仍在幕后操纵，李宗仁空有虚名，而且虽然蒋、李各怀鬼胎，但都是以和谈为幌子，以备战为自保的目的去进行和谈的，这样的和谈是很少成功的。所以张治中一回到西北，便决心不再离开，并给南京发电辞去和谈代表。怎奈李宗仁左一个电报右一个电报催他回京，担起和谈重任。许多朋友也大义相劝，说不管和谈成与不成，既然你一贯主和，现在双方都愿意和谈，你是不能规避责任的。张治中见大家盛情难却，乃于2月20日乘李宗仁的座机从兰州飞返南京。
张治中返京的那天，何应钦，白崇禧等南京军政要人都去机场迎接。
那一天，南京的天气异常恶劣，云层极低，又有蒙蒙细雨，能见度只有200米。其情其景，倒似南京的政治气候。飞机盘旋了很久才得以降落。张治中一下飞机便一语双关的说：“南京的气候如此恶劣，每走一步，都会冒很大风险。”张治中一住下来，李宗仁左右的人就向张大发牢骚，都说蒋介石表面是“引退”了，事实上则在溪口指挥一切，处处掣时，李宗仁的一切想法根本行不通。张治中觉得，南京的情形表明，看来彻底解决问题的办法，只有劝蒋出国。但此事非同小可。蒋介石这次下野可不象前两次下野那么潇洒，不但几百万精兵被共军打得丢盔卸甲，而且又是让桂系逼迫下台的，一句话说不好，必招致蒋龙颜大怒，自己与蒋20年的关系就成泡影。
张治中是个秉性耿直敢说敢作的人，他发自内心地认为，蒋介石此时出国，有利于国内问题的解决，实际对蒋也无害处。张乃下决心要去冒下这个风险，以斗胆去劝蒋介石出国。
他又把这个意见告诉了蒋介石的两个亲信张群和吴忠信，征求他们的意见。张群和吴忠信此时也认为，这时候蒋出国实为上策，于党国和他本人都有利，支持张治中的想法。
蒋介石是李宗仁的眼中钉，如蒋能远走高飞，当然是求之不得73的事情，所以，李极力支持张治中早日成行。刚好那时候吴忠信也要去溪口看蒋，张便与吴一同前往。
张此次在蒋介石居住处共逗留了八天，前五天住在雪窦寺妙高台，后三天和蒋一起转住溪口。张治中和蒋介石此次谈话范围很广，主要有：一、关于劝蒋出国问题。本来，这是张治中见蒋的一个主要原因，但被蒋先发制人骂了个狗血喷头。
张治中和吴忠信在3月3日见到蒋介石的当天，双方略事寒暄之后，还没等张治中说明来意，蒋介石就脸色一沉愤怒地说：“我知道了，你们是来劝我出国的，报纸上已经登出来了！他们迫我下野是可以的，要迫我亡命就不可以！下野后我是个普通国民，哪里都可以自由居住，何况是我的家乡！”
此后，张治中连再提一提让蒋出国的勇气都没有了。
不过，当时张治中很感纳闷，这劝蒋出国之事，只有李宗仁、张群、吴忠信极少数几个人知道，是极端秘密的，怎么一下子竟捅到了报纸上呢？
原来，这事是“小诸葛”白崇禧干的。他指示李宗仁的政治顾问甘介侯向报界透露了这一消息。白的用意，是想利用舆论的压力，配合张治中的游说，迫使蒋介石出洋。张治中离京当日，南京各大报纸上纷纷登出“据可靠消息，国民党中劝蒋下野的几个重要人物现正前往溪口，劝蒋出洋”云云，搞得南京沸沸扬扬。
但“小诸葛”这次并不聪明，岂不知蒋介石向来我行我素，别人怎么说怎么看的影响对他的作用几乎等于零，反而给蒋一个发泄的口实。
二、关于和谈限度及代表人选问题。张、吴请蒋表示意见。蒋则反问他们的意见。张治中说：“南京方面的意见：中共所提八项的第一项，是不能接受的。关于军队改编一项，认为应先决定全国军队数额。然后研究双方军队所保持的比例，各自编成，并且在三年内分期逐步进行，把全国的军队缩减到适应国防上需要的最低限陵数额，并且确实完成军队国家化的目标。在政治上，希望能够确保长江以南若干省份的完整，由国民党领导。必要时，国民党可让步到湖北、江西、安徽、江苏四省和汉口、南京、上海三市联合管理。联合政府问题，过去中共曾搞过“三三制”，可以考虑，最近还有人提出了“六六制”的建议，但不外乎是使双方在未来的政府里，保持平等的发言地位。双方管辖及共同管理的地区，将来也要分期实现政治民主化，使国家真正趋于统一。至于其它各项，都可以考虑。”蒋听了之后，表示首肯。不过认为湖北、江西、安徽、江苏、汉口、南京、上海七省市共管一事，不必由南京主动提出，他说中共方面，恐怕还不是这样看法。
至于和谈代表团成员问题，报上有增请张群、吴忠信两人参加的传闻。
吴忠信在蒋面前，表示坚决不干。
蒋说：“不干也好。”张治中也表示不愿参加。
蒋说：“这是值得考虑的。”但转而又说：“你恐怕是摆脱不了的。”CC系的彭昭贤和“太子系”的钟天心，原在南京和谈代表的名单之列。
但中共广播，说决不会接受像彭昭贤这样的代表。对此，蒋介石又说：“在东北籍的立、监委中遴选最好。”三、关于党务问题。他们也谈得很多。蒋介石对张治中及吴忠信承认，国民党党务确实不振，以后当邀集有关同志，对如健全国民党组织，要作详细的研究。
四、关于外交政策问题。因国民党内有人认为：必须做到平时美苏并重，战时善意中立，并设法要打开中苏僵局，