因此杜月笙便亲自奉劝叙五兄，设非必要，何苦冒险自陷共区，他一再恳切挽留胡叙五，却是胡叙五辞意颇坚，无可奈何，又叫跟胡叙五谈得来的长子维藩，和万墨林两人从旁劝阻。
万墨林劝驾不曾发生作用，便由杜维藩接手，他约胡叙五到外面吃咖啡。
杜维藩直淌直的和胡叙五谈判，他问胡叙五：
「叙五兄，你说老板从前待你好哦？」
「很好。」
「那么，你是否嫌气老板现在待你不如从前了？」
「我没有这个意思。」
「叙五兄，」旣然是多年交往的自家人，杜维藩便坦坦白白的说：「老板从前待你好，是因为从前的路子粗，进账多，日脚好过。现在跟从前大不相同了，现在老板在香港，一点进账都没有，就靠带出来的那点钱，天长日久，坐吃山空，老板自家的日脚不好过，跟他的人当然要比从前差一点，好在有粥吃粥，有饭吃饭，大家同甘苦共患难。所以我说你最好不要在这个时候离开，免得人家批评你不够义气。」
胡叙五并不否认杜维藩所讲的话有道理，但是他去意已决，无法挽回。劝阻无効，胡叙五还是辞去了一斡十二三年的杜月笙秘书一职，他悄悄的回了上海
机要秘书出缺，使杜月笙大伤脑筋，幸亏早年卽曾在杜公馆任过秘书的邱访陌，当时也在香港，杜月笙便去请了邱访陌来，接替胡叙五的遗职。邱访陌是福建人，中过举，前清时代还当过一任知县。他还是杜月笙的老把弟，早年智襄团的首脑陈群陈老八介绍来的，学识渊博，文采斐然，在杜月笙一生所用过的专职秘书之中，就推邱访陌的文笔最好，有邱访陌来接胡叙五，不但驾轻就熟，而且更为得力。
想不到的是过了不曾多久，胡叙五又自上海悄然南来，仍旧回到杜公馆。杜月笙一辈子都尊敬文人，卽令他雇用的秘书，不论相从年份有多久，也是执体甚恭，客气得很，譬如他对年纪小他许多的胡叙五，十余年来便一直以「叙五兄」相称，一直待之如上宾。唯独这一次胡叙五不听他几度苦劝，到上海去打了一个转，再回来时，杜月笙的神情反应，便就开始冷漠、淡然，面孔也有点不大好看。这倒并不一定全然为了「好马吃了回头草」的关系，而是胡叙五以杜月笙机要秘书的身份，在那种共党统战，争取杜月笙还沪，满城风雨，四方瞩目的时候，全无必要的走了一趟上海，实已为杜月笙带来莫大的困扰，连他的知己朋友，在事隔若干年后，仍还以为胡叙五当年上海行，确与杜月笙与共产党「搭线」有所关连呢。
杜月笙对胡叙五渐形疏远，胡叙五便在杜公馆投闲置散，一日，他忽走访杜维藩，邀杜维藩一道做生意。
提起做生意，杜维藩倒是很有兴趣，当时他在建华街自立门户，一家六囗，开销不而收入缺缺，青黄不接时，积蓄用光，还得变卖手饰。
杜月笙每次谈到他几个儿子的生活问题，常常鼓励杜维藩他们兄弟三个说：
「你们应该去跟张云葆学学，就在香港做做生意，赚点铜钿。否则的话，在香港天长日久的蹲下去，那能个维持法？」
张云葆是杜月笙的小朋友，在上海和到香港后，都做进出口贸易，尤其香港时期，他长袖善舞，获利倍蓰，沪上旅港商界中人，就数他春风得意，能够大赚钞票。杜月笙叫他的儿子跟张云葆学，其实各人环境不同，运道殊异，发财的事不是投门拜师所可以学得来的，他无非希望他的儿子，能与张云葆看齐而已。因此，当杜维藩听胡叙五说有生意可做，他不觉心中一喜，顿卽便问：
「叙五兄，你说要做什么生意？」
但当胡叙五透露他心中的如意算盘，杜维藩不但兴趣全部消失，而且，他不惜兜头泼胡叙五一盆冷水，正色的告诫他道：
「叙五兄，现在时代不同了，这种生意，不要说做，连碰都碰不得。从前老板做这个。人人认为将本求利，理所当然。但是此刻除了共产党，到处都把这个悬为厉禁，谁做谁就犯法，万一出个差池，准定会搅得身败名裂！」
胡叙五一听话不投机，颇不开心，悻悻然的去了。后来杜维藩听说，他跟别人合伙做了一票，结果却被人家骗了一笔钱去
王新衡首次返台行
三十九年五月，王新衡奉召返台，行前，他去向杜月笙辞行，问杜月笙有什么事情交代？杜月笙则郑重其事的答道：
「我已经写好了一封信，请你转呈。」
他把那封上最高当局书取出，请王新衡先看一遍。杜月笙在信中备述他听说最高当局身体健康，精神奕奕，心中非常之高兴，他并且力陈自己决以「民国十六年时之反共及効忠领袖态度」，继续努力，以求贯澈，他又说共产党虽已占据上海，但是他自己仍在上海留有若干关系，尤且随时可以派人潜往工作。杜月笙十分热烈恳切的自动请缨，他说，不论最高当局有任何任务交办，他一定竭尽力量，设法达成。
王新衡赴台未几，旋又返港，他带来一份最高当局发给杜月笙的密电码本同时告诉杜月笙，他晋谒最高当局的经过。最高当局起先有意留王新衡在台湾工作，但在看过杜明笙的信，并且听了王新衡的补充说明后，遂又决定派遣王新衡常驻香港，担当香港方面的重任。
得到如此圆满的复示，杜月笙矍然而起，抖擞精神，他实有无限的感奋。
杜月笙决心离开上海，赴港避乱之前，曾经扶疾往访黄老板，力劝他的金荣哥预早为计，也跟他一样，作避难香江的打算。
当时，黄老板推心置腹，向杜月笙吐露自己不得而已的苦衷，黄金荣说：
「月笙，我老了，这些年来，我跟你的境遇不同，我是能不出门便不出门，能不动顶好不动。你算算，我今年已经八十岁，俗话说得好『人生七十古来稀』，我活到了八十一，就已经多活了十一年，今日死或者明日死，对我并无多大的关系。」
黄金荣接下去娓娓细诉的说，自从他六十岁那年正式宣告不问世事，安享余年，他生活的目标，就祇剩下每天抽几筒大烟，上一趟混堂淴一个浴凑几位牌搭子碰几副铜旗。除此三者以外，无复他求，也非有此三项享受而不欢。因此他堆满一脸苦笑诉与杜月笙：
「月笙，你替我想想，假使我去了香港，头一桩，羞馆里发现我抽大烟要捉。第二桩，你叫我到那里去找碰铜旗的搭子？第三桩，香港有没有混堂，能否容我这八十多岁的人每天去淴趟浴，也是问题。何况，树高十丈，叶落归根，我已风烛残年，能有几年好活？共产党来了，哪怕他们是狼心狗肺，三头六臂，充其量，叫我死吧，好歹我也死在家乡。」
杜月笙听他金荣哥说得如此剀切透澈，心知其意已决，也就不再劝了，却是辞出来时，意味得出这便是最后的诀别，他忍不住洒了两行热泪。
到香港坚尼地台十八号定居，第一次听到金荣哥的消息，为上海来人说得绘声绘影，言之凿凿。上海沦陷前夕，黄金荣唯恐炮火殃及，自曹河泾黄家花园迁居钧培里老宅，逐日淴浴、碰铜旗、吞云吐雾如故。共产党进了上海，起先倒还安然无事，但是数月以后，忽有一日，足有一百多人气势汹汹的直扑钧培里，围在黄金荣公馆的大门口，大呼小叫，齐同咆哮，扬言要把黄老板家中打得稀烂这时候，八十一岁的黄板匕鬯不惊，从容镇定，他精神矍铄，大踏步抢出门外，面对着那一百多攮臂掳袖，疯狂暴跳的强徒，黄老板拉开嗓门便是声声怒吼：
「我就是黄金荣，你们各位今朝来，阿是要把我黄金荣的家里打烂！」
多一半人被这白发皤皤老者的虎虎生气震慑，也有人杂在人丛中喊：
「是的！今天一定要打烂黄家！」
「好！」斩钉截铁的一答：「要打烂，我会得自家来！现在我把大门关上，我自家来打给你们看，等歇你们进来查，有一件物事勿曾打烂，你们尽管把我的房子拆了！」
言讫，便命手底下人关大门，童颜鹤发的黄金荣，掳起衣袖，抄根门闩，就此要自己打烂自己的家。这时侯，偏生又有不知从何而来的「调解者」，隔扇大门之外，作好作歹，高声排解，在说什么：
「好啦，好啦，黄金荣已经知错，看在他一大把年纪的份上，饶他一次」从八岁写到八十岁
紧接着，便又有人来拍门，黄金荣气喘咻咻的，亲自把门打开，外面有几个毛头小伙子，张牙舞爪，指手画脚，好生教训了黄金荣一顿。一场毁家的纠纷，方告有惊无险，化弭于无形，百把个穷凶极恶的人，逐渐散去。黄金荣八十多年来从不曾受过这大的侮辱，回到客厅，气呼呼的一坐，足有半晌说不出话，他老泪纵横，徒呼负负，那几个毛头小伙子教训了他些什么，也是一个字都不曾听见。
隔不了几天，又有共产党的干部上门来，他们满脸奸笑，却是态度强硬，逼牢黄老板，叫他「向人民大众坦白」，黄老板双手一摊的问：
「叫我坦白啥末事？」
「你这一生的事，」共产党干部字字着力的说：「从你八岁起，到八十岁为止，请你详详细细写份自白书。」
黄金荣有意反抗，但是家中各人苦苦劝他忍耐，「人为刀俎，我为鱼肉」，反抗是没有用处的。迫于无奈，请位朋友写了厚厚一迭的自白书呈上去，从此以后便坐立不安，提心吊胆的等候判决。其结果，是共产党派人来抄家，妙的是，毛病还并不出在黄金荣的自白书上。
黄金荣的二儿子黄源焘，十足的少爷、小开，抗战胜利后，上海治安欠佳，铤而走险的歹徒甚多，上海好白相的大少爷，普遍存在一种风气，那便是别一支手枪防身，并且跟治安、情报工作人员攀攀交情拉拉关系，图一个安全保障，黄源焘不会开手枪，可是也并不例外。他有一支自备手枪，又跟一位姓戚的谍报人员很要好，上海撤退，姓戚的有一大捆步枪存放在黄源焘住处，这件事黄金荣确实并不知情。
倘若是在黄老板当权得势的那些年，钧培里黄公馆，长短枪支经常也有个五七十杆，这一大捆步枪，实在无啥稀奇，不过共产党来了，情形大不相同。因此，当共党干部破门而入，从黄源焘的那一支手枪抄到了一大捆步枪时连经过多少惊风骇浪大场面的黄老板，居然也给吓得目瞪口呆，面如死灰。
当时，共产党仅祇把枪支没收，黄源焘则被带了去问话，共产党对他倒也并不为难，招出来枪支来源就此作罢。然而，正当祖、叔、孙三代，黄金荣、黄源焘和黄启予之弟黄启明衷心庆幸，逃过一场大祸。又数日，共产党来了一份通知，黄金荣的自白书看过了，「上级」认为他「有罪」，所给他的处罚是，每天早晨到黄老板自家开的「大世界游乐场」门口扫街。
「处在矮檐下，不得不低头」，老迈龙钟的黄金荣，八十一岁的白发老翁，由共产党干部押解，开始在大马路大世界门口手执长帚扫街了。消息传出，全上海人为之震动，当日，也不知有多少人麕集街头，亲眼目覩共产党凌辱黄老板。有人欷殻В腥朔呖平鹑僭蛎娌亢廖薇砬椋徊揭徊降脑谏ǖ匕稚砬莘鹨痪弑恐氐幕怠Ｓ谑枪膊澄┐笮闪思钦呃床煞茫磁恼眨矶唷父刹俊刮г诨评习宓乃闹苋我廒市Α�
这张黄老板大世界扫街的照片，刊登在上海各报显着地位，不久报纸传到香港，一日，杜月笙心血来潮，忽然问起上海报纸为何多日不见？他很关切上海方面的消息，家中各人则因为时值上海清算鬪争期间，唯恐杜月笙看到老朋友如何受到屠戮迫害，心中难过会得妨碍病体，所以有时候便藏过几张，不给他看。齐巧这一日杜月笙一定要看新到的上海新闻报家人无奈，祇好再找出来，交到他的手上。
杜月笙一眼便看到「黄老板扫街」的那张照片，他的表情始则惊骇，继而切齿，然后便是深切的痛苦与悲哀。他脸色灰败，身子摇摇晃晃，勉强的将那一段新闻读完，自此便坐在沙发里咻咻的气喘。
那几天他精神略好一点，金荣哥所受的折磨，带给他莫大的刺激，于是当日又告病倒，家人十分慌乱，因为他的喘势越来越急。
又是缠绵病榻，中医、西医川流不息，那天，黄老板的长媳黄李志清到访，除了探病，她还有重要事体要跟杜月笙商量。
杜月生在病榻上很亲切的喊黄李志清「妹妹」，请她坐下，问她有什么要紧事？于是，黄李志清拿出了一封方自上海寄来的信，黄金荣向他的媳妇「求援」，他叫黄李志清赶紧设法筹款汇寄上海，因为，共产党要黄老板捐献两万美金。
看完了信，杜月笙又是一阵愤恚与激动，好不容易用药物压制下去他的急喘，他漾一抹苦笑，有气无力的问黄李志清道