大家催他快走，刘永福恸哭着说：“我拿什么报效朝廷？我怎么对得起台湾民众？！”想到自己的队伍是因为弹尽粮绝才败北，刘永福再次发出长叹：“内地官僚耽误了我，我误了台湾民众啊！”
刘永福决定让飞鸿和他一起回大陆，他让戚继宽也一道走。戚继宽坚决表示不离开台湾，他对刘永福和飞鸿说：“我要留在这里，把师傅教我的武艺传授给台湾人民，同大家一道继续与倭寇斗争，直到将侵略者赶走！”飞鸿见他铁了心，也只得由他。
刘永福劝他不动，于当天深夜带着飞鸿、刘成良等十余人乘小艇离开台南，然后搭上英国商船“迪利斯”号内渡厦门。
10月21日，台南失陷。
台南失陷后，台湾各地人民继续坚持武装抗日。他们在台北的深坑、云林铁国山，嘉义与台南之间的番仔山、凤山附近及屏东等山区先后建立根据地。在与日寇的斗争中，涌现出许多可歌可泣的英雄人物。如台北农民抗日武装的领袖之一简大狮，曾与其他民众武装一起攻入台北市区，后来辗转到厦门。日寇杀其妻以泄愤，并向清政府索去他本人。简大狮就义前慷慨陈词：
“自从台湾割让给日寇，大小官员内渡一空，无一人敢出头创义举。而我只是大清的一介小民，却能率领民众与日本人血战百次！我自觉得对于大清问心无愧……生我愿做大清的百姓，死也要做大清的鬼！”
不知清政府中的卖国贼听了这番话，作何感想？西太后、李鸿章等卖国贼竟将这等爱国志士送到日本侵略者的屠刀下，刘永福等人知道后义愤填膺，这是后话。
飞鸿和刘永福到厦门后，听说清廷还在追究唐景崧自立“台湾民主国” 并就任总统一事，便和刘永福一起回到广州。
11月28日，桦山资纪向日本大本营报告“全台完全平定”。然而他不可否认的是，刘永福和台湾义军用土枪土炮抗击了用近代化武器装备起来且训练有素的日本侵略者达5个月之外，使日军近卫师团长北川能久亲王、近卫第二旅团长山根信成在内的4800余人被击毙，5万侵台日军中有2。7万余人因伤病回国。
经历过台湾保卫战后，飞鸿对清政府的腐败有了更深入更具体的认识，对时局他感到十分失望。回到广州后，飞鸿就过上了隐居般的生活。关于他的史料记载也就愈发少见。
飞鸿真的要退出江湖隐居起来吗？
第四部分江湖隐士（1）
执意退出武林的飞鸿，从台湾抗日回到广州后，在“宝芝林”门口贴上“千金不传”武功的大字。梁宽之死，使他伤心难过。1896年他娶马氏，生二女二子，不久马氏病亡。不想过问江湖之事的飞鸿在韶关，却与三个“地头蛇”不打不相识。马氏去世后，他被媒人带去相亲，新婚之日才发现，原来新娘岑氏与他此前有缘……
台湾抗倭的惨痛事实，使飞鸿感到愤懑和失望。当时为了阻止日本侵略者侵占台湾，台湾乡民和绅士拥护唐景崧为“总统”，飞鸿也被任命为“殿前大将军”。这完全是出于不让台湾被日寇侵吞的目的，不得已而为之。更何况唐景崧还致电清政府，表明“永戴圣清”这一点。但为了讨好日寇，清政府派李鸿章率淮军前去围剿，令唐景崧也只好南逃广州。
飞鸿当时一心想的是跟随刘永福抗击日本仔，对功名利禄毫无挂齿。既然刘永福担任民主大将军，他也就接受了这个所谓的“殿前大将军”。唐景崧本意，可能是要飞鸿为他打头阵，但他逃跑得比兔子还快，飞鸿这个职位名存实亡。“殿前大将军”名不见经传史籍，清政府却仍要对之耿耿于怀。为免遭迫害，心灰意冷的飞鸿决意隐居广州，再不过问政治。
回到广州，飞鸿仍以经营药铺为业。
一天，两个20岁出头的青年到“宝芝林”来找飞鸿，飞鸿出来问他们有什么事。飞鸿见他们不回答，就转身回里屋去。
“你是不是黄飞鸿？”
那两人见飞鸿欲走，连忙把他叫住。飞鸿说：“我是不是黄飞鸿并不重要，重要的是你们找黄飞鸿干什么？”
其中的高个子说：“都说他武艺盖世，我们想拜他为师。”
飞鸿笑着说：“听说他早就不收徒弟了。”
其中的矮个子说：“你是黄飞鸿师傅的哥哥还是弟弟？能不能帮忙让黄飞鸿师傅收下我们？帮成了的话，咱们就是一家人啦，我们还会重重地谢你。”
飞鸿顺着他的竹杆往下溜：“我弟弟的武功虽然还可以，但不像你们想像的那样厉害。再说他既然听了我父亲临终叮嘱，不卖艺授武，我劝他也没用，这个忙我帮不上。”
高个子说：“你哥什么时候回来？噢，对不起，他是你弟弟。请问你弟弟什么时候回来？” 飞鸿摇摇头，表示不清楚。高个子接着说：“不管他什么时候回来，我们都在这里等他，一定要当面跟他说，求他收下我们。”
看到这两人这么大的决心，飞鸿断定必有原因，就问：“你们为什么非学武不可？”
矮个子说：“我们俩虽为异姓，但亲如兄弟。李大哥和我都在一家店铺做工，平时很合得来。他的未婚妻被老板看上了，老板勾引她，结果那女人看中了老板的钱，竟然跟了老板，甩了我们李大哥。李大哥去找老板论理，被老板的保镖打得三四天起不了床。所以，我们要习武报仇。”
飞鸿想，原来是这么回事！他问矮个子：“这事是他个人的事，你怎么也要学武？”矮个子回答说，这世道太坏，到处是不平的事，说不定哪天就轮到自己头上，学好武艺有备无患。
高个子说：“我们听说黄飞鸿师傅为人特别正直，路见不平一定会拔刀相助。所以我们非等他回来不可。哪怕是他不肯收我们为徒，我也要请他为我去讨个公道！”
“你与那女人结婚了没有？”
高个子说：“刚好上没多久呢，谁料半路上被横刀夺爱，哪结得成婚！”
飞鸿劝高个子说：“天下女人有的是，她既然嫌贫爱富，咱们穷人家不要这种人做老婆也罢。黄飞鸿是我亲弟弟，不瞒你们说，他在台湾打日本仔时受了伤，而且伤得还不轻，现在回南海西樵老家养伤去了。你们别等了，回去吧！”
矮个子信以为真，就对高个子说：“李大哥，咱们走吧，黄飞鸿师傅自己都那样子了，怎么能教我们武技呢？”
高个子极其失望地跟着矮个子走了。
飞鸿想，这一招还真灵！下次再有人来拜师，我也用这招对付他！林世荣、陈殿标、邓秀琼等人来看望师傅，听飞鸿这么一说，大家笑开了怀。
林世荣等来看望师傅，久别重逢，大家先谈了谈各自的情况。从林世荣那里，飞鸿得到两个消息：一是林世荣的武馆早已开张，而且生意还不错；二是飞鸿的徒弟梁宽不久前因病去世。
第四部分江湖隐士（2）
对于林世荣的武艺，飞鸿是心里有底的。不久前广州东较场上的一次大比武，使林世荣声名彰显。原来广州的武馆越来越多，各师其法，各行其道，互相不服，经常产生摩擦。广州府主事为了弘扬国粹，交流武艺，在东较场举办了一次大型武术比赛。已经开武馆的林世荣当然不会错过这个难得的机会，毫不犹豫地报了名参加比武。
比武场上，林世荣越战越勇，他将师傅教给他的洪拳演绎得出神入化，台下不断叫绝。在一连胜了十几个人后，他最后夺得了这次大比武的第一名。报章上对此事大加宣传，林世荣誉满羊城。所谓“严师出高徒”，就连他的师傅黄飞鸿也被记者抬了出来，跟着沾光。经此大比武，前来跟他学武的人就更多了。
看来飞鸿不必替林世荣担忧，倒是梁宽让他放心不下。梁宽到香港后，与内地师兄弟们来往不太多，甚至连飞鸿也很少有他的消息。据陆正刚等人说，他在香港混得很不错。后来又到马来西亚等地以黄飞鸿正宗弟子的名义开馆授徒，在当地名噪一时。梁宽是飞鸿的得意门生，悟性好又勤练，武艺高强自然不愁生计。但飞鸿知道，梁宽的缺点是天生好色，加上太好强，而且我行我素，一般人休想管得住他这匹野马。
掐指一算，梁宽死时年仅25岁，真可惜！飞鸿对梁宽有一种偏爱，感情也比一般的徒弟要深很多。如今他走了，这么年轻就走了，飞鸿心里伤感之情由然而生。
“梁宽得的什么病，怎么说死就死呢？”
林世荣说，具体什么病他也不清楚，要日后问陆正刚。
陈殿标说：“据外边传来的小道消息，有人说梁宽师兄是得梅毒死的。也有的说是因色劳过度，在一次舞狮中逞强硬舞，最终吐血而死。”
对于梁宽这匹野马，得梅毒并不会令人感到惊讶。尽管当时得梅毒也是很难治的，而且很多人羞于找大夫治，但梅毒并非一下子就可致人于死地，到了晚期才没法治。因此梁宽之死，第二种死因的可能更大些。
“这种事传出去不好，不管是真是假，你们在外都不要对别人说。”
“知道了，师傅。”
徒弟们见师傅孤身一人，希望他成个家。飞鸿觉得自己马上就40岁了，是该生儿育女了。他对徒弟们说：“谢谢你们关心，大家的好意我会认真考虑的。”
谈来谈去，又谈到最近不断有人来上门拜师学武一事，飞鸿说：“真不知道如何才能省却这些麻烦。有的人缠着你，吵得头都大了。”
邓秀琼虽在徒弟中最小，脑子却挺灵，她给飞鸿建议：“师傅执意不收徒，这事也好办，您把他们介绍到林师兄那里去学，不是一举两得的事嘛！”
大家都觉得这个建议不错，飞鸿也夸邓秀琼有办法。
前来学徒的好打发，介绍到林世荣那就行了，可前来比武的怎么对付呢？飞鸿还真碰到过这种事，一位从北方来的武师，慕名找到飞鸿的“宝芝林”，提出要与飞鸿比武。
飞鸿不想再与他人争高下，仍然用以前骗两个小伙子的办法，告诉来人黄飞鸿受伤回老家养伤去了。
北方来客说：“你不要骗我了，我也是习武多年的人。一看就知道，在下武功非凡，想必你就是黄飞鸿师傅？”
飞鸿见对方看破了自己的招术，不再吭声。
北方武师说：“北有霍元甲，南有黄飞鸿。这是武林中人人皆知的事。我此番前来，决无邪念，不过想与黄师傅比试一番，点到为止。如果黄师傅功高于我，我准备跪拜为师。”
看得出来，此人是真正的武林人士。飞鸿请他坐下来喝杯茶，然后把自己不授武的原因告诉了对方。他说得十分诚恳，对方相信了。
北方武师说：“黄大侠执意要退出江湖，我辈不无遗憾。江湖险恶，你能超然度外，令我佩服有加。既然如此，在下告辞了！”北方武师双手一抱拳，转身就走了。
飞鸿回了一个抱拳礼，目送对方远去。他凭感觉，断定这位北方武师不但功夫好，武德也修炼得很深。同道中人，有的非要和你见个高低，像他这么通达的人还算难得。
为了省却求师习武者的缠纠，飞鸿决定在“宝芝林”门上注明，他想贴张公告，又觉得没有必要如此郑重其事。看到门上的对联，他有了主意，决定换联以表心迹。
第四部分江湖隐士（3）
“宝芝林”原来悬挂的对联为“宝剑出鞘，芝草成林”，据说也改成过“宝剑冲霄汉，芝花遍上林”。此联被认为动静俱宜，能医能武，颇有武术宗师之风范。正因为如此，一心要与武术脱去干系的飞鸿决定改掉它。
考虑清楚后，飞鸿把它改成了“武艺功夫，难以传授；千金不传，求师莫问。”贴在原来对联的位置上。这一改，对联味没有了，但意思却表达得很清楚。
做一个名武师，有太多太多的烦恼，有时飞鸿真的很想像自己的哥哥造天那样，做一个不懂武艺的平常之人，享尽天伦之乐。找一个自己喜欢的人为伴侣，生几个孩子，快快乐乐地度过一生，那该有多好！
也许是天意，飞鸿有此想法，正巧就有人热情地为他张罗婚事。媒人为他介绍了一个寡妇，飞鸿不太满意，没成。后来热情的媒人又给他介绍了一个姓马的姑娘。了解了对方的情况后，双方都感到满意，于是飞鸿将马氏娶回家，过起了常人的生活。
人生有许多乐趣，天伦之乐就是其中极为宝贵的一乐。婚后，飞鸿与马氏相敬相爱，和和睦睦地生活，他感到从未有过的幸福。不久马氏给他生下孩子，又令他品尝了“为人父”的快乐。在此后的几年中，马氏为他先后生下二女二子。大儿子下地，飞鸿笑得合不拢嘴，他给大儿子取名叫汉林。二儿子下来，他则给他取名为汉森。林、森，都是树木构成，大有渴望儿子成材之