，便指着自己的鼻子说：“我是乌龟，我是乌龟！”而后，事情闹大，蒋介石得知此事后，让陈果夫告诉许绍棣，不许许再与王有纠葛，王、许才断了关系。
郁达夫将许绍棣的信批量影印赠送友朋，声称是打官司的“凭证”。王映霞则匆忙卷带细软躲到一个律师朋友家中。郁达夫请过郭沫若来查看现场，并在报上刊登启事，致电浙江省军政府，吁请查找王映霞。
后经友人调解，1938年7月9日，郁达夫与王映霞签订《协议书》，双方“和解”。7月10日，郁达夫在《大公报》又登出《道歉启事》，公开向王道歉。王映霞则给郁达夫写了一张字据，承诺“今后当绝对与许君断绝往来，夫妇共同努力于圆满家庭生活之创造”。此字据收录于德国马汉茂辑《给郁达夫的信》中，但王映霞在《自传》中坚决否认写过这张字据。
郁达夫在一封给王映霞的信中说，一次坐车经过樟树，空袭警报响起，大家纷纷下车躲避，唯有他没有动。大家夸他有勇气，他悲伤地说：“其实一个精神上自以为绝灭了的人，肉体是否存在，是无关紧要的。”
1939年，二人感情更加恶化，郁达夫把上面提到的签诗和他所写的词以“毁家诗纪”为名，加以详细注解，发表在香港《大风》杂志上，说明王映霞与许绍棣的“热恋情事”，并声言不要稿费。郁达夫在诗词中将王映霞比作妾。情变后王氏出走，郁指其为“逃妾”，并在其丢下的一袭纱衫上题“下堂妾王氏改嫁前之遗留品”。发表前，《大风》编辑陆丹林删去其附注。
而王映霞也发表《一封长信的开始》和《请看事实》，否认与许绍棣的关系，并竭力攻击郁达夫，甚至说郁达夫是“蒙了人皮的兽心”，几近谩骂。
郁达夫、王映霞最终协议离婚。随后王映霞从新加坡孤身回国，后嫁于华中航业局经理钟贤道，据传婚礼极尽铺张奢华。郁达夫失踪后，郁达夫与王映霞所生的两个儿子（郁飞除外）被送到孙荃处抚养。2000年12月，王映霞去世。
汪静之在《王映霞的一个秘密》中揭露，王映霞的外遇对象并不是许绍棣，而是戴笠，汪因为害怕戴笠，所以一直没有说出来。他还写道：“1946年夏我回到上海，我的妻子的一位同学钱青（也是王映霞的同学）说，‘王映霞从南洋回到重庆和某人（我忘了姓名）结了婚，就要戴笠帮忙，戴笠给她丈夫做运输汽车队队长，在滇缅路直到重庆做运输工作，汽车运私货，大发财。抗战胜利后，1945年戴笠给王映霞的丈夫做运输方面的宜昌站站长，也是发财的职务。上海接收时戴笠给了王映霞一座接收下来的洋房，成了王映霞所有的房产。’这位同学又说：‘戴笠一直是王映霞的姘头，我有可靠证据。’”
对于汪静之的爆料，王映霞之女认为纯属谣言：“此人到了老年，整个心态不正常，爱骂谁就骂谁。”郁达夫与王映霞之子郁飞的妻子则说，这是把许绍棣以讹传讹当成了戴笠。但是，许多研究者认为此并非子虚乌有的无稽之谈，郁达夫投奔陈仪，以及此后远走南洋，很有可能就是为了躲避戴笠。
对于郁王的婚变，身为郁达夫好友的郭沫若为王映霞抱不平：“但我们设身处地替王映霞作想，那实在是令人难堪的事。自我暴露，在达夫仿佛是成为一种病态了。别人是‘家丑不可外扬’而他偏偏要外扬，说不定还要发挥他的文学的想象力，构造出一些莫须有的‘家丑’。公平地说，他实在是超越了限度。”曹聚仁则转引易君左的话说：“达夫的举动粗糙恶劣，确有令映霞难堪之处。……假如几百年前，唐伯虎这样揭穿了秋香的秘密，秋香还会相安于室吗？”
王映霞则将自己与郁达夫关系破裂的原因归结于郁达夫，她在《自传》中说，郁达夫一直没有与孙荃离婚，又在诗中将自己比作妾。她还历数郁达夫的种种劣迹：夫妻一吵架，就离家出走，丝毫不管妻儿的生活；日本侵略军到来前，仓皇逃亡，丢下老母在大后方，活活饿死；在报纸上登广告抹黑妻子，让妻子脸面丢尽……最重要的是，无端怀疑妻子和许绍棣有染，写下《毁家诗纪》组诗，把她描述成红杏出墙的荡妇……
1998年5月，汪静之之女汪晴在泰国的《亚洲日报》发表了《汪静之为郁达夫鸣冤》一文。汪晴在文章中说：“大概是在八十年代里，有一天父亲拿两张香港报纸的剪报给我看，上面是王映霞写的自传性的文章，……文章里说郁达夫多疑，心理变态，神经有病等等。……父亲气愤而且沉痛地说：‘郁达夫冤枉啊！王映霞把他说得那么坏，宣传得那么广，其实郁达夫是好人，他的神经正常得很！是王映霞自己有问题，却反诬郁达夫。王映霞当戴笠的姘头和在武汉堕胎的事，达夫至死都不知道，达夫死后却还受到这样的侮辱，至今没有洗清，太冤枉了！我一定要为郁达夫伸冤！’”
郁达夫的第三任妻子何丽有是印尼华侨。1943年，郁达夫化名赵廉，在苏门答腊的巴爷公务镇开酒厂，为了在日本宪兵面前掩饰自己的身份，经人介绍，与何丽有结婚。
何丽有20岁，生父姓何，幼时被一户姓陈的人家收养，取名莲有。她相貌平常，不懂中文。在婚宴上，郁达夫为其取名何丽有，意即“何丽之有”，该进洞房的时候，他还在打麻将，经友人几番催促，才被人拉拉扯扯推进新房里。郁达夫还戏称自己的新婚之夜为“破罗敷”。
一次朋友聚会，郁达夫欺何丽有不懂中文，说自己是“迩来三月食无盐”，大家听罢哄笑。何丽有不知他们笑什么，便一定要郁解释，在座一人用半生不熟的马来语解释后，何还不信，将写着这句话的纸条收了起来，说要找个懂中文的人问问。
为了使何丽有在日本宪兵面前显得有派头，郁达夫雇了几个“姨娘”，供她使唤，自己没事则打打麻将，何丽有一直不知道郁达夫的真实身份。一次，郁达夫问何丽有看自己像做什么的，何丽有看着四壁的书说：“我看你是一个‘都岗八杂’（读书匠）。”郁达夫则在人前称何丽有为“婆陀”（马来语，傻瓜）。直到遇难后，何丽有才知道自己丈夫的真实身份。
郁达夫与何丽有育有一子一女，儿子取名郁大雅（亚），是郁达夫讽刺日本推行“大东亚共荣圈”；郁达夫失踪离家后几个小时，小女儿郁美兰来到人间。
【忏悔】
郁达夫对自己沉迷于酒色生活极为痛苦：“人生终究是悲苦的结晶，我不信世界上有快乐两字。人家都骂我是颓废派，是享乐主义者，然而他们哪里知道我何以要去追求酒色的原因呢？唉唉，清夜酒醒，看看我胸前睡着的被金钱买来的肉体，我的哀愁，我的悲叹，比自称道德家的人，还要沉痛数倍。我岂是甘心堕落者！我岂是无灵魂的人 ？＇…＇不过看透了人生的命运，不得不如此自遣耳。”
陈翔鹤回忆，一次，他和郁达夫等人到酒馆喝酒，一个歌女登场，郁看了几眼，便痛苦地闭上了眼睛，随后一大颗一大颗的泪珠滚落下来。几个人茫然起身，一起走出去。在马路上，郁一边叹气一边揩眼泪。他告诉陈，这个歌女和他在日本时的情人长得很像，他说，她是因他的引诱由少女堕落到几乎类似妓女的地步的，就在堕落之后，他们还不断幽会，现在想起来，实在是一桩罪孽。
苦闷的时候，郁达夫经常将怀孕的孙荃当作出气筒。孙荃从来不还口，任郁达夫责骂，她总是一边擦着眼泪，一边拖着日益肿胀的身子到厨房给丈夫做饭；或者默默地躺在床角暗自流泪。而每每骂完妻子，发泄完心中的悲愤，郁达夫便感到无比自责：“啊啊！我在社会上虽是一个懦弱的受难者，在家庭内却是一个凶恶的暴君哪！”
长子龙儿夭折后，孙荃含着眼泪对郁达夫说，龙儿生病前的一天午后，在门前玩耍，看见一乘马车，里面坐着一个戴灰白色帽子的青年，以为是郁达夫回来了，因为龙儿记得爸爸去年离京时所戴的也是顶白灰呢帽。马车走后，龙儿仍然哭喊着：“爸爸为什么不回家来？爸爸怎么不回家来？”不管孙荃怎样慰说，他仍不停地哭泣。龙儿患上脑膜炎后，经常问她：“爸爸几时回来？”将死的前五天，他连续喊着爸爸。郁达夫听后感到十分痛苦和愧疚，认为自己“实在不该抛弃了他们，一个人在外面流荡，致使他那个小小的心灵，常有这望远思亲的伤痛”。
郁达夫和王映霞热恋后，内心也时常泛起对孙荃和孩子的忏悔，如他在日记里写道：“我也该觉悟了，……可怜我的荃君，可怜我的龙儿、熊儿，这一个月来，竟没有上过我的心，啊啊，到头来，终究只好回到自家的破烂的老巢里去。这时候荃君若在上海，我想跑过去寻她出来，紧紧地抱着了痛哭一阵。我要向她confess，我要求她饶赦，我要她能够接受我这一刻时候的纯洁的真情。”
夏志清说：“对于郁达夫那种内疚、悔恨心情应从儒教的伦理角度去理解、去分析。郁达夫是在儒教的熏陶下长大的，即使当他放纵自己，追求性欲满足的时候，郁达夫或是他那虚构的他也总是由于清楚地知道自己违反了做儿子、丈夫及父亲的道理而感到痛苦。”
【逸事】
记者许雪雪回忆郁达夫：“一件淡灰色的自由布长衫，一双半新旧的黑布鞋；裤子也是中国式的，是白衣细蓝条子，那质料当然仍是布的了。他的背已经有点委曲了。身材是不高不矮的那么一个。……脸孔是圆的，齐鼻子的那个地方往里凹。额角很阔，且高。他手里捏了一罐初开的美丽牌烟。”
郁达夫九岁时能作韵语，郁母说：“此儿早慧，恐非大器。”
1919年，郁达夫回国参加外交官考试期间，写信给胡適，提出“会会面的愿望”。当时胡適正忙于为杜威在华讲学作翻译，没有回复。郁顿时对胡適没了好感。1922年，他在《创造季刊》发表文章，不点名地说胡適像“清水坑里的蛆虫一样”，“胸中却一点学问也没有”。胡適看到郁的文章后非常恼火，立即撰文予以反驳。时郁达夫在安庆任教，妻子孙荃已经怀孕，生活很是困顿，精神上也很苦闷。他看到胡適的文章后，写信给在日本的郭沫若，悲愤地说，他要去跳黄浦江。
郁达夫看望独自在会馆写作的饥寒交迫的沈从文后，写了《给一位文学青年的公开状》，谈及社会黑暗，并给困境中的沈从文指出脱困的出路。他说，上策是找点事情干，如拉洋车、做伙计，甚至当土匪，或去革命，制造炸弹；中策是弄几个旅费，回湖南老家，跟家人在一起；下策是去当兵，或去做贼，要偷的话，最好从熟人下手，比如沈有钱的亲戚H先生（注：指熊希龄）。
一次，郁达夫和陈翔鹤一起去西山看风景，郁提议另辟蹊径，不走常人走的路子。他带着陈从这个乱石堆窜到那个乱石堆，瞎跑了大半天，结果两人什么风景都没看到，还累得半死，回到城里已是万家灯火。陈提出抗议，郁达夫却固执地说，这是日本人游山的办法，又说锻炼身体的意味大于欣赏风景。
叶灵凤回忆，郁达夫从北京辞掉教职到上海，曾一度想戒烟戒酒，书桌上放着一罐罐外国糖果，用来代替烟酒。但不久之后，他又继续抽起烟来，一来戒烟戒不掉；二来据说吃糖果比抽烟更花钱，因此索性恢复抽烟了。
温梓川回忆，1929年，他和郁达夫见面，给郁达夫看了他所作的描绘南洋群岛热带风光的诗后，郁说：“啊，南洋这地方，有意思极了，有机会非去走走不可。”十年后，郁达夫果然到南洋。
郁达夫说，杭州的特产有两样，一是夏天的蚊子，一是庙里的和尚。郁达夫在西湖边上观察，每隔五分钟，就可以看到“缁衣秃顶的佛门子弟，漫然阔步在许多摩登士女的中间”。
温梓川说，郁达夫喜欢买航空奖券，差不多每期必买。他甚至设计好中奖后奖金的用途：以1万元汇富阳老家奉母，15000元给王映霞供养杭州家，5000元送穷朋友，自留2万元，偕一妙女，同游四海。后来郁在福州做官时，有个素不相识的学生写信给郁说，他买的航空券中了三等奖，愿以奖金3000元无条件相赠。
郁达夫重男轻女，其长女郁黎民回忆，长兄龙民5岁时患脑膜炎夭折，郁达夫曾经在《一个人在途上》文中写了自己的哀伤，弟弟天民出生后，郁达夫屡次在日记和文章中提到“可爱的熊儿”，可是“独对我和正民妹却从未见提到过”。
郁达夫、林语堂和潘光旦同游玲珑山。三人翻遍新旧临安县志，竟不见琴操之事，顿觉愤怒。郁达夫在琴操墓前写下四行诗以嘲讽《临安县志》编者的没有情趣：“山既玲珑