，直接托张慰慈拍电报给翁文灏，请张向国民党政府汇报，准许胡適辞去大使职务。此后，对于胡適任北大校长，江冬秀虽未阻拦，但亦表示不赞成。
罗尔纲则说：“我处胡家五年，……假如适之夫人是个留学美国的女博士，我断不能在胡家处五年。……我在上海多年都是穿一条卫生裤。随适之师到了北平，这条卫生裤怎能抵得住北方冬寒。她立刻给我缝了一条厚棉裤。我到北平只穿在上海多年穿的外衣，他把适之师穿的皮袄给我穿。”罗还回忆，吴晗去云南大学任教前，曾向江冬秀借300元，100元自用，200元留给在北平的妻子。江冬秀听后二话不说便取出300元交给吴说：“我送给你。”
抗战时期，胡適赴美后，江冬秀依旧给胡適家乡的学堂捐款，救济家乡生活困难的人。胡適写信给妻子表示“十分感激”。
唐德刚亦说：“胡老太太向来未叫过我什么‘密斯特’或‘先生’。第一次见面，她对我‘直呼其名’。几次访问之后，我在她的厨房内烧咖啡、找饼干……就自由行动起来。”他认为，江冬秀是“千万个苦难少女中，一个最幸运、最不可寻常的例外”，而胡適则是“‘三从四德’的婚姻制度中，最后的一位‘福人’”。
1950年，江冬秀到美国与胡適同住，两人请不起用人，只能自己做家务，一位拜访过胡適的客人回忆：“夫人打扫厨房，先生便净桌放筷，饭后把饭菜撤回厨房，随手带来抹布，拭几擦桌，事必躬亲。夫人送茶给客人，带来一杯给先生，他便连声道谢‘磕头磕头’，而且不是虚谎，真的欠起身来。在同客人的谈话中间，偶有触发便告个罪，走进厨房把客人的来由和有趣的谈话相告细君。”
何炳棣回忆，50年代，他在胡適的领带下端发现一个小拉链，拉开是个暗袋，内藏5美元。胡適解释说，这是江冬秀为他藏的，因为即使出门被人抢劫了，旧领带也不会丢失，他可以用5美元搭车回家。
对于质疑的声音，胡適的回答是：“只有自己的脚才知道鞋子合不合适。”晚年胡適曾对秘书胡颂平说：“久而敬之这句话，也可以作夫妇相处的格言。所谓敬，就是尊重。尊重对方的人格，才有永久的幸福。”
高梦旦曾邀胡適到消闲别墅聚餐。席间二人谈及胡適的婚事，高赞扬道：“许多旧人都称赞你不背旧婚约，是一件最可佩服的事！我敬重你，这也是一个原因。”胡適反问：“这一件事有什么难能可贵之处？”高回答：“这是一件大牺牲。”胡適坦诚：“我生平做的事，没有一件比这件事最讨便宜的了。当初我并不曾准备什么牺牲，我不过心里不忍伤几个人的心罢了。假如我那时忍心毁约，使这几个人终身痛苦，我良心上的责备，必然比什么痛苦都难受。其实我家庭里并没有什么大过不去的地方。这已是占便宜了。最占便宜的，是社会上对于此事的过分赞许；这种精神上的反应，真是意外的便宜。我是不怕人骂的，我也不曾求人赞许，我不过行吾心之所安罢了，而竟得这种意外的过分报酬，岂不是最便宜的事吗？若此事可算牺牲，谁不肯牺牲呢？”
无论如何，江冬秀伴随胡適走完了他的一生，胡適亦对她不离不弃，有人曾戏言：“胡適大名重宇宙，小脚太太亦随之。”
1914年，在美国留学的胡適认识了韦莲司，康奈尔大学一位地质学教授的女儿，比胡適大六岁。胡適被韦氏洒脱性格所打动，据胡適日记记载，她“最洒落不羁，不屑事服饰之细。……女士所服，数年不易。其草冠敝损，戴之如故。又以发长，修饰不易，尽剪去之，蓬首一二年矣。行道中，每为行人指目，其母屡以为言。女士曰：‘彼道上之妇女日易其冠服，穷极怪异，不自以为怪异，人亦不之怪异，而独怪异我之不易，何哉？彼诚不自知其多变，而徒怪吾之不变耳。’”
与韦氏的交往，也让胡適受益匪浅，他曾致函韦莲司说：“在我们的交往之中，我一直是一个受益者。你的谈话总是刺激我认真的思考。‘刺激’这个字不恰当，在此应该说‘启发’。”而胡適也在日记中说：“吾自识吾友韦女士一来，生平对于女子之见解为之大变，对于男女交际之关系亦为之大变。”
1927年，分别10年的胡適和韦莲司再见面时，他们已人到中年。虽然这十年间，他们一直有书信来往，但依旧感慨万分。胡適于这年韦莲司生日前写信给她说：“我是十三年以前知道你的生日的，从此，一直不曾忘记过。”
韦莲司写给胡適的情书中，满是火一样的炽热：“没想到，我会如此爱你……胡適……我崇拜你超过所有的男人……”“我整好了我们那个小得可怜的床……我想念你的身体，更想念你在此的点点滴滴。我中有你，这个我，渴望你中有我……”
韦莲司在得知胡適和曹诚英的恋情的情况下，还答应胡適照顾去康奈尔大学深造的曹诚英。1962年，胡適去世后，韦莲司竟和江冬秀成了朋友，整理胡適给她的书信，忙着为他成立出版基金。9年之后，一生未嫁的韦莲司在一个小岛上孤独地死去，遗物里竟然完好无缺地保存了胡適的书信和稿件。
陈衡哲是庚子赔款的第一批女留学生，我国现代文学史上的第一个女作家，北京大学的第一位女教授。胡適与陈相识于留学美国期间。
早在1915年梅光迪等人与胡適的“文学韦莲司革命”笔战中，陈衡哲便支持胡適的主张。胡適说：“莎菲……虽然没有加入讨论，她的同情却在我的主张一方面。……她不曾积极参加这个笔战；但她对于我的主张的同情，给了我不少的安慰与鼓舞。她是我的一个最早的同志。”
任鸿隽早就暗恋陈衡哲，但陈一直没有答应。直到1919年，她才同意与任订婚。1920年，陈衡哲学成归国，到北大任教，与任鸿隽举行了婚礼。胡適做赞礼，并戏赠贺联云：“无后为大，著书最佳。”而这年8月，即陈衡哲结婚前，胡適的女儿出生，他为女儿取名“素斐”，并不避讳纪念陈衡哲（素斐即Sophia，也即“莎菲”，是陈衡哲的英文名和笔名）之意。素斐不幸夭折后，任鸿隽陈衡哲夫妇将他们的女儿送给胡適做干女儿。
1927年，素斐夭折后一年半，远在美国的胡適给江冬秀写信说：“冬秀，我今天哭了女儿一场！梦中忽然看见素斐，脸上都是病容，一会儿就醒了。醒来时，我很难过，眼泪流了一枕头，起来写了一首诗，一面写，一面哭。忍了一年半，今天才哭她一场……”并在信后附上诗《素斐》一首，有研究者认为，哭女儿是真情迸发，诗素斐，到底是为哪个Sophia？
1934年《十日谈》发表了“象恭”的《陈衡哲与胡適》一文，称陈女士留学美国时，想与胡適“结为永久伴侣”，被胡適拒绝。胡将“陈女士‘负责’介绍给‘他的朋友’任叔永”，故陈、任婚后感情一直很平淡。此文引起了轩然大波。胡適写信给《十日谈》编辑部，批驳此事，而该杂志也公开道歉。
唐德刚说：“素斐者，SOPHIA也，‘莎菲’也！‘为念绿罗裙，处处怜芳草！’”他认为，胡適的《素斐》一诗是“缠绵悱恻的一石双鸟，悼亡、怀旧之诗”。
而夏志清则认为，胡適对陈衡哲“不存一丝罗曼蒂克的幻想”，他只是“艳羡他们的幸福”，他给女儿取名素斐，“虽不能说纪念他同陈衡哲那段旧情，至少也希望女儿长得像瓦莎学院优秀生莎菲一样聪明好学，而一点也不像她生母那样的庸俗。德刚道破胡適为爱女取名用心良苦这一点，实在令人心折”。
胡適留学归国，声名远播，温厚机敏，更兼风度翩翩，对女士温柔体贴，绅士风度十足。讲课时，看到女生坐在窗边，寒风吹进来，他会很细心地走过去替她把窗户关上。于是，他免不了收到许多神魂颠倒的情书。1926年，汤尔和曾赠胡適一诗，描写其周旋于红袖之间的情形：“蔷花绿柳竞欢迎，一例倾心仰大名。若与随园生并世，不知多少女门生。缠头拼掷卖书钱，偶向人间作散仙。不料飞笺成铁证，两廓猪肉定无缘。”
胡明回忆，北大那些年，爱慕者写给胡適的信足有两大箱，搬家时胡適要扔，江冬秀都保留下来。有一天，江冬秀整理信件时发现了北大女诗人徐芳写给胡適的“情书”。江冬秀写信给胡適责道：“我算算有一个半月没有写信给你了。我有一件很不高兴的事。我这两个月来，拿不起笔来，不过你是知道我的脾气，放不下话的。我这次理信件，里面有几封信，上面写的人名是美的先生（Mr。Charming），此人是哪位妖怪？”胡適回信说：“谢谢你劝我的话。我可以对你说，那位徐小姐，我两年多只写过一封规劝她的信。你可以放心，我自问不做十分对不住你的事。”
胡適曾到欧洲游历，留英学生叶元在回忆：“他（胡適）住在一家小旅馆里，我每天上完了课以后总要去看他。我还陪他常常去吃中国饭。那时候他的客很多，英国的在朝和在野的名流都以一见他为荣。经过伦敦的日本学者也都去看他。后旅馆里一位女侍者知道他的身份了。有一次他告诉我，这位女侍者竟要他‘刻思’（Kiss，亲吻）她。”
胡適好友的妹妹、学生饶毓泰的妻子朱毅农单恋胡適多年，最后发疯，染病身亡。她曾写下一篇6000多字的自传，但因精神病发作，将稿子烧毁。
曹诚英（字珮声）是胡適三嫂同父异母的妹妹，我国农学界第一位女教授。她比胡適大约小11岁，在胡適去世11年后去世，享年同为71岁。她是胡適唯一公开承认爱过的女人。二人第一次见面是在胡適与江冬秀的婚礼上。当时婚礼上的“小伴娘”曹诚英就已经吸引了胡適的目光。曹诚英喜欢种花草，胡適夫妇到北京后，常写信给胡適，请胡寄些花籽给她，或作些小诗请胡评阅。
1918年，曹诚英遵父母之命嫁给同乡胡冠英，由于曹诚英自1920年开始一直在杭州第一女子师范学校读书，直到婚后第四年都未能生育，婆婆便做主为胡冠英在家乡娶了一房小妾。接受了新思想的曹诚英无法忍受，于1922年底，与胡冠英离婚。
王映霞回忆：“我在杭州女子师范读书时就知道胡適，原因之一固然是因为他是中国新文化的早期传播者；原因之二是他的表妹曹诚英与我同校，但比我高一班。曹诚英长得不好看，而且是小脚，但同学都对她另眼看待，因为知道她是大名鼎鼎的胡適的表妹。胡適待这个表妹很好，关心她的学业。”
1923年，胡適到南方养病，在杭州重遇曹诚英。据曹诚英的亲戚、诗人汪静之说：“胡適来杭州的目的是为探视独居的‘小伴娘’。”
再见时，曹诚英已不是胡適印象中当年的小伴娘，汪静之曾这样形容曹：“她不算漂亮，但很迷人。先是令我着迷，后又使胡適着迷，她就是属于那不很漂亮，但有迷人魅力的女人！”
胡適和曹诚英一起在杭州游玩了4天，临别时，胡適为曹作小诗《西湖》：“十七年梦想的西湖，不能医我的病，反使我病的更厉害了……这回来了，只觉得伊更可爱，因而舍不得匆匆就离别了。”20多天后，胡適在5月25日的日记上粘贴了曹诚英随信寄来的8张在西湖拍的照片，其中一张是曹诚英的单身像。
5月底，胡適再一次南下杭州，这次，他们在杭州南山的烟霞洞边开始了同居生活。两人过着“神仙生活”，“出门看桂花，过翁家山，山中桂树盛开，香气迎人。我们过葛洪井，翻山下去，到龙井寺。我们在一个亭子上坐着喝茶，借了一副棋盘棋子，下了一局象棋，讲了一个莫泊三的故事”。胡適称，在烟霞洞与曹诚英一起生活的时光是他“一生中最快活的日子”（1923年10月3日日记）。
是年的中秋节，徐志摩应胡適之邀到杭州游玩，徐一眼就看出胡、曹关系非同一般。他问胡適：“尚有匿而不宣者否？”胡適直言：“有。”徐鼓励胡適忠于爱情，他在日记中写道：“适之是转老回童了，可喜。”
1923年底，胡適离开杭州回到北京，他住到西山秘魔崖，并写下这样的诗句：“山风吹乱了窗纸上的松痕，吹不散我心头上的人影。”这段时间的胡適日记中，频现“烦闷”二字。
1925年，曹诚英怀孕，胡適终于向江冬秀提出离婚。江冬秀先是拿着剪刀要刺胡適，被人拦下后又进厨房拿出菜刀，威胁胡適说：“你要离婚可以，我先把两个儿子杀掉！我同你生的儿子不要了！”胡適最后只能作罢。此事最后以曹诚英堕胎告终。
胡適和曹诚英之后一直有书信来往，他们还曾在上海汪孟邹家中幽会。江冬秀对此只能忍受。
1939年，曹诚英与