。
1952年4月16日，钱穆应朱家桦邀请，到台湾为“联合国同志会”演讲，活动借用淡江文理学院新落成但尚未验收的“惊声堂”举办，聚集四百余人聆听钱穆关于唐宋史的看法。演讲完毕，在答问之际，讲台前的屋顶突然掉下大水泥块，第一排的贵宾听众、活动主持人以及钱穆均遭波及，多人受伤，应邀听演说的立委柴春霖重伤当场死亡。意外发生时，钱穆头部遭到石块重击昏厥，险遭掉落的碎石活埋，众人将他从石堆中救出，送台北中心医院急救，幸而无性命危险。蒋经国、张群、何应钦等人闻讯，立即赶赴探望。身受重伤、不便行动且须治疗，钱穆只能赴台中存德巷养病四月，直到1952年八月才返港。
讲堂塌陷意外却开启钱穆的另一场人生意外，养病期间，任职台中师范学院图书馆的新亚学生胡美琦，因为与钱有师生关系，每天下午图书馆工作结束便来护侍，晚饭后离开，星期天则陪他到公园散步，并陪同钱穆到台中各地散步、旅游，也协助钱穆搜集藏书研究，随着相互了解的加深，两人渐生感情，为日后共结连理埋下种子。
胡美琦出身名门，江西南昌人，父亲是国民政府时期的江西省主席胡家凤，与钱穆本是旧识，1950年由港赴台任国策顾问；兄长胡美琼曾担任台湾省公路局长。胡美琦对历史与教育别有研究，日后曾在文化大学任教，文笔颇佳，钱穆晚年因眼疾无法专心著述，皆由胡美琦代整理付印才能顺利出版。
胡美琦曾说，两人之间并非浪漫的爱情，她因景仰钱穆人格学养，愿意委身下嫁，照料不时为胃疾困扰的钱穆。
一九五四年师范大学毕业后，胡美琦重回香港，两人经常相见。一次钱穆胃病复发，久治不愈，为了便于照顾，钱穆向她求婚，胡美琦答应了。
1956年春，62岁的钱穆与比他小35岁的胡美琦在香港结婚，两人在九龙亚皆老街更生俱乐部举行简单的婚礼，婚礼仅邀新亚同事眷属十余人参加。新婚洞房是在九龙钻石山一个贫民窟租的一套两室一厅。虽然条件简陋，钱穆却十分高兴，亲自撰写了一副对联：“劲草不为风偃去，枯桐欣有凤来仪。”
婚后钱穆与胡美琦仍暂住九龙钻石山，虽然不富裕，但生活饶富情趣，夫妇俩每天必然偕手散步。
钱穆与胡美琦缔婚，始有安定生活。胡美琦对钱穆的起居饮食也是照料得体贴入微。伉俪情深，老而弥坚，令人赞叹。乃至武侠小说家金庸在《神雕侠侣》最新修订版的后记中，专门提到了钱胡的这段“师生恋”，指出他们的结合当时曾经受到某些香港文人的批判，但是他却亲眼见到钱穆夫妇婚后幸福的生活，对他们深为敬佩。
胡美琦曾回忆她与钱穆的婚姻生活：
我们钻石山的那个家，仅有20余平米，就养了大大小小近百盆花草，摆满在窗框上柜子上书桌上茶几上阳台上。他用栽花赏花代替一部分书房运动。他永远保持着乐观心情，使家庭中朝气充沛。他喜欢接近大自然，我们在香港时，先后两个家都可以望月，可以观海。得了空闲，他喜欢自香港山顶看海上落日，看夜景，或是到九龙乡村漫游。他对于一年四季阴晴冷暖的变化，都觉得意味无穷。他喜欢饮下午茶，也喜欢围棋。但不喜欢和人对弈，他嫌那样费时伤神，所以更喜欢摆棋谱。在我觉得心情沉闷时，他常说，我来替你摆一盘棋吧。偶然也夫妻对下，他说：只有如此，胜也好，败也好，可以不伤神。
我最爱听他吹箫。我们住在九龙沙田的那一段日子，每逢有月亮的晚上，我喜欢关掉家中所有的灯，让月光照进我们整条的长廊，我盘膝坐在廊上，静听他在月光下吹箫，四周寂静，只听箫声在空中回荡，令人尘念顿消，满心舒畅。……迁到台湾后，他的牙齿全部拔光，装上了假牙就没有兴致再吹箫了。
钱穆先生晚年著述甚多，包括：《中国思想史》、《中国思想通俗讲话》、《人生十论》、《朱子新学案》、《双溪独语》、《宋代理学三书随劄》、《晚学盲言》等。钱穆先生晚年之所以还有这么多的成果，与这次婚姻有极大的关系。
钱穆弟子何泽恒说：“大凡到过素书楼的人，无不承认钱师母对宾四师的贡献。确切地说，没有师母，便没有宾四师的晚年。”
钱穆自己在写给幼女钱辉的信中也表达了对夫人襄助照料之功的感激：“我此数年来，双目失明，但还能写稿，都由你后母先誊正再改定。若非她，我此两年亦不能再写此许多稿。”73岁大病后，他更加快了写书的计划，到1971年花了7年时间完成巨著《朱子新学案》。此书是他晚年的代表作。国际汉学批评家杨联升读了该书后，赞叹不止，说钱穆治中国学术思想史，“博大精深，举世无能出其右者”。
钱穆后来完全目盲，夫人就帮他查阅旧籍，引述成语。文章写成后，又请夫人诵读，口授订正。他的最后一部著作《晚学盲言》就是这样诞生的。而钱先生晚年的最后一篇文章，是临终前三个月口授，由夫人记录整理而成的，这正印证了刚结婚时，钱穆对胡美琦所说：“不希望她是一个只懂管理家务的主妇，希望她做一个懂得他、了解他的知己。”
【抉择】
1949年8月，毛泽东针对美国国务院关于中美关系的白皮书以及艾奇逊国务卿给杜鲁门总统的信，写了5篇评论，揭露了美国对华政策的帝国主义本质，批评了国内一部分资产阶级知识分子对于美帝国主义的幻想。很不幸的是，在第一篇评论中，钱穆就被点了名。
钱穆在接到华侨大学聘函决定暂避之时，江南大学创办人、无锡商人荣德生劝他不要走。钱穆对荣的为人十分敬佩，即便如此，钱穆并没有听从荣德生的劝告。钱基博双胞胎的弟弟钱基厚也劝钱穆不要离去。钱穆坚拒。
为了避免争论，钱穆临走之时只说乘春假去旅行，为了给大家留下这样的印象，学校里他的床铺、书籍都原封不动。像《庄子纂笺》、《湖上闲思录》等书稿，也准备到达香港后，再让同住的学生寄过去。钱穆南渡没有携妻带子，是否也因为行动机密不得而知。
钱穆路过上海，江南大学同事、也是无锡同乡许思远知道他要离去，说，你暂时去避一避也好，等到秋天时局稳定下来，我们再在这里相见。
到了广州，钱穆在街头遇到了老朋友张晓峰，张告诉他准备去香港办一所学校，已经约好了谢幼伟、崔书琴。这次偶遇，钱穆恐怕根本没有想到，竟是他抛妻弃子、永离故土的开端。
之后，钱穆先去岭南大学访陈寅恪，邀请他赴港任教，遭到拒绝。又去乡间访熊十力，十力亦无意离开大陆。又给在重庆的梁漱溟去信邀请赴港，梁没有回复。再到中山大学见杨树达，但是杨决定离粤返湘。无奈之下，钱穆于当年秋随侨大迁回香港，同行者仅侨大同事赵冰夫妇。
避居香江的钱穆未能因此避开政治纷扰，毛泽东在《丢掉幻想、准备斗争》一文中，点名批判钱穆、胡适和傅斯年为“帝国主义及其走狗所能控制的极少数人”。
钱穆作为一名将中国传统文化奉为圭臬的儒者，对于发源苏俄的马列主义理论极为排斥，因此远走他乡。但同时，他对国家仍抱有深沉的爱，他所热爱的，是那个具有千年文明的故国，而非此一新国。
【苦痛】
1949年，钱穆离开大陆，避难港岛，虽然避免了被“思想改造”的劫难，但同时也付出了远离故土、抛妻弃子的代价。
据余英时回忆，钱穆初到香港时，曾经与余英时一家观看一场有关亲子之情的电影，向来能够“以理驭情”的钱穆，禁不住想起在大陆的儿女，悄然泪下。中国传统文化甚重父子之情，而此时已中年并且毕生信仰中国传统文化的钱穆，其落寞可想而知。
余英时回忆：有一年的暑假，香港奇热，他（钱穆）又犯了严重的胃溃疡，一个人孤零零地躺在一间空教室的地上养病。我去看他，心里真感到为他难受。我问他，有什么事要我帮你做吗？他说：我想读王阳明的文集。我便去商务印书馆给他买了一部来。我回来的时候，他仍然是一个人躺在教室的地上，似乎新亚书院全是空的。
钱穆高呼“对历史的温情与敬意”，近乎偏激地为传统文化辩护，为各种激进势力所不容。故当时的共产主义者与自由主义者都视之为封建余孽，不约而同的攻击与封杀他。于是，就有了建国后钱穆著作被禁直到改革开放，就有了向来标榜“宽容”的自由主义者胡适生前封杀钱穆进入“中研院”的举动。另外，即使是钱穆的拥趸，大多也并非他理想中的读者，因为钱穆毕生辛勤著述，是为故国招魂，是培养对中华传统文化抱有信仰的读者，但现实中大多数读者，离信仰中国文化还很遥远。故而作为保守主义者，钱穆注定要落寞。所以钱穆的余英时也不无叹息的说“钱先生无疑是带着很深的失望离开这个世界的”。
1978年，钱穆因黄斑变性症眼疾剧烈发作，无法正常视物看书，前后开了三次刀，静养半年后，并无显着成效。后在妻子胡美琦的帮助下，钱穆先生开始用口述录音的方法写作。视力受损后，在胡美琦协助下，钱穆仍先后出版《历史与文化论丛》、《从中国历史来看中国民族性及中国文化》、《中国通史参考资料》、《八十忆双亲》、《师友杂忆》、《宋代理学三书随札》等著作。
钱穆晚年数度轻微中风，加上年事已高，不适宜出国旅行，因此殷切期盼在清华大学教书的大女儿钱易能去台探望。1987年底梁实秋去世，长女梁文茜不能去送别父亲的遗憾激起民愤，台湾于1988年11月公布探亲奔丧办法。办法公布时，人在荷兰阿姆斯特丹进行学术访问的钱易，当月即申请赴台，成为两岸分隔四十年来第一位赴台探亲的大陆人士。能和女儿在外双溪共聚天伦，让钱穆激动而欣慰。只是当年迈的钱穆听到女儿细数家乡景色的变迁，不由得黯然地说：“此生恐怕是回不去了。”
钱穆曾说希望女儿赴台是趟单纯安静的旅程，然而民进党却揭发钱易赴台申请时掩饰了其具有共产党员等官方身份，要求国民党政府立刻处理；还以钱易在国立大学教书为由，检举她参加台湾方面定义的“叛乱组织”。陈水扁更具状控告钱易曾是共青团员，引发轩然大波。虽然钱穆父女都说以平常心看待这些不实在的说法，但树欲静而风不止，素书楼风波连连，还有人要告钱穆“知匪不报”，连串风波让钱家不得安宁。虽然台湾“高检署”在1988年底即对各相关控告处以不起诉决定，但钱易只能黯然离开台湾，希望争议到此为止。垂垂老矣的钱穆哀伤地说：“这些人已经完全抛弃了中国文化传统，不承认父女间的亲情，更不能理解他的女儿为何会从这么远的地方来看望父亲。”
后因陈水扁等人指责钱穆居住的素书楼产权一事，钱穆愤然搬离素书楼。眼疾缠身的钱穆，搬家时已不太能出门，也不太肯多讲话进食，记忆力明显减退，仅希望子女能在他生前去台一聚。但天不从人愿，在度过九十六岁的寿诞后，也就是迁出素书楼才三个多月，1990年8月30日，一代国学大师钱穆逝世于杭州南路新寓所。
【素书】
1967年钱穆偕夫人迁居台北，之后他们选择在山清水秀的外双溪自建屋舍，胡美琦女士亲自设计绘制了屋舍图样。蒋经国先生听闻此事，就要去图纸交阳明山管理局办理施工。第二年，钱穆夫妇搬入新居，自那时起，钱先生在此居住了20多年。
之所以选择落脚外双溪，钱穆表示，住在外双溪台北“故宫博物院”附近，可以就近利用故宫图书馆，看到世界上最丰富、珍贵的善本书。
“素书楼”之名源于钱穆无锡七房桥五世同堂故居中第二大厅的名称。先人取名来源已不可考，钱穆尝自解，或脱衍自《中庸》所记：“素贫贱，行乎贫贱；素夷狄，行乎夷狄；素患难，行乎患难；君子无入而不自得焉。”胡美琦指出，钱穆年幼患伤寒，又服错药，性命怠危，全赖母亲日夜陪他在故居素书堂养病而得痊愈，钱穆为纪念母亲生养之恩，因此命名。
素书楼不大，兴建时周边是一片荒凉的墓地，杂草丛生，产权为阳明山管理局所有。为表达对大师的敬重，台湾当局将素书楼无偿全权交给钱穆夫妇打理。房舍由胡美琦亲自设计，楼内一砖一石、一草一木都是主人多年心血照顾而来；步道两旁的枫树、房舍后方的竹子、四棵苍劲的古松，更是素书楼知名的景观。向来崇尚朱熹理学的钱穆，在素书楼藏有一座朱熹的木刻像，又将朱熹所言“静神养气”、“立修齐志，读圣贤书”�