蔑他的保守派也无法在这方面找出他的缺点，只得假惺惺地赞扬他一番，以示公允。
王安石不仅终生不纳姬妾，还将夫人为他买的妾完璧归赵，为后世留下一段佳话。据《邵氏闻见录》卷十一：
王荆公知制诰，吴夫人为买一妾。荆公见之，曰：“何物也？”女子曰：“夫人令执事左右。”安石曰：“汝谁氏？”曰：“妾之夫为军大将，部米运失舟，家资尽没犹不足，又卖妾以偿。”公愀然曰：“夫人用钱几何得汝？”曰：“九十万。”公呼其夫，令为夫妇如初，尽以钱赐之。
王安石为知制诰是在嘉祐六年（公元1061年），当时他的诸弟皆已成立，家中负担不像过去那么重了，而且他还任工部郎中，纠察在京刑狱，官职与俸禄都有提升，已经步入社会上层了，因此贤惠的吴夫人也想让丈夫享受一下上流社会的待遇，偷偷为他买了一个妾侍奉左右。大概王安石家中当时既无姬妾，又无丫环侍女，因而看到家中出现一个陌生的年轻女子感到非常吃惊，忙问她是什么人。这女子告诉他是夫人令其侍奉左右的，王安石便明白了，又问她姓氏家世，女子则答称本为军中大将之妇，由于丈夫运米失舟，按照规定必须赔偿，结果用尽全部家产也不够，只好将她卖掉抵债。王安石对她的悲惨境遇十分同情，就将这一女子的丈夫唤来，令其夫妇相聚如初，并将买妾花费的九十万钱尽赏他们。
王安石奉还夫人又送钱，可称得上是一件大功德，这种行为和品格不是一般人所能有的。他的道德可以说已经远远超出了一般的士大夫的道德水平，虽不能说是惊世骇俗，也算得上迥出群侪了。
王安石不好声色、不爱官职、不殖货利，近乎无欲，并不是由于他心如死灰，事实上他是一个感情丰富、性格开朗、风趣幽默的人。他的无欲既出乎天性，又是严格自律的结果，他也并非为无欲而无欲，而是为了克服人性本身的弱点，进入一个真正的自由境界。
孔子曾问弟子何人称得上刚，有人以申枨孔子弟子，鲁国人，贪欲较多。对之，孔子则曰申枨多欲，怎么称得上刚。可见在孔子心目中，刚是一种内在的不可倾动的品格，并非外在的高大威猛。俗话说，“吃人家的嘴短，拿人家的手短”，欲望多的人必然有求于人，有求于人，不管身体多么壮健，权力多么大，地位多么高，都得矮人一等，都得低眉折腰。对外有欲就是自身不足，自身有所不足，则称不上刚，因而无欲则刚是孔子强调的真理。
王安石可谓得大刚之气者，据《佛祖历代通载》卷二十八记载：
蒋山赞元禅师，……舒王初丁太夫人忧，读经山中，与元游，如昆仲。问祖师意旨，元不答。王益扣之，元曰：“公般若有障三，有近道之质，一两生来恐纯熟。”王曰：“愿闻其说。”元曰：“受气刚大，世缘深。以刚大气遭深世缘，必以身任天下之重，怀经济之志。用舍不能必，则心未平，以未平之心持经世之志，何时能一念万年哉？又多怒，而学问尚理，于道为所知愚，此其三也。特视名利如脱发，甘淡泊如头陀，此为近道，且当以教乘滋茂之可也。”王再拜受教。
txt小说上传分享
至人无欲（2）
王安石在嘉祐、治平间丁母忧时居江宁，读经山中，与蒋山赞元禅师游，亲如兄弟。他问禅门祖师意旨，赞元却不答，再三请教，赞元则告之他有三重般若之障，今生学佛不易，但又有近道之质，经一两辈子就可以纯熟，证得大道。王安石道是愿闻其详。赞元则答曰，受气刚大，世缘深重，以刚大之气加上深重的世缘，必然以一身任天下之大事，怀经世济民之志，如此则只能入世，难以出世。如果不能得君行道，才得其用，则心不能平，有怀才不遇之感，以不平之心持济世之志，则意不能安，不能安静，如何体味佛教一念万年、超越三世的境界？又性格多怒，多怒则多烦恼，此为烦恼障；学问尚理，崇尚理性、注重分别恰恰是所知障。心不能平、性多怒、学问尚理构成学习佛教、获得般若智慧的三重障碍，想马上悟道成佛是不可能的。但不重名利，视之若落发，身无噬欲，自奉如头陀，这又是不可多得的近道之质，只要多读佛经、以教乘加以滋养就可以了。看来赞元禅师认为王安石不适合学禅，鼓励他读佛经、明教理，以此入道，这一说法有无道理暂且不论，他对王安石的评价与了解还是切中实际的。
王安石刚正无欲，使得他超出了自身的局限，克服了人性的弱点，从而使自己进入一个真正自由的高级境界，对名利、声色、进退、出入无动于衷，认为穷达、是非、恩怨、人我无关于己。他不愿再为轻于一毛的世间功罪而劳身耗神了，走向自然、回归自我成了他唯一的选择，因此他的辞官归隐就成了一个无法改变的必然归宿。
王安石二次罢相是他自己屡次请求的结果，并非是由于神宗对他恩遇已衰，也不能说是他意志衰退的表现。如果第一次罢相主要是由于受到政治压力，那么第二次罢相则完全是他个人的意愿和主动的选择，而且这一次他是下定了再也不问政事的决心，无论如何也不会再次出山了。
神宗与王安石相知最深，起初神宗很不情愿，但他明白了王安石的心愿之后，决定成全，不再打扰他，这也是他对这位既有能力，又有道德，对他也最为忠心的老臣的报答。
后世俗儒根本不能理解王安石的用心，总是以己度人，以为放着好好的宰相不做，肯定有难以言喻的苦衷，肯定是不得已的，因此捏造了不少故事和流言来解释他们自己心中的疑惑。如谓王安石归山之后，一直希望再次起用，一次神宗派中使前来赐金，王安石初闻大喜，以为将再得用，后来发现只是赐金，于是气急败坏，干脆赌气不受，将黄金转送寺院。又道神宗厌弃王安石，故八年不复召，临终亦以司马光托孤，不用王安石。还称元丰改官制，王安石大吃一惊，认为如许大事不让他知道，肯定是皇帝对他有怨气，于是做诗歌颂元丰，以谄媚神宗，得全性命云云。
此类妄说既不知安石，又不明神宗，更不知二人相知之深、情谊之厚。王安石既然下决心归隐山林，又怎么会期待被再次起用？他要是依恋相位，又何必一再辞职？如果神宗厌弃王安石，又怎么会一再遣使问候，终生恩遇不衰？以神宗与王安石相知之深，知道他这次是彻底下了决心，无论如何也不会再出来了，他又何必打扰一个退职的忠心耿耿的老臣，让他不得安宁？元丰改官制，怎么会跟一个退职的人商量，王安石岂是如此不明事理、气量狭小的人？以王安石的个性，让他谄媚皇帝、以求保身是不可想象的，以为神宗有意加害安石更是痴人说梦，造谣诬蔑。
王安石以自己的忠心和诚意赢得了神宗的理解，使他得以未到耳顺之年即悠游林下，与猿鹤为伍，同山川为伴，自由自在地度过了最后的十年。