南转，从雷州半岛渡海。他一到雷州，听说他弟弟子由在往雷州半岛贬谪之处，刚刚经过此地。据揣测说，苏氏兄弟被贬谪到这个地方，是因为他俩的名字与地名相似（子瞻到儋州，子由到雷州），章惇觉得颇有趣味。子由也带了妻子、第三个儿子，和三儿媳妇，他们几年前一直和他在高安住过的。
苏东坡到了梧州附近的藤州，与弟弟子由相遇，而今境况凄凉。当地是个穷县分，兄弟二人到一个小馆子去吃午饭。子由吃惯了讲究的饭食，对那粗糙麦面饼实在难以入口。苏东坡把自己的饼几口吃光，笑着向弟弟说：“这种美味，你还要细嚼慢咽吗？”他们站起身来走出小铺子去，带着家人慢慢向前走，尽可能慢走，因为他知道一到雷州，就要立刻渡海了。
雷州太守一向仰慕苏氏兄弟。他予二人盛大欢迎接待，送酒食，结果第二年因此遭受弹劾，调离任所。子由在雷州的住处，后来改为一座庙，是他兄弟二人死后，用以纪念他们的。
苏东坡必须出发了，子由送他到海边。离别的前夕，兄弟二人及家人在船上过了一夜。苏东坡的痔疮又发，甚为痛苦，于由劝他戒酒。二人用一部分时间一同作诗，苏东坡试探出子由最小的儿子的诗才。这次离别是生离死别，真是令人黯然销魂，一直愁坐整夜。离别之前，苏东坡给王古写了下面的文句：“某垂老投荒，无复生还之望。春与长子迈诀，已处置后事矣。今到海南，首当做棺，次便做墓。仍留手疏与诸子，死即葬于海外，生不契棺，死不扶瞑，此亦东坡之家风也。”
那天，他向先贤调祈祷。有一个庙，供奉征南二将军的神像。凡是在此风涛险恶之处，过海的旅客，都求神谕，决定吉日良辰开船。过去发现神谕无不应验。苏东坡也遵照习俗行事。
在绍圣四年（一○九七）六月十一日，苏氏兄弟分手，苏东坡和幼子和雷州太守派的沿途侍奉他的几个兵上了船。航程很短，在此晴朗的天气，苏东坡可以看见岛上山峦的轮廓矗立于天际。他心中思潮起伏。大海对他不像对西方诗人那么富有魔力。实际上，他已经是“眩怀丧魄”了。但是一路平安无事。登岸之后，苏东坡父子向西北岸的儋州目的地前进，七月二日到达。
他到达不久，一位很好的县官张中就到了。张中不但对苏东坡这位诗人佩服得五体投地，而且他本人又是个围棋高手。他和苏过后来成了莫逆之交。二人常常终日下棋，苏东坡在旁观战。由于张中的热诚招待，苏东坡就住在张中公馆旁边的一所官舍里。不过也是一所小旧房子，秋雨一来，房顶就漏，所以夜里苏东坡得把床东移西移。因为是官家的房子，张中用公款修缮一番，后来因此为他招了麻烦。
由中国人看来，海南岛根本不适于人居住。在夏天极其潮湿，气闷，冬天雾气很重。秋雨连绵，一切东西无不发霉。一次苏东坡看见好多白蚁死在他的床柱上。这种有害于人的气候，颇使人想到长生之道。苏东坡写过下面一段文字：
〖岭南天气卑湿，地气蒸褥，而海南为甚。夏秋之交，物无不腐坏者。人非金石，其何能久？然信耳颇有老人百余岁者，八九十者不论也。乃知寿夭无定，习而安之，则冰蚕火鼠皆可以生。吾甚湛然无思，寓此觉于物表。使折胶之寒无所施其冽，流金之暑无所措其毒。百余岁岂足道哉！被愚老人者初不知此，如蚕鼠生于其中，兀然受之而已。一呼之温，一吸之凉，相续无有间断，虽长生可也。九月二十七日。〗
在海岸上的市镇之后，岛内居住的黎族，与内地的移民相处并不融洽。他们住在热带的山上，后来在日军偷袭珍珠港之前，他们为日本效力，训练丛林战术。本地人不能读书写字，但规矩老实，常受狡诈的汉人欺骗。他们懒于耕种，以打猎为生。像在四川或福建的一部分地方一样、他们也是妇女操作，男人在家照顾孩子。黎民的妇人在丛林中砍柴，背到市镇去卖。所有的金属用具如斧子、刀、五谷、布、盐、咸菜，都自内地输入。他们用乌龟壳和沉水香来交换，沉水香是中国应用甚广的有名熏香。甚至米也自内地输入，因为当地人只吃芋头喝白水当做饭食。在冬天自大陆运米船不到时，苏东坡也得以此维持生活。
当地居民非常迷信，患病时由术士看病，没有医生。土人治病的唯一办法是在庙中祷告，杀牛以祭神。结果，每年由大陆运进不少的牛专为祭神之用。苏东坡是佛教徒，设法改变此一风俗，但风俗改变，谈何容易，他曾写过下列文字：
〖岭外俗皆杀牛，而海南为甚。客自高化载牛渡海、百尾一舟。遇风不顺，渴饥相倚以死者无数，牛登舟皆哀鸣出涕。既至海南，耕者与屠者常相半。病不饮药，但杀牛以祷，富者至杀十数牛。死者不复云，幸而不死，即归德于巫。以巫为医，以牛为药。间有饮药者，巫辄云神怒，病不可复治。亲戚皆为却药禁医，不得入门，人牛皆死而后已。地产沉水香。香必以牛易之。黎人得牛皆以祭鬼，无脱者，中国人以沉水香供佛燎帝求福，此皆烧牛肉也，何福之能得？〗
内地人始终不能征服那些丛林中的居民。官兵一到，他们只要退入丛林中，官兵根本不想到山中居住，自然不肯深入。黎民有时因与汉人有争吵纠纷，也偶会进袭市镇。有时被商人所欺，在衙门得不到公道审判，他们唯一的办法，就是把此人捉住不放，然后将金钱索回。苏过后来写了两千字一篇长文，论此种情形，并表示对此丛林蛮族无法征服，只有公平相待，公正管理。他认为此等土著是老实规矩的百姓，因为官府不替他们主持公道，他们才被迫而自行执法。
这次到海南岛，以身体的折磨加之于老年人身上，这才是流放。据苏东坡说，在岛上可以说要什么没有什么。他说：“此间食无肉，病无药，居无室，出无友，冬无炭，夏无寒泉，然亦未易悉数，大率皆无尔。惟有一幸，无甚瘴也。”
但是他那不屈不挠的精神和达观的人生哲学，却不许他失去人生的快乐。他写信给朋友说：“尚有此身付与造物者，听其运转流行坎止无不可者，故人知之，免忧煎。”
使章惇和苏东坡的其他敌人烦恼的，是他们竟无奈苏东坡何。在哲宗元符元年（一○九八）十二月十二日，他在日记中写自己的坎坷说：
〖吾始至南海，环视天水无际，凄然伤之曰：“何时得出此岛也了”己而思之：天地在积水中，九洲在大赢海中，中国在少海中。有生孰不在岛者？譬如注水于地，小草浮其上，一蚁抱草叶求活。已而水干，遇他蚁而泣曰：“不意尚能相见尔！”小蚁岂知瞬间竟得全哉？思及此事甚妙。与诸友人小饮后记之。〗
苏东坡也许是固执，也许真是克己自制，至少也从未失去那份诙谐轻松。僧人参寥派一个小沙弥到海南岛去看他，带有一封信和礼品，并说要亲身去探望。苏东坡回信说：“某到贬所半年，凡百粗遣，更不能细说。大略似灵隐天竺和尚退院后，却在一个小村院子折足裆中罨糙米饭吃，便过一生也得。其余瘴疾病人，北方何尝不病，是病皆死得人，何必瘴气？但若无医药，京师国医手里，死汉尤多。参寥闻此一笑。当不复忧我也。相知者即以此语之。”
他在此岛上的人生态度，也许在他贬居此地最后一年后，在杂记中所写的那段话表现得最清楚：
〖己卯上元，余在儋耳，有老书生数人来。过曰：“良月佳夜，先生能一出乎？”子欣然从之，步城西，入僧舍，历小巷。民夷杂揉，屠酤纷然，归舍已三鼓矣。舍中掩关熟寝，已再鼾矣。放杖而笑，孰为得失？过问：“先生何笑？”“盖自笑也，然亦笑韩退之钓鱼无得，便欲远去。不知走海者未必得大鱼也。”〗
苏东坡一次对他弟弟说：“我上可以陪玉皇大帝，下可以陪卑田院乞儿。在我眼中天下没有一个不是好人。”现在他就和默默无名的读书人、匹夫匹妇相往还。和这些老实人在一起，他无须乎言语谨慎，他可以完全自由，可以名士本色示人。他从没有一天没有客人，若是没人去看他，他会出去看邻居。像以前在黄州一样，他与身份高身份低的各色人，读书人、农夫等相交往。闲谈时，他常是席地而坐。他只是以闲谈为乐。但是他也愿听别人说话。他带着一条海南种的大狗“乌嘴”，随意到处游逛。和村民在槟榔树下一坐，就畅谈起来。那些无知的穷庄稼汉，能对他说什么呢？庄稼汉震于他的学识渊博，只能说：“我们不知道说什么。”苏东坡说：“那就谈鬼。好，告诉我几个鬼故事。”那些人说并不知道什么有趣的鬼故事。苏东坡说：“没关系，随便说你听到的就行。”后来苏过告诉他的朋友说，他父亲若一天没有客人来，他就觉得父亲好像不舒服。
甚至于在如此地远天偏的地方，那群政敌小人也不让他安静消停。绍圣三年（一○九六）是迫害老臣雷厉风行的一年。在绍圣四年（一○九七），快到旧年除夕了，两个元佑大官在十天之内先后死亡，情况可疑。在春天，那两个官员的子女也遭监禁，老太后的秘书也处了死刑。所有遭贬谪的官员，都又调迁地方。那年夏天遭到调迁的官员之中，有苏子由、秦观、郑侠，我们还记得郑侠就是献图推翻王安石的宫门小吏。
三月，神奇道士吴复古，又在海南岛出现，和苏东坡住了几个月。他带来的消息是，朝廷派董必来视察并报告受贬谪的大臣的情形，如有必要，再弹劾起诉。那时儋州隶属广西省。最初朝廷打算派吕升卿到广西（吕升卿是恶迹昭彰的元佑大臣的死敌吕惠卿的弟弟）。对苏氏兄弟说，吕升卿一来，他俩不死也要脱层皮。但是曾布和另一个官员劝阻皇帝，说吕升卿必不能从公禀报，必致激起私仇大恨。那样，朝廷就是超乎极端了。因此一劝，吕升卿改派到广东，董必派到广西。果不出所料，董必找出了纰漏，他说苏子由强占民房，雷州太守厚待罪臣并善予照顾。太守乃遭撤职，苏子由改调到惠州以东地区，当年苏东坡曾谪居在那里。
董必要自雷州半岛到海南，就如瘟神下降，但是他的副手彭子明对他说：“别忘记你也有子孙。”董必听了遂停止不去，只派下属过海，察看苏东坡的情形。那个官员发现苏东坡住在官舍里，颇受太守张中优待，张中后来遂遭革职。
苏东坡被从官舍逐出，必须用仅有的一点钱搭个陋室居住。他住的地方是城南一个椰子林。当地的居民，尤其是那些穷读书人的子弟，来亲自动手帮助他盖房子。那是一栋简陋的房子，面积是五间大，但大概只盖了三间。他名此新居“槟榔庵”。房后就是槟榔林。夜里躺在床上，能听见黎民猎鹿的声音，鹿在那个地区为数甚多。有时早晨有猎人叩门。以鹿肉相赠。在五月他给朋友写信说：“初至做官屋数椽，近复遭迫逐。不免买地结茅，仅免露处。而囊为一空。困厄之中，何所不有？置之不足道，聊为一笑而已。”
苏东坡很少恨别人，但他至少不喜爱董必。他必须向把自己赶出屋去的这个朝廷官员开个玩笑。“必”字在中文其音同鳖。他写了一篇寓言，最后提到鳖相公。有一次，东坡喝醉，这篇故事就这样开始。有鱼头水怪奉龙王之命，前来把东坡拉往海中。他去时身穿道袍，头戴黄帽，足登道履，不久便觉行于水下。忽然雷声隆隆，海水沸腾。突然强光一闪，他发现自己已经站在水晶宫中。像普通所说的龙宫一样，龙宫中有好多珠宝、珊瑚、玛消，其它宝石等物，真是精工点缀，琳琅满目。不久，龙王盛装而出，二宫女随侍。苏东坡问有何吩咐。不久，龙后自屏风后出来，递给他一块绢，有十尺长，求他在上面写诗一首。对苏东坡而言，再没有比作诗容易的事。他在绢上画了水国风光和水晶宫的霞光瑞气。他写完诗，各水中精灵都围着看。虾兵蟹将莫不赞美连声。鳖相公当时也在。他迈步走出，向龙王指出东坡诗内有一个字，是龙王的名字，应当避圣讳。龙王一听，对苏东坡大怒。苏东坡退而叹曰：“到处被鳖相公厮坏！”
苏东坡写了三四个寓言故事，但是中国文人写的想象故事，直到宋时代才真有发展，苏东坡写的也和唐宋寓言作家一样，都是明显的道德教条加上微薄的一点想象而已。
在他自己盖了几间陋室之后的两年半期间，他过的倒是轻松自在的日子，只是一贫如洗而已。他有两个颇不俗气的朋友，一个是为他转信的广州道士何德顺，另一个是供给他食物、药物、米、咸菜的谦