不到一年时间，救灾荒，驱瘟疫，开西湖，除恶霸，一团乱麻很快就理顺了。有苏轼在，杭州百姓也能安心的生产生活，“东南第一州”渐渐恢复生机。太守与百姓协力，不愁干不成事儿。苏轼有个很好的习惯，早上清醒时，拿个小本记下今天该做的事，做完一件勾一件。当晚全勾上了，心里就很舒坦，也睡得香甜，偶尔还能挤出点空闲诗酒作乐。事虽繁，生活却也充实，比在汴京城强。然而为官声名太好，一般都会往上调。苏轼从不邀功，但朝廷还是找上门来，请他还朝。朋友道喜，苏轼苦笑：“我本是乞外放来此的，哪儿会老想着回去呢。”

　　一日，宫里派御史下来，交代公事完毕，便同苏轼并一帮官吏喝酒。喝得差不多了，御史遣散众人，单请苏轼留下，神神秘秘地掏一包茶叶出来，说是哲宗赐的，还附了一道密谕，为哲宗亲笔：“赐予苏轼，不得令人知。”小皇帝哲宗尚未亲政，他这会儿惦记老师或许是真的。然而哲宗性格古怪，今天还笑嘻嘻的，明天可能就换成一副鬼脸，苏轼后来为此吃了不少苦头。

　　苏轼叩谢，但依旧不愿回京。元祐五年底，高太后两度面谕，要苏轼还朝，还有消息说要召苏轼为吏部尚书。苏轼推来推去，终究很难拗过。同一时间，身在京城的苏辙官帽如飞，直逼相位。高太后太在乎这两兄弟了，纵有百般阻挠，依旧强行贯彻她的旨意。但这样一来，苏轼兄弟也再度成为朝中小人攻击的焦点。元祐六年（1091）二月，高太后以苏辙为尚书右丞，另召苏轼以翰林学士还朝。兄弟二人几乎就要权倾朝野，小人们顿时乱作一团。然而苏辙连上四状，辞不接受，苏轼亦然，以为弟弟即当宰辅之位，做哥哥的理应避嫌。无奈高太后也很坚决，依旧不许。

　　元祐六年（1091）三月，苏轼离杭。