石田三成對這件事耿耿於懷，立刻向秀吉進讒言。如水聽說這件事後，拋下在朝鮮的軍隊回國解釋，沒想到這麽做卻更加觸怒了秀吉，拒絕接見回國的如水。如水感到大禍將至，采取了他最後的手段。
為了使狂怒的秀吉原諒自己，如水決定出家。文祿二年（1593年）七月，黑田官兵衛剃發，法號如水園清，開始了他隱居的生活。這個名字的由來是來源於“水乃方圓之器”“人在毀譽褒貶之間，心如水般清澈。”這兩句古語。本來官兵衛做好了最壞的打算（被迫切腹）。文祿三年（壹五九四年）八月九日，他寫下了對嫡子長政的五條教訓之書。隨後命令弟弟黑田利高和家老粟山善助將這篇教訓狀送到了在朝鮮的長政手裏。
最終，秀吉念及如水過去的顯赫戰功，取消了切腹的命令，決定不再問罪。同時，秀吉向長政傳話，讓他免除後顧之憂。
但這時候的如水與秀吉已經貌合神離了，他開始私下與德川家康接觸。慶長三年（壹五九八年）八月十八日，豐臣秀吉病死，享年六十三歲。正如如水所料想的那樣。秀吉死後，家康的野心已經暴露無遺了。
後來的慶長五年（壹六零零年）七月，家康舉兵討伐上杉家，秀吉的遺臣石田三成認為打倒家康的好機會來到了，於是在居城佐和山舉兵，關原之戰揭開帷幕。
聽到家康出兵的消息，如水立刻命令兒子長政參加家康軍，自己則和壹部分家臣壹起在豐前中津城留守。這時候，如水受到了三成寄來的密信：“請叫回您的兒子甲斐守（長政），加入我這壹邊來吧。”如水在回信中說，“如果妳把九州七國賞賜給我的話，我就加入。”
結果，還沒等三成的密使把他的話帶回大阪，官兵衛已經舉兵了，他將平時所積蓄的金銀和米糧全部分發給各地的浪人，軍隊的數量很快飈升至九千人。得知官兵衛招募了這麽多士兵的家康和三成壹時間都無法判斷他這麽做的目的。
與此同時，因在朝鮮戰場怯陣逃跑而被改易的大友義統得到石田三成資金上的支持和豐後國壹國安堵的保證後，從海路殺回母國豐後。慶長五年九月九日，大友軍在別府灣上陸後布陣於速見郡立石。原大友家臣吉弘統辛聽到這個消息後立刻放棄了築後柳川立花家兩千石的優厚俸祿趕至豐後，竹田中川家的重臣田原紹忍也帶著中川家的旗印前來加勢。再加上四周聞訊而來的舊臣，兵力很快擴張至數千人。
九月十日，吉弘統辛率百余人夜襲木付（杵築）城，遭到東軍松井康之部（細川家臣）的頑強抵抗。大友軍在苦戰攻入二之丸後，得到黑田援軍即將趕到的消息。不得不從海路退回立石。
在與大友軍交戰前，如水向義統發去書信，言及：“請與我站在壹起，為東軍盡忠。”如水的目的是為了減少兵力上的消耗，此時的他的心中已經謀劃出天下三分的藍圖，即先定九州，再攻中國，進而與中原大戰的勝者爭奪天下。
在沒有得到大友義統明確答復的情況下，黑田隊與細川隊於十三日早朝從木付城出發，黑田布陣於角殿山、細川隊則在實相寺山遙相呼應。聯軍的位置距離石垣原的大友軍直線距離僅三千米。不久，細川軍中的時枝平太夫隊在出擊時遭遇了大友軍的先頭部隊，雙方在五町（約五百五十米）的距離對峙。行至正午，兩軍逐漸接近並引發戰端。大友軍前部用鐵炮不斷向時枝隊射擊，後在松田有吉隊的攻擊下敗退，但時枝隊在反攻中被大友軍的密集鐵炮重創。不久，吉弘統辛在與松井有吉隊的激戰中陣亡。至下午六時，大友軍損失了吉弘統幸與宗像鎮續兩員大將，敗局已定。如水隨即率本隊趕到實相寺山勸說義統投降。十五日，義統通過母裏太兵衛向東軍投降。（後義統以死罪減壹等判流放常陸國）
在擊敗了大友軍之後，如水繼續以破竹之勢攻克了三成方在九州的諸城。僅用兩個月時間就完全平定了豐前豐後兩國。此時，各地的守城軍隊都已經被派到關原戰場。九州已經沒有可以與之對抗的勢力了。
但如水的野心卻在九月十三日那天早早地結束了，這是因為在關原合戰中以德川為首的東軍僅用壹天時間就擊敗了石田為首的西軍。由於如水此前壹路攻打的均是西軍的城池，因此在戰後被免於處罰。
如水的嫡子長政憑借著在關原戰場上獲得的軍功得到了築前（福岡縣）五十二萬三千石的大封，如水則從豐前的中津城搬到了築前的名島城。但是三面臨海壹面環山的名島城無法滿足官兵衛的需求。於是，他就在古時候就以商業繁榮著稱的博多以西，福崎的丘陵地帶建造了壹座新城。如水以黑田家最初發展之地備前福岡為這座城命名。也就是今天的福岡市。隨後，如水選擇了這座城的三之丸作為自己的隱居之所，靜靜的渡過了自己的余生。
慶長九年（壹六零四年）三月二十日，住在伏見藩邸的官兵衛誦讀了早已準備好的辭世句，在短冊上親自寫下了自己的名字，交給長政。不久在辰時（上午八點）靜靜的停止了呼吸。
“おもひをく ，言の葉なくて つひに行く。
道はまよはじ， なるにまかせて。 ”
法號龍光院如水園清。葬於博多崇福寺。享年五十九歲。
[編輯本段]對黑田如水的評價
如果要用兩個字來形容如水壹生的話，我也許會說是“悲劇”。畢竟，壹個跟隨秀吉數十年的重臣，到攻打九州的時候卻僅擁有三萬知行，全國統壹後也不過得到十二萬石，勉強算是中等大名。最後，還是靠了自己的兒子才掙得了這五十二萬石的封賞。觀其壹生，雖謀略不凡，卻因為鋒芒過露而被其主秀吉嚴防。想來的確是很可悲的。
但我們又不能就此說如水是失敗者。因為照武家的標準來說，個人是否成功看“名”，家族是否成功看“利”。這兩點如水和他的黑田家都做到了。退而言之，即便是被稱為不成功的九州攻也並非壹無所獲。在以暴力手段摧毀了豐州的舊勢力後，黑田家在後來的整個江戶時代都擁有對整個九州東北部（築前、豐前、豐後）的絕對領導權