До этого времени главного священника храма Дайтокудзи всегда назначал император, но Иэясу, первый сёгун правительства Токугава, пытаясь распространить свою власть на все сферы жизни, пожелал делать это сам. Император Гомидзуно в гневе отрекся от престола. Вскоре после этого Иэясу умер, так и не добившись своего, но второй сёгун, Хидэтада, продолжил его дело. Хидэтада предъявил столь высокие требования к священникам, что монахи Дайтокудзи выступили с протестом, за что Такуан и еще пятнадцать священников были лишены званий и сосланы на север Японии. Но уважение к Такуану было настолько велико, что ему разрешили поселиться в имении даймё провинции Каминояма (ныне провинция Ямагара). Такуан прожил здесь с 1629 до 1632 года.
В ссылке Такуан продолжал общаться с людьми, которые приходили к нему со всех уголков страны. Вдохновленные изучением дзэн под руководством Такуана, его последователи Есиро-но-ками и Мацумото Садаеси вскоре основали, соответственно, школу Дзитокуки-рю поединка на копьях и школу Исси-рю поединка на мечах. Кроме того, живя в замке Каминояма, Такуан заложил на его территории парк. К этому же времени относится и его эссе об искусстве создания парков в дзэнском стиле.
После смерти Хидэтада в 1632 году к власти пришел третий сёгун, Иэмицу, который пожаловал Такуану амнистию и разрешил поселиться в Эдо (ныне Токио), а еще через три года позволил ему вернуться в Киото. По приезде в Эдо Такуан оказался в необычном положении. Три года назад он был лишен звания и сослан за протест против действий первых двух сёгунов, а теперь он должен был служить третьему сёгуну, Иэмицу.
2 июля 1637 года Такуан и два других буддийских священника из числа сосланных вместе с ним были приглашены в замок Эдодзе, резиденцию сёгуна Иэмицу, для выяснения судьбы храма Дайтокудзи. Дело в том, что после «выступления пурпурных мантий», за которым последовала ссылка старших монахов этого храма, сам храм оказался в запустении. После встречи с сёгуном всем священникам вернули их звания и разрешили вернуться в Дайтокудзи.
Сёгун Иэмицу доверял Такуану и пожелал, чтобы он остался в Эдо и стал его советником. Такуан выполнил волю сёгуна, и впоследствии тот часто вызывал его в замок Эдодзе для неформальных бесед. Иногда сёгун проводил в разговоре с Такуаном целый день, собственной персоной посещая имение своего учителя фехтования Ягю Мунэнори Тадзима-но-ками, на территории которого жил Такуан и для которого Такуан написал свой самый известный трактат об искусстве меча «Тайное писание о непоколебимой мудрости». Однажды сёгун лично провел чайную церемонию для Такуана, чтобы показать ему свою богатую коллекцию старинных чайных приборов. Из буддийских монахов один лишь Такуан удостоился этой небывалой чести.
Во время общения с Такуаном к Иэмицу возвращалось утраченное спокойствие ума. В присутствии просветленного дзэнского мастера сёгун чувствовал себя прежде всего человеком, забывая о своем звании, положении и богатстве. Для Иэмицу Такуан был духовным учителем, политическим советником и просто старшим другом.
Поскольку Иэмицу хотел во что бы то ни стало удержать Такуана в Эдо, он решил построить для него храм и назначить его управляющим всеми буддийскими сектами и храмами. Но Такуан, всю жизнь боровшийся за независимость буддизма от политической власти, отказался от этой должности, назвав дьяволом священника, на которого ранее была возложена эта миссия. Тогда Ягю Тадзима-но-ками предложил сёгуну компромисс: Такуан будет жить в Эдо в небольшом храме, не имея никакого отношения к политике.
В 1638 году во время торжественной чайной церемонии в замке Эдодзе Иэмицу объявил, что «велит своим зодчим возвести для Такуана храм в местности Синагава и дарует храму близлежащее рисовое поле». Иэмицу был рад, что может сделать что-то для своего учителя, но Такуан, для которого храмом была вся вселенная, остался равнодушным. Хотя Такуан уважал сёгуна и заботился о нем, чем больше Иэмицу пытался осчастливить Такуана, тем больше Такуан чувствовал, что вовлекается в нечто совершенно чуждое для себя. Очевидно, представления о счастье у сёгуна и у дзэнского мастера различались.
Пока для Такуана строили храм, он отправился в Киото, чтобы отпраздновать тридцать третью годовщину смерти своего учителя Кеко Дзэндзи. В Киото он посетил семью бывшего императора Гомидзуно, который попросил его выступить во дворце с лекцией о буддизме. Чтобы подготовиться к лекции, Такуан на месяц удалился в домик, который бывший император построил для Исси. В назначенный день знатные придворные и священники собрались на лекцию, которая стала выдающимся событием.
По окончании лекции бывший император вручил Такуану памятные подарки и заявил о своем решении присвоить ему титул кокуси. Такуан вежливо отказался, предложив присвоить этот титул не ему, а новому настоятелю Дайтокудзи, монаху по имени Тэцуо. Император принял это предложение, и Такуан так и оставался до конца жизни Такуаном Осе. Несмотря на просьбы бывшего императора и сёгуна Иэмицу, Такуан также не назначил своего преемника в дзэн, сказав: «Я не смог передать Дхарму в эпоху великой смуты, тридцать лет назад. С тех пор я не думаю о преемниках. Мой дзэн всегда останется моим дзэн».
В 1639 году строительство в местности Синагава было завершено. Возведенный по приказу сёгуна, новый храм был назван Банседзан Токайдзи. Неподалеку от храма Иэмицу расквартировал три тысячи своих верных воинов, которые должны были днем и ночью охранять Токайдзи и следить за тем, чтобы Такуан не покидал Эдо. Люди называли это войско «стражниками Такуана».
Когда Такуан поселился в храме Токайдзи, поток посетителей к нему никогда не прекращался. Часто Такуана вызывали в Эдодзе, а иногда к нему в гости приезжал сам сёгун. Жизнь Такуана в Эдо была полна суеты, и было лишь одно событие, которое сделало его счастливым. В 1641 году по доброй воле сёгуна храму Дайтокудзи были возвращены все его прежние привилегии. «Для смиренного монаха нет ничего отраднее этой доброй вести. Теперь мне можно спокойно умереть», – писал Такуан в письме.
В 1644 году Такуану разрешили съездить к себе на родину в провинцию Тадзима, где он не был в течение семи лет. По дороге Такуан посетил храм Дайтокудзи и бывшего императора Гомидзуно. Затем он поселился в уединении в храме Нансюдзи в Осаке. После семи беспокойных лет в Эдо это было великой радостью для Такуана. Но забота сёгуна давала о себе знать даже здесь. По приказу Иэмицу жилище Такуана было перестроено, а неподалеку от него появился домик охранников.
Когда срок, отведенный Такуану для пребывания в провинции Тадзима, истек, сёгун уведомил об этом своего учителя вежливым письмом. Прожив в родных местах полгода, на два месяца больше положенного, Такуан вернулся в Эдо. Через год после этого, так и не увидев больше провинции Тадзима, Такуан занемог и вскоре скончался в храме Токайдзи, где и похоронен. Перед смертью вместо традиционного стихотворения Такуан подытожил свою жизнь, изобразив только один иероглиф «сон» (юмэ), а в завещании просил не писать его биографии и не публиковать его сочинений. В ваших руках находится еще одно подтверждение того, что во сне иногда происходят странные события.