旅日記では遠州公の知り合いの浜松城主が、
遠州をしきりに城にうながし、
出発の際にも名残を惜しんで見送る様子が記されています。
この浜松城は「出世城」としても有名です。
天下人となった徳川家康が、29歳～45歳までの17年間を浜松城で過ごし、
有名な姉川、長篠、小牧・長久手の戦いもこの時期にあたります。
家康が駿府城に移ったあとの浜松城は、代々の徳川家とゆかりの譜代大名が守り、
藩政260年の間に25代の城主が誕生しました。
歴代城主の中には幕府の要職についた者も多い
（老中5人、大坂城代2人、京都所司代2人、寺社奉行4人※兼任を含む）
ことから、後に「出世城」と言われるようになりました。