大正８年、大戦後のパリ講和会議に参加、吉田茂のロンドン勤務で、吉田・斉藤のコンビが生まれる。翌９年の国際軍縮連盟総会、１０年海軍軍縮を決めるワシントン会議に参加、１１年シアトル領事。１２年に帰国したが１２月にニューヨーク領事となり、ダレス氏(後の国務長官)を知る。昭和５年、世界恐慌下のロンドン軍縮会議の主席全権、若槻礼次郎の通訳で、海軍の次席専門委員山本五十六とともに軍縮会議にのぞみ、難しい会議を乗り切った。斉藤と山本は創生期の長岡中学野球部のコーチをともにした仲である。

昭和６年の満州事変、８年の国際連盟脱退など世界の孤児の道を進む日本の外交の中で、８年にオランダ大使、９年に４９歳の若さで特命全権アメリカ大使となる。

先のワシントン会議で日米同盟が廃棄され、日米両国の間が険悪になると、斉藤はルーズベルト大統領と広田弘毅外相に日米の同盟締結の要を説いたができなかった。

日本外交の本旨を著書や放送で強く米国国民に訴えたが、軍部の独走で中国大陸を犯す行為で世界の信を失っていった。揚子江で日本軍が米国砲艦と商船を爆沈させた時も、いち早くラジオの全米放送で素直に謝罪し補償を約すなど、日米の和平に常に心を砕いていた。

次々と起こる心労が斉藤の両肺を侵し、近衛文麿首相から外務大臣の要請を受けた時は、帰国できないほど悪化。アメリカのホテルで日米の和平を念じながら５４歳の人生を閉じた。