これ以降の国政は、事実上橘諸兄が担当し、
聖武天皇を補佐する事になる。天平15年(
743年)
5月5日には従一位
左大臣になっている。天平感宝元年(
749年)には正一位に陞階。生前に正一位に叙された人物は日本史上でも6人と数少ない。
孝謙天皇の時代にはいると
藤原仲麻呂(恵美押勝)の発言力が増し、天平勝宝7年(755年)聖武上皇の病気に際して酒の席で不敬の言があったと讒言され、同8年(
756年)
2月2日辞職を申し出て、以後隠居し、同9年(
757年)
1月6日に亡くなった。