ところが
平安時代に入ると、内記の役割が徐々に衰退していくことになる。内記は天皇の公的な行動記録を残すことを職掌としており私的空間である
内裏に立入ることは出来なかった。ところが、
蔵人所が設置されて
蔵人には内裏への立入が認められたために、天皇は蔵人を通じて
太政官に命令(
勅旨)を下すようになり、宮中行事などを除いて天皇が内裏の外に出る必要性がなくなったために、結果的には天皇と内記の接触が減少したことにより行動記録の職掌を失った。更に太政官の命令を起草する
外記が勢力を拡大して詔勅起草の職掌を奪ったことが重なり、その役割を失っていったのである。
中務省直属の官として
四等官からは独立しており(品官(ほんかん)・一司)、事務所は内記局と呼ばれる。内記局は
左兵衛陣の南側にあったとされている。また、中国の
起居注に倣って天皇の日々の動静についての記録をとって「内記日記」としてまとめられていたが、前述の理由により
平安時代後期には行われなくなり、現在は一部の逸文以外は残されていない。