40歳を過ぎて小説家になった晩成型だが、たちまち文壇の中堅となる。
推理小説も好きで、海外ものを翻訳したり、自分でも書いている。とりわけ『若草物語』の題で連載し、後に『事件』と改題した作品は
日本推理作家協会賞を受賞し、映画やテレビドラマになるなど、高い評価を受けている。
『
武蔵野夫人』は『
ボヴァリー夫人』に倣って書いた
姦通小説で、ベストセラーとなったが、1980年代、ポルノ小説にこの題が使われたため抗議した。また、
河上徹太郎、小林秀雄らの愛人で、
白洲正子の友人だった
坂本睦子の自殺後、これをモデルに『花影』を書き、
新潮社文学賞と
毎日出版文化賞を受賞した。しかし
高見順は、肝心の大岡自身の苦悩が描かれていないと批判。この小説は睦子を救えなかった
青山二郎を指弾するものではないかという解釈があるが、大岡自身は、限定版『
花影』のあとがきにおいて「ヒロインはその生れと性情の自然の結果として自殺するのですが、そのきっかけは、彼女の保護者で、父代わりである高島が黄瀬戸の盃を二重売りして、彼女を裏切ったためでした。(中略)あとは私が作った物語ですが、もし高島にモデルがあるなら、私の想像はその人を傷つけることになるでしょう」と述べているだけで、大岡自身が青山二郎を指弾する目的で書いたと言及しているわけではない。