これまで11歳の時に
江戸上野の「松坂屋いとう呉服店」(現在の
松坂屋上野店)へ奉公に出、すぐに番頭と喧嘩をし、日野に戻ってきてしまった、と伝えられていたが、先頃発表された石田村の人別帳控により、数えの11歳時は石田村に在住しており、奉公には出ていないことが判明。欠損もあるが、この人別帳から、歳三が奉公に出ていたのは数えで14歳〜24歳の10年間と考えられるようになった。17歳の時には松坂屋上野店の支店である江戸伝馬町の木綿問屋(上野店の鶴店に対し、亀店(かめだな)と称された)に奉公に出され、そこで働いていた年上の女性を妊娠させてしまうといった問題を起こして(
番頭に
衆道関係を迫られたとも言われている)日野に戻った、という伝説もあるが、前述の人別帳の存在から、現在ではその信憑性が疑問視されている。
歳三の姉
のぶは姉弟の従兄弟でもある
日野宿名主の
佐藤彦五郎に嫁いでおり、歳三も彦五郎宅にはよく出入りしていたと言われている。彦五郎は大火に乗じて命を狙われたことがあり、それを契機に
井上源三郎の兄、
井上松五郎の勧めで
天然理心流に入門、自宅の一角に道場を開いていた。そんな縁から彦五郎は近藤と義兄弟の契りを結んでおり、
天然理心流を支援した人でもある。歳三もこの道場で腕を磨いたと伝えられている。