本名　鈴木大蔵。常陸　志筑藩生まれ。脱藩して水戸に出る。 水戸に出て金子健四郎の道場に入門。神道無念流と水戸学を学び、勤王思想に傾倒する。

その後江戸へ出て、深川佐賀町の北辰一刀流　伊東道場に入門。 文武両道の人物であった甲子太郎は、道場主　伊東精一に認められ跡目を継ぎ伊東姓を名乗り 名も甲子太郎と改める。深川の道場は盛んなもので、門下生も多かったようである。

元治元年十一月、同門の藤堂平助の紹介で新選組に入隊。弟の鈴木三樹三郎、盟友の篠原泰之進、服部武雄、加納道之助、門人の内海二郎、中西昇らと京都へ上る。

新選組では文武両道、伊東道場道場主という事で参謀兼文学師範に抜擢される。近藤勇は当初歓迎したが、 土方歳三は、他ならぬ策士と見て警戒したようである。

甲子太郎と新選組は攘夷という点で結ばれたが、新選組は佐幕派で勤王（倒幕）を説こうとした甲子太郎とは 方針をめぐって対立。

慶応三年、薩摩の動向を探るという名目で離脱。御陵衛士（高台寺党）を結成。結盟以来の隊士で八番隊 組長の藤堂平助も参加する。