文久三年、三十歳の時、肥後藩親兵選抜で宮部鼎蔵らと同格の幹部に推される。 この頃から「人斬り彦斎」（幕末四大人斬りの一人）と呼ばれ佐幕派を多数斬る。 我流の片手斬りの名手であったと言われている。

八月十八日の政変後、長州へ。長州では、三条実美の警護士を務める。 元治元年　六月の池田屋騒動で新選組に討たれた宮部鼎蔵の仇を討つべく再び京へ向かう。 元治元年　七月十一日、公武合体派で開国論者の重鎮、佐久間象山を斬る。この象山暗殺以降、彦斎は人斬りを行っていない。

第二次征長の時、長州軍に参戦。長州軍は勝利を上げる。 慶応三年　帰藩するが、佐幕派が実権を握る肥後藩であった為投獄される。 大政奉還、王政復古、鳥羽伏見の戦いの時期は獄舎で過ごす。慶応四年　二月出獄。 佐幕派であった肥後藩は、彦斎を利用して維新の波にうまく乗ろうとするが彦斎は協力を断る。