彦根藩主井伊直中の14男として産まれ、嘉永3年(1850年)に兄の後を継いで彦根藩主となり、掃部頭（かもんのかみ）となった。彦根藩時代は藩政改革を行い名君と呼ばれ、またペリー来航に伴う江戸湾防備に活躍した。

尊皇攘夷の騒擾の世中にあって、権力サイドからの白色テロルを行い、治安を回復しようとした。

多数の志士を粛清したために、広く怨みを買い、水戸藩浪士により、江戸城桜田門付近で暗殺された。（桜田門外の変）