鬼門は、古代中国の書物『山海経』にある物語が元となっており、北西（乾）を「天門」、南西（坤）を「人門」、南東（巽）を「風門」、北東（艮）を「鬼門」としたことによる。しかし、中国では鬼門はそれほど問題にされなかった。

江戸時代には、鬼門の方向への造作・移徙（わたまし：貴人の引越）は忌むべきとされた。また、人々は家の鬼門の方角に桃の木を植えたり、鬼門とは反対の方角が申であることから、猿の像を鬼門避けとして祀ったりした。現在でも、家の中央から見て鬼門にあたる方角には、門や蔵、および水屋・便所・風呂などの水を扱う場所を置くことを忌む風習が残っている。

また、京都では鬼門の方向に比叡山延暦寺が、江戸では上野寛永寺が置かれた。

鬼門とは反対の西南（坤）の方角を裏鬼門と言い、この方角も忌み嫌われるが、鬼門ほどではない。