康平5年（1062年）の晩秋、真夜中に観音寺の鐘を突く音がするので、驚いた住職が様子を見に行くと、そこには誰の姿も無かった。しかし、それからも夜毎に鐘の音が鳴り続け、その後に村の牛馬が煙にように消えた。さらに村の娘や子供まで消えていったので、恐れた村人たちは観音寺の住職を頼ることにした。この住職は比叡山での修行を終えた金光房然廓上人という高僧であった。

金光上人は夜中に鐘を突く者の正体を突き止めようと、宝剣を携えて鐘楼に隠れて夜を待った。やがて夜が更けると、辺りが俄に曇り出し、次第に風が強くなり、雷雨と共に不気味な怪物が現れた。その怪物は、頭は牛で身体が鬼という牛鬼であり、とても恐ろしい姿をしていたので、流石の金光上人も身体の震えを隠せなかった。そこで金光上人を見つけた牛鬼は、すぐに真っ赤な口を開けて飛びかかってきたが、金光上人はすかさず御経を唱え始めた。すると、牛鬼は急に苦しみだし、読経と宝剣の力によって神通力も失って、遂にその場で息絶えてしまった。

その翌朝、怪物退治の知らせを聞いた村人たちは牛鬼の遺骸を刻み、その首は都に送り、その手は寺に納め、その耳は付近の山に埋葬した。これによって、その山は「耳納山（みみのうやま）」と呼ぶようになったという。