天文年間（1532～1555年）、牛島には牛鬼と呼ばれる怪物が棲んでいた。この牛鬼は、頭が鬼で、身体は牛という不気味な姿をしており、島の人々や家畜を襲って食っていたので、島民は恐れをなして牛島から逃げ出していった。

多くの島民が島から逃げ出した頃、伊予から船出した 藤内図書橘道信 と 御旗三郎左衛門信重 という2人の侍が、時化にあって牛島に流れ着いてしまった。2人が島に降りると、人家はあるのに人の気配が全くしないという異様な光景を不審に思い、島民と思しき漁師に事情を尋ねることにした。

そこで漁師は牛鬼の被害によって島民が逃げ出したという話を聞かせたので、2人は同情して牛鬼退治に挑むことにした。2人は島で牛鬼を見つけて戦ったが、牛鬼はとても強くて2人の力では敵いそうになかった。そこで、先の漁師に相談すると、漁師は本土にいる弓の名手の人城高経・明兼兄弟のことを教えた。

これを聞いた2人は すぐに弓の名手に会いに行って弓を教えてもらうことにした。2人は十数日かけて弓の腕を磨くと、牛島に戻って再び牛鬼退治に挑んだ。そして、2人は弓矢を以って牛鬼と戦い、激闘の末にようやく牛鬼を討ち取った。それからは、牛島にも人が戻ってくるようになり、次第に繁盛していったという。