1333年に後醍醐天皇が幕府軍に閉じこめられていた隠岐の島から脱出し、たどり着いたのが御来屋港(名和の湊)。御来屋港にたどり着いた後醍醐天皇が体を休めるため、海岸にあった岩に腰掛けて休んだという言い伝えから、この岩を「お腰掛けの岩」と呼んでいます。