在炎陵县十都镇瓜寮村，有一座海拔1400多米的山，山顶上一块巍然屹立的巨石上又叠加着两块完备不连体的巨石，两块石头微微向前倾斜，一眼望去随时有倒下来的危险，然而千百万年来没有倒塌。两块石头像从天外飞来，本地人称其为“飞来石”，这两块石头又是如何飞来的？
传说很久以前，山坡下有一个村庄，住着一胡姓人家，胡老汉是个草药郎中，膝下有一女名叫胡娇苏，父女俩相依为命。后经人撮合，一位年轻猎人愿意上门做上门女婿。谁知好景不长，胡老汉不久就病逝了，年轻猎人被官府抓去服苦役，胡娇苏一人在家，孤苦伶仃，终日痛哭，那凄凄切切的啼哭声惊动了南海观音菩萨。观音变身成一位慈祥的老婆婆上前询问娇苏为何啼哭，娇苏便一五一十的把事情原委告诉了老婆婆，老婆婆听完，安慰娇苏说：“不要着急，明天天亮以后，你到山顶的石头上去，可以看到五个省，一定能看到你的丈夫。”观音从南海的的乱石堆里选了三块巨石，一路上用赶山鞭把石头赶上了瓜寮山。观音刚把两块大石叠好，就听见有人走动，原来是娇苏思夫心切，寅时就上山来了，观音怕泄露天机，就化作一阵清风走了。胡娇苏来到巨石前，一直等到天亮也不见老婆婆身影，就自己爬到巨石上面眺望。因为第三块石头还未叠上，只能看到两个省四个县，再远就看不清了，娇苏望呀望，怎么也看不到自己的丈夫，十分悲痛，痛哭不已。哭呀哭，把一个年轻媳妇哭成老太婆，最后老太婆也无影无踪了，只见巨石上长着一棵胡椒树。有人把掉在地上的籽实捡起来，用牙一嚼，又香又辣，辣的直流眼泪。当地的老百姓说这棵树就是胡娇苏的化身，还有人说娇苏生前跟她的父亲学过草药，会治病，胡椒籽是她留给乡亲们治病的。所以附近人家有什么肚痛闹热，便到巨石下面捡胡椒籽吃下去，或者泡茶喝，就好了。
据县志记载，清嘉庆年间，有何姓有姓乡人为首倡修寺庙。咸丰六年，统领言秀山带官兵扎营于此，在庙中塑了一个婆婆神像，所以飞来石又叫“婆婆仙”。