Theo người dân trên đảo, Miếu Bà Cố Chủ là nơi thờ người phụ nữ đầu tiên đến khai phá Hòn Sơn Rái và được người dân xem là thần cai quản vùng biển Lại Sơn. Để tưởng nhớ đến công ơn to lớn của Bà, người dân nơi đây đã lập miếu thờ, tổ chức lễ cúng vào ngày 09 tháng 9 âm lịch hàng năm.
Miếu được xây dựng bằng tre và lá vào năm 1899, qua nhiều lần trung tu miếu được xây dựng lại kiên cố bằng bê tông cốt thép.
Theo truyền thuyết bà tên thật là Tăng Thị Phú, do có khả năng nhìn trời đoán được mưa bão, biển động hay biển êm nên trước mỗi chuyến ra biển đánh cá hay lên rừng lấy dầu về pha chế thành dầu trai trét xuồng ghe... người dân trên đảo hay đến nhờ bà giúp.
Bà có tánh hiền từ và hay giúp đỡ người khác, nhờ vậy mà người dân trên đảo khấm khá và dư giả. chính vì lý do này bọn hải tặc đã tìm đến và cướp phá.
Vì gia đình bà Phú giàu có nhất hòn, nên bọn cướp dùng mọi cách để tìm vàng bạc. Bọn cướp trói lại rồi cột đá vào người bà xô xuống biển. Nhờ có tài đi biển và thông minh, gan dạ nên bà đã tìm cách tháo dây, cởi trói rồi lặn vào bờ, thoát chết. Mấy năm sau, bọn cướp biển quay trở lại. Lần này, bọn cướp trói bà lại thật chặt rồi chở ra giữa biển quăng xuống. Bà không thoát được. Sau đó, người dân bủa nhau đi tìm nhưng không thấy được xác. Một hôm, cả Hòn Sơn Rái bỗng sóng im biển lặng một cách kỳ lạ, sau đó người ta thấy bà hiện trên mặt biển.... Thấy vậy, bà con dựng lên ngôi miếu thờ, gọi là “miếu Bà Cố Chủ Hòn”. Tương truyền, từ ngày có miếu thờ, bà Phú hay hiện về phù trợ...
Miếu Bà Cố Chủ