關帝廟創建於清嘉慶22年（1817），嘉慶22年吳琳芳築隘修城而建造石圍墻庄時，庄公館已供關帝聖君拓墾之初，為安定墾戶民心，於墾主公館正堂，祀奉關帝聖君神位，供軍民膜拜，是為關帝爺廟淵源，石圍牆揆一樓關帝廟擔負全體庄民的信仰寄託中心。

道光27年（1847）10月增祀孔聖神位，光緒33年（1907）10月更名「揆一樓」，樓名取自孟子離婁篇「先聖後聖，其揆一也」，以示文武二聖，其道一貫之意。

公館鄉石墻村，早期以石頭、刺竹，構築長約2公里、高7尺的防禦、防洪工事，成為地方特色，不過在民國24年關刀山大地震時，石墻、柵門遭到震毀，為重現早期石圍墻風華，村民特別籌募約260萬資金，舊址重建北柵門。 

「芎中七石龍興」意喻五庄永遠興旺，清朝時先民再此開墾，聯合抵禦外來侵擾，1978年吳阿來事件，庄民祁求媽祖平亂，事後庄民從北港請回媽祖供奉於五穀公，開始各庄輪流主辦聯合進香，維持傳統近130年，也成為地方一大盛事。

民國前一年(1911年)夏季兩次颱風，農曆七月二日至七日的兩次颱風，主要河川(後龍溪)洪水氾濫成災，銅鑼、中平一帶，因辛亥年「上夜水打人字駁，下夜水打七十份」，而使後龍溪改道，迫使「芎、中、七、石、隆、興」分離，原本實圍墻屬雞隆區，因此次水災，本庄從此脫離老雞隆隸屬關係，而劃入公館區。因此就五個聯庄就串起，五庄聯防活動，驅趕妖魔鬼怪進入五庄擾亂民生。

早期石圍墻一帶，因為常與原住民爭鬥，鄰近五個庄落結盟聯防，現在雖然沒有爭鬥了，但為了維持庄落間的友誼，地方改以五庄聯合進香方式聯誼。 

石墻社區發展協會總幹事邱新和：「5個村庄輪流，以前開墾時很多原住民，就輪流用主辦的方式保護村民，用聯合防禦的攻勢，今年輪到石圍墻，明年就是中心埔，哪一個村庄有事，另一個村庄就會來支援，光復後就成立廟會活動，去北港進香。」 一年一度的熱鬧的「五庄進香」民俗文化活動，傳承先民歷史與保留在地文化傳統。