清嘉慶22年（西元1817年），「石圍墻」始有廣東籍墾主吳琳芳募股八十一份，築庄墾地，3起創庄之周圍，建築石墻，外植箣盤樹為防衛柵，未足者加種箣竹，以抵禦外寇。 石墻內劃分宅第，築造家屋四列，內有從路三條，概用石卵 敷庄，以形以物之稱曰「石圍墻」，又曰「南粵庄」，又曰 「石城」。

光緒15年（西元1889年），設「石圍墻莊」，及 至清代末葉，改「石圍墻莊」為「石圍墻庄」。

石圍墻拓墾之初，開闢荒埔，建庄設隘，創設公館辦理 庄務，為安撫民心，凝聚庄民團結意識，館中附設祭祀關聖 帝君之神位，供隘丁庄民膜拜，而成為建築關帝廟廟宇的基 礎。嘉慶24年（西元1819年），墾戶吳琳芳倡捐建造關帝 廟。道光27年（西元1847年），增祀至聖先師孔老夫子神 位。光緒13年（西元1887年），吳定綱等人倡捐復修。日治 明治40年（西元1907年），改廟名為「揆一樓」，其廟名取 自《孟子》〈離婁篇〉：「先聖後聖，其揆一也」，以示文 武二聖其道一貫之意。