陳家祖籍為中國廣東省潮州府饒平縣可塘埔鄉大榕社，是一個客語縣市，其間饒始祖為陳木苑，生於元朝仁宗癸丑年（一三一三年），及至康熙十六年（一六七七年）第十世陳智可誕生，約在康熙年間後期（十八世紀初），渡海來台，在永靖南港西庄定居，到了中年之際，開墾有成，但陳智可無子嗣，而其元配又因禁令之故，未能渡台相聚，恐無人繼承家業，延續香火，不得以情況乃收養李姓螟蛉子，及十一世陳興茂。

    陳興茂之後，十二世陳德耀當家時，以累積相當多的財富，而家族人口也隨之增加，原先廬舍不敷使用，陳德耀乃建造了一座「上下兩廳前後天井，左右四迴廊，前建高門，高門外一口方池」的巨宅。

    道光六年（一八二六年）彰化發生慘烈之福客械鬥，陳家之豪華巨宅遭損毀。

    傳統客家人，敬祖先、尊遺訓，正廳中往往只祀奉祖先牌位而無其它神明，在餘三館中可得到明證。歷經多年的風風雨雨餘三館雖已老舊，但陳家後代仍極力維護這祖宅，這番敬祖的精神令人感佩。