從建築形式來看，島山書院建築群大致可分為島山書堂及島山書院。島山書堂地區由生活區和講堂組成，這裡是著名儒家退溪李璜居住和教導學生的地方。陶山書院是退溪李灃圓寂後，其追隨者為了傳承他的教義以及悼念死者而建造的。



島山書堂講堂建於 1561 年，是整個建築群中最古老的建築。它是李璜（筆名退溪）下鄉後為了進一步深造和教育未來學者而親自設計的。與報告廳一起建造的還有用作學生宿舍的生活區。


陶山書院於 1576 年竣工，即李黃去世六年後。 1572年，李璜祖宗的牌位被安置在尚德祠（寶物第211號）內。東西兩側增建了建築物，該地區變成了書院。 1575年，該校被授予皇家特許狀和韓石峰題寫的「島山書院」牌匾，成為嶺南地區的儒學總部。