六秀书院建于同治年间，以前，这里是一幢二层的小楼，是文人骚客聚集在一起吟诗作对的地方。房屋因是土木结构，毁于解放前。解放后，这里曾经作为灵山县委的小会议室。1960年9月中旬，中共广东省委书记陶铸曾在这里作过重要讲话。近年，有不少老领导建议重新修复“六秀书院”，作为重点文物保护起来。