玉海楼含孙诒让故居和百晋匋斋,总占地面积约8000平方米。三面环河,前后两进,左右回廊。楼西为百晋匋斋,原名“恰受航”,俗名“船厅”。斋前有园,名“颐园”,中凿荷池种植白莲,后为丁字廊。其西为孙诒让故居。故居前后三进,门屋五开间、花厅五开间、正楼七开间,左右轩楼各三间,后为花园。玉海楼建筑具有浓厚的浙南地方特色,集藏书楼、优秀民居和私家园林于一体,规模宏大、保存完整。
孙氏父子敬慕南宋学者王应麟之通博,故取其巨著《玉海》作为楼名,以示藏书“若玉之珍贵,若海之浩瀚”。玉海楼台门石额“玉海楼书藏”为清礼部侍郎顺德李文田书。石联“玉成桃李,海涌波澜”为郭沫若题。
玉海楼为学者的藏书楼,当年藏书达八九万卷,现在藏书三万多册,其中珍善本四千册,以富名家批校本、乡邦文献和珍善本闻名于世。
党和国家领导人郭沫若、田家英、许嘉璐、张德江、习近平等曾前来参观、考察。1996年列为第四批全国重点文物保护单位。