潘仕成在海山仙馆内保藏了很多古玩文物，包含很多宋元版本的古书和汉晋碑本，其所藏金石、古帖、古籍、古画有“粤东第一”之称。海山仙馆以其浓烈的岭南园林特性和与众分歧的文明层次，吸引了很多风骚名流。近人冼玉清谓其“一时骚人骚人，文酒之会，殆无虚日”。
“也不尽然，儿子多方刺探过，如晋商乔致庸，徽商胡光墉，现在做得都不错，当然，须得朝中有大背景才是。”陈鸿说道，“潘家现在朝中已无可倚靠之人，是以有现下之败。”
因为潘仕成的特别身份，海山仙馆不但成了一处权贵来往、文人酬唱之处，还成了交际场合。潘仕成以名流、富商身份，帮手在粤大员办理夷务交际，参与会晤本国使者和构和活动。海山仙馆成了清朝初级官员一处非正式的访问来自西欧交际使者和贩子的场合。琦善会晤义律、耆英访问法国驻广州领事拉地蒙冬、美国首任驻华钦差大臣义华业向耆英递交国书的典礼，均在该馆停止。