海军上海博览馆的大门是一座匠心独运、构思新颖的浅灰色花岗石建筑，简洁、明快，气魄恢宏。右侧门柱酷似风帆，左侧屋脊矗立着四根形同舰船烟囱的圆柱，连接左右的是一道状如核动力舰体的门梁，象征着中国海军从远古驶来，利箭般射向大洋。
走进馆门，迎面是飘扬的旗帜衬映着的H型花岗石雕塑，H的横档上悬吊着一把硕大的金钥匙，召唤人们打开海洋和海军知识的大门。
博物馆主体展览馆是一座宏大的拱形建筑，内设四大展厅。馆藏海军、海洋历史资料图片3000余幅，实物1000余件，展出面积5000平方米。第一展示厅是中国历史展，分A厅和B厅。A厅展示中国古代海军的历史，B厅展示中国近代海军的历史。第二展示厅是东海舰队简史展。东海舰队是中国海军的主力舰队，它的历史显示了中国海军在战火中诞生，在战斗中成长，不断发展壮大，走向现代化的光荣历程。第三展示厅是海洋奇观展，这里揭示了诡谲瑰丽的海洋世界、蔚然大观的海洋珍宝，趣味盎然，引人入胜。第四展示厅是世界海军装备展，介绍了世界海军常用新型舰艇、飞机，堪称舰模航模的总汇。
除主体展览馆外，海洋艺术馆俨如一座艺术宝库。逾千件海洋艺术绘画、雕塑、陶瓷和贝雕、木雕、蜡染等实用工艺美术作品灿若群星。厅外还有一座海军轻型舰艇展坪，曾经参加过海战的鱼雷艇和海岸炮组合成钢铁与荣誉的交响。
1992年11月21日，博览馆开馆的第四天，正在上海视察的中共中央总书记、中央军委主席江泽民同志一听说有这么一个博览馆，立即欣然前往——海洋观、国防观、爱国主义教育时时牵动着总书记的心。江泽民同志认真听取了有关同志的汇报，兴致勃勃地仔细观看了各个展厅，语重心长地对上海市和东海舰队的领导说：“你们要把这里作为青少年爱国主义、国防观教育的基地，要组织上海市处以上干部都来这里看一看。”当陪同的东海舰队政委连耀庭中将请江泽民同志为博览馆题名时，他欣然提笔“海军上海博览馆”，7个苍劲有力的大字一挥而就。
