创办于1952年7月,1958年先后并入历史文献图书馆、报刊图书馆、科技图书馆。藏书800余万册,在国内仅次于北京图书馆,藏有大量中外古今图书资料,除历代刻本、抄本、稿本等古籍外,还藏有早期革命文献。建国前出版的报刊,收藏量为全国之冠。该馆还汇集古今中外的音乐戏曲唱片、录音带、缩微胶卷等,是上海市为科研、教学、生产服务,提高人民科学文化水平的重要设施之一。巴金曾向上海图书馆捐赠图书资料。