一九三二年一月二十八日夜十一时，日本海军陆战队突然进攻上海闸北地区，狂轰滥炸，使上海遭到空前浩劫。我国最大的出版机构商务印书馆及其附设的东方图书馆，惨遭炸毁，烧了三天三夜，纸灰飘扬，甚至南市和徐家汇一带，上空的纸灰像白蝴蝶一样随风飞舞。这是我国文化无法弥补的损失。
东方图书馆对外开放虽在一九二六年，但图书的收藏，于前清光绪年间商务印书馆建成新屋于宝山路后，就已开始，时为一九〇四年。
据闻归安陆氏皕宋楼藏书出让时，商务印书馆编译所所长张元济索得陆氏书目，请示于该馆经理夏瑞芳。那时该馆的资产仅数十万元，夏瑞芳慨然拨现金八万元收购，以备编辑所参考之用，事虽未成，也可见他致力于文化事业决心之大。此后陆续收进会稽徐氏熔经铸史斋、长洲蒋氏秦汉十印斋、太仓顾氏謏闻斋散出的藏书，辟涵芬楼以储藏。未几，辛亥革命成功，清宗室盛昱意园、丰顺丁日昌持静斋、江阴缪荃孙艺风堂藏书散出，商务又各购得数千百种。凡二十年间，广事搜罗新旧图书，已达数十万册之多。
一九二四年，该馆出其历年盈余中所提存的款项，计规银十一万余两，在总厂对面宝山路西兴建五层钢骨水泥大厦，移涵芬楼所藏图书，充实其中，名为东方图书馆，一九二六年对外开放。一九二九年，添设儿童图书馆，一九三一年，复设流通部，以贯彻服务社会的初旨。
东方图书馆的五层大厦，最上层为杂志报章保存室，及商务历年出版图书保存室。四层为普通书库，占地四千六百方尺，置书架五十六排，共三百七十余架，统长一万四千八百余尺，可藏书四十余万册。四层一部分及三层为善本室，内藏涵芬楼善本书及全国地方志。二层为阅览室、杂志陈列室及事务室等。下层为流通部藏书室及事务室。馆南空场为花圃，南面建西式平房五间，为儿童图书馆。
东方图书馆在“一·二八”之前，藏书五十一万八千余册，图表照片五千余种，居当时全国各地图书馆之首（据杨家骆的《图书年鉴》上载，当时北京图书馆藏书仅四十余万册）。其中除普通书籍外，善本书中，有宋版一百二十九种，二千五百一十四册。元版一百七十九种，三千一百二十四册。明版一千四百一十九种，一万五千八百三十三册。清代较精版一百三十八种，三千零三十七册。钞本一千四百六十种，七千七百十二册，名人批校本二百八十八种，二千一百二十六册。稿本七十一种，三百五十四册。杂本三十一种，三百八十三册。如以旧四部分类而言，计经部三百五十四种，二千九百七十三册。史部一千一百一十七种，一万一千八百二十册。子部一千种，九千五百五十五册。集部一千二百七十四种，一万零七百三十五册。此外一九三一年，还收进扬州何氏藏书四万余册，部分版本正在整理，尚未计算在内。全国地方志约二千六百六十五种，二万五千八百三十八册，内元代纂修者二种，明代纂修者三十九种，清代及民国时期纂修者二千五百二十四种，册数更多。其中有很多孤本，如万历年《吴县志》五十四卷、《旌德县志》十卷、《临江府志》十四卷、《荆州府志》五卷、《黄冈县志》十卷、《大昌县志》六卷、《建阳县志》八卷、《南皮县志》十七卷、《宝鸡县志》三卷。还有，仅有的钞本和原稿如李钟峨的《通江县志》、张凤孙的《泰宁县志》，魏嵉的《长泰县志》，周㑺的《信宜县志》、宋锦的《崖州志》，胡勋裕的《始兴县志》、周叙彝的《安南县志》、孔尚标的《同官县志》、端方的《砖坪厅志》、武全文的《崇信县志》、德俊的《两当县志》、杨镳的《复州乡土志》等，以及仅国外美国国会图书馆有藏的罗定权《资县志》、北京图书馆所藏尚缺卷五的苏佳嗣《长沙府志》全部，科学院所藏尚缺一至四卷的呈麟《南溪县志》全部。至于稀少珍本，更不及备录。外文图书二万余册，其中有十五世纪前出版的西洋古籍多种。
外国杂志报章，也极完备，著名的有荷兰出版的《通报》，英国亚洲文化协会所出版的《学报》，德国出版的《大亚洲及中国》等杂志，都是研究我国国故的参考书，且属全份，尤为珍贵。此外还有福州及上海出版的《教务杂志》，及一八三二年至一八五一年间香港出版久已绝版的《中国汇报》《哲学评论》《爱丁堡评论》等杂志全份，尤为难得。该馆所藏的科学杂志，也很珍贵，如出版已达一百多年的德国李比希《化学杂志》的初版全套，就是远东唯一孤本。
至于我国出版的日报，如上海的《时报》《神州日报》《民国日报》，天津的《大公报》《益世报》，以及清末光绪、宣统之间与《京报》并行的《谕折汇存》，均藏有全份。上海的《申报》《新闻报》，该馆所藏，也都达三十年以上。我国杂志之备有全份者，为数更多，如《新民丛报》《国闻周报》，以及该馆出版的《外交报》《东方杂志》《绣像小说》《小说月报》等等，都是不易搜集的。