历代绘画馆面积1200平方米,共陈列历代绘画精品120余件，从唐代至近代，各种绘画门类均有所体现。展厅按时间序列分为七个部分：“唐宋时代绘画”、“元代绘画”、“明前中期绘画”、“明后期-清前期绘画（明万历-清康熙）”、“清中期绘画（雍正-嘉庆）”、“清晚期绘画（道光-宣统）”、以及“两塗轩”珍藏书画，反映出中国绘画的悠久传统和深厚底蕴。

与历代书法馆一样，全面升级后的历代绘画馆在内容、功能、空间上也都有一个全面的提升，首轮展品中，上海博物馆拿出多件“压箱底”镇馆之宝，由唐代孙位《高逸图卷》领衔，囊括五代徐熙《雪竹图轴》、五代董源《夏山图》、南宋佚名《望贤迎驾图轴》、北宋赵佶《柳鸦芦雁图卷》、元钱选《浮玉山居图卷》等珍品。此外，首轮展品中还汇集了“元四家”中的三家之代表作——王蒙《青卞隐居图轴》、倪瓒《六君子图轴》到吴镇《渔父图》；展出的“明四家”作品也是有别于以往的全新组合，展出文徵明代表作《真赏斋图》，唐寅一级品《春山伴侣图》等；升级后的绘画馆也对原先合在一起展出的明清版块进行拆分，新增的现代绘画版块使得上海博物馆绘画通史更趋完整。

上海博物馆东馆的“绘画馆”衔接“书法馆”的展陈空间动线，在展厅的不同位置设置了“书画馆八景”中的其中三景——六法亭、双清桥、与可道。迎面序厅是绘画馆精心打造的“六法亭”，米白色的外观，四面八方的反射玻璃和滚动播放的数字屏，给人一种耀目的流光溢彩的“幻境”。这既是一处装饰景别，也是一个照壁，在正式观展前，给人的心理和空间都留一处回旋的余地。“六法亭”典出南朝谢赫《古画品录》的“六法”论，为中国历代品评绘画的美学原则。但眼前所见的“亭”已完全脱离开中国古画或传统建筑飞檐翘角的亭榭形态，更像一个传统意象的当代表达。

而在绘画馆的结尾处，“与可道”也有着异曲同工。“与可道”位于书画馆、海派绘画馆、书画特型馆三馆交织通道，青绿色的琉璃巨竹错落于卵石、青砖之间，竹影婆娑， 耳旁鸟鸣声声、悠扬悦耳，仿佛置身于自然。“与可”取自“湖州竹派” 创始人文同的字，琉璃巨竹造型取自徐熙《雪竹图》的竹子形态，投射在地面青砖上的婆娑竹影形态也出自上博馆藏宋代文同（传）《墨竹图》。

中国历代绘画馆、中国历代书法馆两馆，整体设计风格采用古典园林的长廊形式，让长廊变作画廊。长廊，在中国古典园林中起着连接作用，人们在廊中走可以欣赏两侧景色，曲折有趣而不呆板。观众在长廊中移步，面对陈列的书画珍品，犹如行走于“画廊”，就像漫步在书画廊道上，欣赏苏州私家园林镶嵌在墙上的刻帖著录。

展厅中，还设计了不少漏窗，漏窗的灯光映照出竹影，赏画之余能够看到竹影横斜，不觉烦闷，反倒有不尽有余、隔墙有景的感觉，而竹子与竹影本就是书画中多见的文人主题，设计和主题交融可谓相得益彰。瓦筒式屋檐、海棠形装饰、红木质底色、休息座椅等等，让观众犹如走进苏州园林主人的书房，欣赏书画典藏，彰显出宁静养心氛围。