首任系主任由中國科學院學部委員(院士)、 中國科學院物理研究所所長施汝為擔任。先后還有馬大猷、嚴濟慈、錢臨照、朱洪元、曾澤培、王守覺、章綜、李蔭遠、張宗燧等著名科學家在物理系任職、任教，他們為物理系的發展奠定了基礎。1964年，與生物物理系、地球物理系、物理教研室合并組成物理系。1978年系調整時物理系保持半導體物理與器件、低溫物理、磁學、固體發光、光學等物理專業。

  目前物理系有物理學、應用物理學（凝聚態物理方向，微電子學與固體電子學方向),光信息科學與技術三個本科生專業和凝聚態物理、 光學、 微電子學與固體電子學和物理電子學四個博士點。其中凝聚態物理、光學是國家重點學科。物理系是國家科技人才培養基地和中國科學院博士生培養基地。
　　物理系現有教職工92人，其中教授23人(院士1名，博士生導師15名)； 副高級職稱30人。為本科生、研究生開設了物理學科從基礎到專業一系列課程。
　　40多年來，物理系為國家培養高級專門人才 3800 多名（其中研究生200多名）。畢
　　業生遍及全國，已成為各個崗位上的骨干力量。他們中有中國科學院院士、第三世界科學
　　院院士趙忠賢，中國工程院院士王震西、陳立泉、許祖彥，還有著名企業家和國家政府部
　　門的負責人。 目前在校本科生348名，碩士研究生197人，博士研究生89人，代培研究生
　　195人。
　　現有中國科學院量子信息重點實驗室、安徽省光電子科學與技術重點實驗室， 超導研究所、光子技術研究所、強激光技術研究所、微電子學實驗室、 激光生物實驗室等科研機構。 1996年以來已承擔了國家重大基礎項目，國家自然科學基金重大、重點項目，國家863高技術項目，中科院創新工程重點項目以及國家自然科學基金面上項目的科研任務。郭光燦教授擔任國家重大基礎項目（973）的首席專家。1996年以來已取得科研成果20多項，獲省部級科研獎5項，發表學術論文1000多篇，其中SCI、EI收錄論文500多篇。