衡阳医学院筹建于1956年。1958年开始招收公共卫生专业3年制专科生。1959年起招收医疗专业5年制本科生。1962年因国民经济暂时困难被迫停办。1965年复办，改为衡阳医学高等专科学校。“文化大革命”期间，使衡阳医学院蒙受了重大损失。从1966年至1969年， 学校 5 年之久没有招生。1970年招收了一年制的工人医生班，直至1972年，学院才参与全国高校统一招生，招收医疗专业3年制专科生。1975 年创办五官科学专业。1977年恢复为衡阳医学院，招收医疗和五官科学专业5年制本科生。

从1986年起，学院先后有病理生理学等10个专业招收了硕士研究生。本科教育中设有临床医学和眼耳鼻喉科学专业。其中眼耳鼻喉科学专业为国内首创，该专业于1988年经国家教委和卫生部组织专家论证后，荣获1989年国家教委优秀教学成果奖。为了满足广大基层单位对专科人才的需要，学院从1986年起招收部分专科生，先后开设了卫生检验、口腔医学和妇幼卫生专业。1989年以来，学院还专门为农村开办了临床医学专业农医专科班，实行定向招生、定向分配。打通了为农村输送医务人才的渠道，在办好普通教育的同时，学院从1984年起，先后开办了干部专修科、夜大学、师资本专科和专业证书等多种形式的成人教育，开设了11个适应成人教育的社会急需专业。