哈军工于1952年开始筹建，1953年4月25日基建破土动工，9月1日举行第一期 开学典礼 ，1955年初具规模，设有五个系和一个预科：一系空军工程系、二系炮兵工程系、三系 海军工程 系，四系 装甲兵 工程系、五系工兵工程系和预科（1960年又增设防化系）。1959年中央军委决定将学院培养目标改为研究、设计、制造方面的军事工程师，实施尖端专业集中，常规专业分散的方针。

1959年军委决定改变军工培养目标，由维护、使用改为研究设计。学院从1960年开始分建与扩建：将炮兵、装甲兵、工兵的常规专业和刚刚新建的防化兵工程系调出，交给有关兵种，扩建为单独的兵种 工程技术学院 ，形成今天的 南京理工大学 、 陆军 工程大学、陆军 装甲兵学院 和 陆军防化学院 ；将空军工程系中的机场建筑、 航空气象 2专业和海军工程系中的 舰炮 、舰炮 指挥仪 、鱼雷、水雷、舰船消磁5专业与空军、海军已经建立起来的 技术学校 合并，使之成为比较完整的高一级的军种工程 技术院校 （形成后来的 空军工程大学 、 海军工程大学 的一部分）；保留空军、海军工程系中的尖端专业和1959年2月新建的导弹工程系；将附属于海军工程系的 核动力装置 科扩大为原子工程系；将空军、海军、炮兵3个工程系中的雷达、无线电专业集中，扩建为电子工程系。

1966年哈军工被迫转业改制，改名为 哈尔滨工程学院 ，院系进行调整，改建和新建火箭工程系、计算机系。

1970年，学校再次分建，导弹工程系（1966年改建为火箭工程系）、电子工程系、1966年新建的电子 计算机 系以及 基础课 部和院机关内迁长沙，改名 长沙工学院 ，归 广州军区 领导。1973年，国务院、中央军委决定，撤销 重庆工业大学 ，原军工二系（原子工程系）调归长沙工学院建制。 ^{1978年，国务院、中央军委批发《关于成立 中国人民解放军国防科学技术大学 的通知》〔国发（1978）110号文件〕，将长沙工学院改建为中国人民解放军国防科学技术大学，重回军队序列。}

海军工程系划归第六机械工业部，拟迁武汉，后留原址组建了 哈尔滨船舶工程学院 ，原子工程系划归 第二机械工业部 ，迁往重庆与 哈尔滨工业大学 有关专业合并组建 重庆工业大学 ，办学一段时间后，由于种种原因最终没办成，双方教师均回到哈尔滨各自学校，自此，原子系与海军系及导弹系 战术导弹 分部组建哈尔滨船舶工程学院，1994年更为哈尔滨工程大学，并形成了学校“ 三海一核 ”（即 船舶工业 、海军装备、 海洋开发 、核能应用）的 办学特色 。

空军工程系划归 第三机械工业部 ，迁往西安，并入 西北工业大学 ；

风洞 实验室改为第三机械工业部（ 航空工业部 ）的一个研究所，现为哈尔滨空气动力研究所。