合肥老火车站始建成于1936年4月 ，它的历史见证了合肥的城市变迁。
1997年合肥新火车站通车运营，老火车站仅剩下货运功能。随着北货场成货运新基地，也加速了老火车站的拆迁改造。 2011年年底，伴随着合肥北货场的正式启用，历经70多年风雨沧桑的老火车站彻底告别历史舞台，这个曾经记录了合肥几代人回忆的老火车站，逐渐从市民的视线中淡出。
令人欣喜的是，在合柴1972“家电故事馆”的大展厅里，重新复原的合肥老站又在唤回人们曾经的记忆：候车亭上“合肥”两个大字依然挺立着，似乎在向人们诉说着当年的辉煌。每当周末和节假日，来到这里的游客络绎不绝，他们中不仅有带着孩童的年轻夫妇，更有年愈古稀的老人，他们在这里又见证了曾经的合肥站辉煌历史，同时抒发着对合肥老站的深情厚谊。按比例缩微的带有锈迹的铁轨、手控的道岔标识、人工调度中心，重新进人人们的视野，续写着这座老站的历史传奇。
随着一声长长的汽笛拉响，乘坐着十多位游客和儿童的小火车缓缓驰出合肥站，它喷出的蒸汽经久不散，仿佛又在吟诵着合肥站的新篇与故事……


1935年12月，合肥老火车站始建。
1936年4月，合肥老火车站完工。
1936年，淮南矿至合肥的铁路试车成功，合肥火车站正式开展铁路旅客运输业务。
1937年，抗日战争爆发，为阻止日军利用铁路入侵，国民党军队奉命将水家湖至裕溪口铁路拆除。不久，又毁坏了淮南至水家湖的铁路，使用才一年多的合肥火车站被迫关闭，停运了整整5年。
1942年，已经占领合肥的日本人出于军事进攻的目的，修通了水家湖至蚌埠铁路，连接上了津浦线。
1944年，日军拆除水家湖至裕溪口段铁路，老火车站再次关闭。抗战时因“兵火破坏，站房、铁轨及一切设备悉无幸存”。
抗战胜利后，合肥至水家湖铁路修复通车，老合肥站正式命名为合肥火车站，并开始办理客运业务。
解放后，国家投巨资修复淮南线铁路，1950年11月，合肥至裕溪口段铁路通车，合肥铁路运输恢复正常。1950年，1、2号站台、站前广场、候车室建成启用。
1970年代，增建第二候车室。
1980年代，修建一座软席候车室。
截至1995年年末，老火车站有普通旅客候车室两座，母子候车室1座、软席候车室1座，售票房、行包房各1座，站台两座（总长899米），地道一座（长25米）。此外，还设有16万平方米的货场，并有40条企业专用线与车站相连。
1997年，合肥老火车站停止客运功能，只保留货运功能。
2010年，合肥老火车站计划拆除。
2011年年底，伴随着合肥北货场的正式启用，历经70多年风雨沧桑的老火车站彻底与合肥市民告别。