公元6-10世纪，隋唐王朝为巩固国家统一和加强南北交流，开凿大运河通济渠，形成贯通中原地区和江南地区的漕运通道。通济渠东段北起郑州境内黄河南岸，引黄河水南下，流经惠济桥村、堤湾村后折而东去，经索须河注入淮水。石桥正是建于通济渠之上。

　　建于隋朝的这座石桥，一直沿用到宋元时期。明朝嘉靖年间，官员张书基督工重新修复该桥，因通济渠历史上也称惠济河，该桥被取名为“惠济桥”，同时寓意惠济行人和乡民。

　　在民间，关于惠济桥的来历，还有另外一个传说。

　　据惠济桥村村民任桂林撰文，在一个大雪纷飞的日子，有个逃荒的孕妇，走到惠济桥村村口突然临产，村头的好心人家连忙点起柴草给她烤火取暖，接生孩子。孩子出生后掉到灰窝上，身上沾了草灰，这个产妇为了感恩村民，给自己刚出生的男孩取名“灰子”。后来，这个要饭长大的孩子竟然中了状元，还当上了官。他为了感恩曾经帮助他们母子渡过难关的村民，在这里捐建了一座桥，取名“惠济桥”。在当地方言中，“惠济”与“灰子”接近同音，以“惠济”命名，既有感恩村民惠济之意，也有纪念建桥者灰子之妙。