Como dice Hergueta en su segunda parte de las Noticias Históricas, Sección II, Estadística y Descriptiva, pág. 514, “Es la más elevada y antigua que se conoce” pues ya es mencionada el 28 de abril de 1237 en la carta con la que el rey Fernando III el Santo redactó para resolver el primer conflicto sobre límites y pastos entre Haro y el Monasterio de Herrera: “Que del castiello de Billivio é de la fuente de Bellivio…”.
Estaba ubicada a la izquierda del desfiladero de la antigua vía romana que va hacia Miranda de Ebro y su desaparición vendría como consecuencia del inicio de la construcción de la autopista Vasco-Aragonesa en el año 1978.
A finales del siglo XIX se encontraba muy deteriorada y se reducía a un arca de piedra de 0,75 metros de larga por 0,71 de ancha y 1,05 de profundidad. El agua tenía su salida por un orificio hecho en la pared a 0´60 metros del suelo, con espacio suficiente para depositar un cántaro de tamaño ordinario en el sillar. En la romería a San Felices, el día 29 de junio, los mozos acudían a ella para mitigar la sed provocada por el calor y las libaciones etílicas formándose verdaderas aglomeraciones a su alrededor.
Con la llegada del agua a las campas situadas bajo los riscos, gestión realizada por el Mayordomo Fermín Martínez Alonso en el año 1997, se construirían cinco fuentes, dos de las cuales serían bautizadas como “Fuente de San Felices maestro de San Millán” y “Fuente de San Millán discípulo de San Felices”, otra es conocida como la “Fuente del Feo”, apodo de José Extremiana que durante años ha cuidado y aseado el entorno de las campas, y las otras dos carecen de nombre.