Anno Domini 1252 wurde im Mergelstetten die erste Kirche urkundlich erwähnt, als die Grafen Hartmann IV. und Albrecht von Dillingen die Kirche samt dem Dorf "Merchelinestetin" an das Augustiner-Chorherrenstift in Herbrechtingen veräußerten.

Die damalige, bis 1841 bestehende Kirche, war dem Heiligen Ulrich geweiht.

Der Heilige Ulrich war in den Jahren 923 -973 Bischof von Augsburg und ist neben der Heiligen Afra einer der bedeutendsten Kirchenpatrone im süddeutschen Raum.

In den Jahren 1842-43 wurde unter dem Stuttgarter Baumeister Karl Alexander Heideloff die heutige Kirche errichtet. Der Bau war begleitet von allerlei Verzögerungen und Kostensteigerungen. Letztere hätten fast zu einem vorzeitigen, von der königlichen Regierung des Jagstkreises erzwungenen Baustopp geführt. Dies konnte nur dadurch abgewendet werden, dass die "höchste moralische Notwendigkeit" eines Gotteshauses im Ort geltend gemacht wurde. Um Kosten zu sparen, wurde beim Bau auf alles nicht zwingend notwendige verzichtet. So wurden im Inneren die Säulen und Gesimse nicht aus Stein sondern aus Holz errichtet und die Außenmauern aus Geislinger Tuffstein an stelle des hiesigen Kalksteins.

Bei der Weihe der Kirche am 10. November 1843 wurde ein noch nicht ganz fertiges Gebäude eingeweiht. Der Innenraum war weder gestrichen noch war das Kreuzgewölbe eingezogen, auch die Altargitter fehlten noch. Das Kreuzgewölbe ließ noch 122 Jahre, bis zur großen Renovierung 1965, auf sich warten, während die Kirche selbst im folgenden Frühjahr gestrichen wurde.

Zeitgleich mit der Kirche wurde auch die erste Orgel eingeweiht. 19 Register auf zwei Manualen, errichtet von Orgelbaumeister Gruol aus Bissingen / Teck.

Der damals wie heute wertvollste Einrichtungsgegenstand ist zweifelsfrei der nahezu lebensgroße Kruzifixus über dem Altar. Bei der Restaurierung im Württ. Landesmuseum in Stuttgart ergab sich eine Datierung auf das Ende des 15. Jahrhundets und eine Zuordnung zur Riemenschneiderschule.