Mycket tyder på att Varnums kyrka är uppförd under 1100-talet. Inte minst en madonnabild i trä som förvaras på Borås museum som kommer från Varnums kyrka styrker teorin att kyrkan byggdes under mitten eller slutet av 1100-talet. En gammal sägen berättar att försök att uppbygga kyrkan mera centralt i Varnums socken uppe vid Prästås gick om intet. ”Vad man gjorde om dagen blev förstört om natten och fört till det ställe där hon nu står” gjorde att sockenborna till slut gav upp och uppförde kyrkan vid sin nuvarande plats invid Tornsjöns strand. Varför kyrkan, mot traditionen, placerades i socknens utkant finns olika teorier. En är att delar av Rångedala nämligen Finnekumla rote tillhört Varnums församling och att då kyrkan låg mer lämpligt placerad. Kyrkan såg då inte alls ut som den gör idag. Tornet tillkom t.ex. så sent som 1788 (bygget startades redan 1782 som det verkar). På 1840-talet behövdes spåntaket läggas om på tornet och kyrkvärden Anders Svensson konstaterade att cirka 10000 ekspån behövdes för renoveringen. Arbetet fortlöpte i sju år och var färdigt 1848. Nästa omläggning av spåntaket behövdes inte göras förrän 1921 då byggmästare Adolf Johansson i Äspered reparerade taket till en kostnad av 7000 kronor. I dagens penningar blir det cirka 800000:- omräknat i löneindex.

År 1654 fick församlingen sin första kyrkobok skänkt av Anders Andersson i Lillagården.
1658 var ett märkesår, inte bara för riket Sverige, utan också för lilla Varnum som då fick sin första bibel. Det var en stor händelse och kostade en smärre förmögenhet för församlingen. År 1694 tillkom altartavlan som senare dock är förändrad/renoverad. Fr.o.m. 1866 då skollärare Andersson valdes till klockaretjänsten har den varit förenlig med lärartjänsten ända in på senare delen av 1900-talet då folkskollärare Erik Valeberg innehade tjänsten. En intressant sak i sammanhanget är namnet på den intilliggande Tornsjön (även kallad Toern) som sägs komma från att kyrktornet speglade sig i den närliggande vattenspegeln. Efter sjösänkningen 1873-1884 fanns det dock inget vatten att spegla sig i för en av bygdens äldsta kyrkobyggnader.