A Igreja Matriz de Nossa Senhora da Conceição, edificada no local em que hoje se encontra a Basílica do Carmo, foi inaugurada em 1781, contando com uma nave de 18,70 m de cumprimento por 7,04 m de largura, e com uma capela mor de 8,80 m de cumprimento e 7,04 m de largura. Ainda no ano de 1806, ocasião em que respondia como de Igreja Matriz da Vila de São Carlos (1797), permanecia sem forro e com piso de terra socada.
Quando, então, da visita de D. Pedro II à cidade de Campinas (elevada em 1842) em 1846, a antiga Igreja Matriz achava-se em situação precária, optando-se por transferir a sede da Paróquia para a Igreja do Rosário (que ali permaneceu até 1852) ou ainda, conjecturando-se em demolir a “Matriz Velha”.
O templo foi salvo pela mobilização da população. Passadas três décadas (1870), o desenvolvimento e adensamento do município motivam a criação de uma segunda Paróquia, a Paróquia de Santa Cruz A partir de então, a sede da antiga Paróquia de Nossa Senhora da Conceição passaria para a Igreja do Rosário (até a inauguração da Catedral em 1883) e a “Matriz Velha” assumiria a nova Paróquia de Santa Cruz, confirmada como de devoção de Nossa Senhora do Monte Carmelo (ou Nossa Senhora do Carmo) no ano seguinte.
As reformas significativas só viriam no final do século XIX, período em que se erigiu a capela de Nossa Senhora dos Remédios (1898) e em que se edificou uma torre única voltada para a Rua Sacramento (1899), inaugurando-se em 1907 as duas novas torres de frontispício. Nos anos seguintes, período no qual Campinas recebeu uma Diocese (1908), a Matriz do Carmo passou a contar com a Ordem Terceira de Nossa Senhora do Carmo (1909).
Este templo, munido de acréscimos, recebeu do Cônego Dr. Idílio Soares (vigário no período de 1924 a 1932) uma nova atenção. Com apoio de D. Barreto (Bispo de Campinas) e atuação de uma Comissão de Obras, o antigo corpo da igreja foi demolido setembro de 1930 para dar lugar a um novo templo em alvenaria de tijolos e em estilo neo-gótico; a capela mor e parte das duas torres foram poupadas. A planta fica a cargo de um engenheiro de São Paulo e a execução das obras ao engenheiro Dr. Hoche Segurado (campineiro e paroquiano de Santa Cruz).
Em finais de 1932, a nova edificação já se encontrava coberta; em 1936 ela recebeu a Capela do Santíssimo e os vitrais da Casa Conrado de São Paulo. Em 1938, o relógio, dando-se sua inauguração em 1939. As pinturas internas seriam realizadas pelo monsenhor Lázaro Mütschele (à frente da paróquia entre os anos de 1947 e 1963), valendo observar que em 1974 a Matriz do Carmo recebeu o título de Basílica Menor e um novo Altar-mor do Sacrifício Eucarístico em 1979. Em 1997 deu-se a incorporação da cruz no frontispício seguindo-se seu tombamento pelo CONDEPACC (2004) e a conclusão do restauro de seus vitrais (2009).
