A Associação do Pão de Santo Antônio nasceu em 19 de outubro de 1902, formada somente por uma humilde casa, inaugurada nesta data pelo seu fundador, José Augusto Neves. Recebeu o nome de Vila dos Idosos (Cidade dos Pobres). Inicialmente abrigou seis ex-escravos já idosos que se encontravam abandonados nas ruas da cidade de Diamantina.

A partir desta data, o projeto foi ganhando foco e visibilidade aos olhos políticos de membros da elite social da cidade que compunham a Pia União do Pão de Santo Antônio, uma irmandade religiosa masculina fundada em 14 de julho de 1901, na antiga Catedral da Sé, na Paroquia de Santo Antônio, pelo senhor Francisco Brant.

Entre os anos de 1902 e 1905 a Vila dos Idosos passa por uma nova fase em sua existência, o nome da Instituição é trocado devido a chegada de uma Imagem de Santo Antônio, doada ao José Augusto Neves pelo senhor Motta, dono do Armazém do Motta. A Vila, então, passa a ser chamada de Recolhimento dos Pobres do Pão de Santo Antônio.

Atualmente, a Associação além do Asilo, que assiste 42 idosos, e é sua missão principal, também abrange o jornal Voz de Diamantina, o Museu Tipografia Pão de Santo Antônio e a Hospedaria Santo Antônio.