Un primo tentativo di costruire ad Alba una biblioteca pubblica si può far risalire al 1868 con i libri concessi in uso dall'Accademia Filarmonico-letteraria; questa biblioteca nel 1886 venne aggregata al Liceo classico e successivamente intitolata a Michele Coppino, ma dopo un breve periodo in effetti cessò di esistere.
Nel 1960, il sindaco Osvaldo Cagnasso volle l'istituzione di una biblioteca civica efficiente; l'impresa fu resa possibile grazie ad un generoso contributo della signora Ottavia Amerio Ferrero e la biblioteca fu pertanto intitolata a Giovanni Ferrero.
Come prima sede furono individuati alcuni locali nel complesso scolastico di S. Secondo; essi si rivelarono presto inadeguati e nel 1971 la biblioteca fu trasferita in locali appositamente ristrutturati nel palazzo della Maddalena.
Da allora la crescita delle dotazioni librarie e della frequenza è stata continua e, proprio per rispondere in modo soddisfacente alle nuove esigenze del pubblico e per poter dare spazio a nuovi servizi, l'Amministrazione comunale ha allestito - sempre nel palazzo della Maddalena - l'odierna sede della Biblioteca civica che è stata inaugurata nell'ottobre 1987.