Fundada a principios del siglo XX el 20 de marzo de 2, la Biblioteca Carnegie y Lyceum de Houston estaba ubicada en la esquina de Travis Street y McKinney Avenue. En 1904, más de diez mil habitantes de Houston tenían tarjetas de biblioteca. En el lapso de nueve años, el número de trabajadores de la biblioteca se triplicó, llegando a un total de siete en 1907.
La Biblioteca Pública de Houston recibió su nombre en 1921, y cinco años después, se levantó una nueva Biblioteca Central con un estilo arquitectónico renacentista español y una entrada que daba a lo que se convertiría en Hermann Memorial Square.
La expansión de una sola biblioteca a un sistema con numerosas ubicaciones y espacios se refleja en valores fundamentales a lo largo de los años: entre 1927 y 1974, mejores servicios de accesibilidad y participación comunitaria; 1975-1999, transición a una era digital para el enriquecimiento educativo; y desde 2000 hasta el presente, enfatizar la innovación y la inclusión para todos.