Iniciada como una pequeña colección especial de la Biblioteca Pública de Houston en 1921, la colección de investigación genealógica se encontraba originalmente en el edificio Julia Ideson en el centro de Houston. En 1968, la colección se trasladó a Clayton House en 5300 Caroline Street en el histórico distrito de museos de Houston. Esta fue la antigua casa del empresario y estadista de Houston William Lockhart Clayton y su esposa Susan Vaughan Clayton, quienes traspasaron la propiedad a la ciudad de Houston para su uso como biblioteca pública.
La colección siguió creciendo mientras estuvo en la casa histórica. Gracias a la generosidad de un donante anónimo, el sitio adyacente a Clayton House se compró en 1986 y la construcción de un nuevo edificio de biblioteca se completó en 1988. El nuevo edificio fue diseñado para complementar el estilo y la estructura de la histórica Clayton House, y proporcionó más espacio para la expansión de la colección genealógica.
En 2006, la Biblioteca Pública de Houston, con el apoyo dedicado de la familia Clayton, Clayton Library Friends y la ciudad de Houston, inició un proyecto de restauración de los tres edificios históricos de la propiedad. Como resultado, Clayton Library Center ahora abarca un complejo de cuatro edificios, incluido el edificio principal, Clayton House, Guest House y Carriage House. Miles de visitantes de todos los Estados Unidos vienen al Centro de Investigación de Historia Familiar en el Campus de la Biblioteca Clayton cada año para avanzar en su propia investigación de historia familiar utilizando la colección de investigación internacional de renombre.