Tras la muerte de Ramón de Silva Ferro en agosto de 1884, hecho que tuvo lugar en el abordaje que sufrió el bergantín Pelayo, con la barca Exila, las actividades de la factoría de la Graciosa, quedó paralizada. Los trabajadores y sus familias, que se habían desplazados a la isla para trabajar en la factoría de pescado, deciden quedarse a vivir en la Graciosa, esta decisión estaba fundada en parte, por la situación en que se encontraba Lanzarote, donde la falta de agua había obligado a muchos lanzaroteños a emigrar.
Al morir Ramón de Silva, fue nombrado director de la Sociedad de Pesquerías, Federico Rubio, que liquidó la Sociedad y donó a los trabajadores y a sus familias los materiales e instalaciones que se habían levantado en la Graciosa. En la descripción de estas instalaciones realizadas por el periódico El Fénix, dice, “…Las instalaciones se hallan ocupadas por esta empresa sobre 50 personas, todas naturales de estas islas; y cuatro extranjeros, traídos para dirigir las operaciones de salazón…” Así nació el asentamiento del primer poblado en la isla de la Graciosa. Estas primeras familias procedían de Arrieta y de Arrecife. Sobre el nombre de Caleta del Sebo, escribía Sebastián Jiménez Sánchez, lo siguiente, El llamarse Caleta del Sebo, puede que obedezca a alguna circunstancia especial de la localización de sebo o grasa, y a que los caletones que tiene los pescadores graciosenses echaban el “sebo”, “engodo” o “carnada” para atraer el pescado. ..también puede tener fundamento en las “sebas”, especie de algas y musgos marinos, que cubren los caletones y que a veces afloran por la acción de las fuertes mareas. Con piedra seca y restos de maderas y materiales de las antiguas instalaciones de las fábricas se fue levantado un pueblo de la mano de sus primeros habitantes, Francisco Álvarez, Sebastián González, Miguel Hernández, Cayetano y Zenón Betancort, Agustina Quintero, Antonio Morales y Manuel de Paiz, siendo este último el representante de estas primeras familias en la Junta de Administración del Islote de 1877.
Poco después van llegando otras familias procedentes de Teguise, de donde vienen los Morales y los Martinez, de Haría llegan los Paez Álvarez, Batista y González, de Órzala los Guadalupe y Curbelo, los Toledo vienen de Arrecife y de Arrieta. Se cuenta que las primeras edificaciones estaban situadas en lo que hoy se conoce como la zona de la Sociedad. En una de las inscripciones de los primeros niños nacidos en la graciosa figura José Hernández, nacido dice la nota en “la misma choza o cabaña de su madre”, nació el 03.11.1873, era hermano de Juan Hernández casado con Antonia Pérez, con quien tuvo 11 hijos, y de Miguel Hernández que se casó con Casimira Luzardo de quien conocemos cinco hijos. En 1887, la Graciosa ya se incluía en el Nomenclator con el nombre de Caserío de la Graciosa. Se importaron camellos de Lanzarote y de África, utilizados en la Graciosa como animales de carga. Se continua con el aprovechamiento del Islote mediante la ganadería, la caza de pardelas, conejos, los marisco, el cosco y la pesca. En 1900 se registran en La Graciosa 5 edificios En los primeros años del siglo XX, el ornitólogo David Bannerman, llegaba a la Graciosa y de su visita dejó escrito entre otras cosas lo siguiente, “Los gracioceros me impresionaron a primera vista porque poseen una estampa diferente de la gente de las islas principales; son superiores en lo físico y en lo moral; sumamente bien parecidos y estaban bien constituidos. Su amabilidad para conmigo mientras estuve en su isla no podría superarse y, como ejemplo, debo decir que rehusaron por completo aceptar cualquier pago por la hospitalidad que me ofrecieron a mi llegada. La cabaña en la que pasamos la noche era una construcción de piedra que tenía tres habitaciones bajas, una de las cuales estaba llena de pescado seco. El techo estaba hecho de madera, apoyada sobre muchísimos palos cruzados, y toda la estructura parecía como si se pudiera venir abajo en cualquier momento. Cuando hacíamos té, los dueños legítimos de la cabaña entraron a raudal; ¡once hombres, mujeres y niños! De inmediato, la mayoría se sentó en el suelo mientras las mujeres se ocupaban de llevar a cabo más preparativos para nuestra comodidad…”.