Le récit commence par la description du Port-Louis de l’Isle-de-France – c’est-à-dire l’île Maurice – et de ses alentours. Un homme qui a pour habitude de se promener aux environs de deux cabanes abandonnées y rencontre un jour un vieux prêtre. L’homme lui demande si les cabanes sont habitées, ce dernier lui répond qu’autrefois y vivaient deux familles qui avaient trouvé le bonheur, et que lui-même, qui vivait non loin, était leur ami. L’homme demande ensuite au prêtre de lui raconter l’histoire de ces familles, et le vieillard s’exécute.
En 1726, M. de la Tour et sa femme alors enceinte viennent s’installer sur l’île pour y faire fortune. L’homme part pour Madagascar dans l’espoir d’y acheter quelques Noirs, mais il tombe malade et meurt de fièvre. Sa femme se retrouve veuve et enceinte sans aucun biens, hormis une esclave du nom de Marie. Non loin de là vit Marguerite, une jeune femme venue de Bretagne après avoir été abandonnée par son futur mari. Marguerite et son fils Paul vivent en compagnie de leur esclave Domingue. Les deux femmes, qui se retrouvent dans une situation similaire