En 1827 il épousa morganatiquement la fille d'un simple maître de poste et continua son existence studieuse et retirée.
Les agents de la police nipponne étaient venus leur faire de grosses menaces, pour loger ainsi, en dehors de la concession européenne, un Français morganatiquement marié à une Japonaise, — et la terreur les prenait d’être poursuivis ; humblement, avec mille formes affables, ils me priaient de partir.