Très vite, l'absence de réalité visuelle provoque une mise à l'écart de M. Griffin. En effet, personne ne peut le voir, et il est difficilement explicable aux autres que l'on est invisible. À chaque fois que notre héros le dit à quelqu'un ou que l'on s'en aperçoit, cela crée une vague de panique : « j’étais si affolé que je frappai violemment cette manche », « La physionomie de Marvel exprimait la terreur », etc.Dans la rue, il se fait bousculer, il risque de se faire percuter plusieurs fois, … De plus, il met du temps à se réapproprier son corps, puisqu'il ne le voit pas, et personne n'est en mesure de l'aider.
La seule fois où il pense avoir enfin trouvé quelqu'un à qui parler, se confier « Le fait que je suis tombé ainsi dans votre maison, Kemp, change tous mes plans ; car, vous êtes, vous, en état de comprendre », il se fait trahir aussitôt, car il représente un véritable danger. Finalement, sa solitude lui sera même reprochée par celui qu'il a cru être son ami : « Il s’est retranché lui-même du genre humain : que son sang retombe sur sa tête ! ». Une chasse lui sera donnée, l'obligeant à fuir encore la compagnie des autres ho