Murs mitoyens et distances réglementaires

Bonjour à tous,

J'ai pour projet de faire construire une petite piscine dans mon petit jardin.
Je me suis documenté assez longuement sur les réglementations en cours et notamment sur les distances légales de séparations des constructions. En l'occurrence, le PLU de ma commune indique qu'il faut nécessairement 3m de distance si le mur est mitoyen.
Au vu de la configuration de mon jardin (jardin rectangulaire de 100m2, mur mitoyen au fond et à droite) cela risque de poser de gros problèmes de positionnement.

J'ai entrepris d'aller voir un pisciniste qui m'a indiqué qu'ils avaient l'habitude de ce genre de chose et qu'il ferait quand même une déclaration réelle pour la construction

Ma question est la suivante : si nous déposons un permis de construire en indiquant les distances réelles envisagées par le pisciniste (aux alentour de 2M), et que (par chance, ou coutume), le projet de construction est validé par les services et que le permis est délivré, suis-je protégé contre une action (éventuelle) de mes voisins ?

J'ajoute que j'ai cru comprendre qu'il était possible de demander l'accord du voisin (réserve de droit du tiers) ? Ce document, s'il existe, a-t-il une valeur ?

En vous remerciant par avance pour vos conseils et avis!

ZuB