¿Por qué nos cuesta tanto decir que no sin sentir culpa?

Últimamente noto que, incluso cuando pongo un límite con toda la calma del mundo, después me queda una sensación rara de haber fallado. ¿A alguien más le pasa que la culpa aparece más por la reacción del otro que por el límite en sí?