¿Por qué me afecta tanto cuando las personas me sacan su frustración? Tal vez sea su trabajo / trabajo / relación o lo que sea, pero ¿no es como si me estuvieran dando por sentado?

Debes ser afectado. La pregunta es qué haces al respecto. Si están cerca de ti, creo que deberías ser razonablemente indulgente y comprender, porque es por eso que usamos a las personas cercanas a nosotros muchas veces …
Si no están cerca, bueno, ¡devuélvelo!