No sé si usaría la palabra “daño”, pero sí, las personas a menudo están bastante molestas si te niegas a participar en un deporte que les gusta. Esto me pasó muchas veces, especialmente cuando era más joven. No me uniré a nada a menos que quiera hacerlo, lo que también incluye la discusión de ciertos temas, tipos de recreación, ver películas que no me gustan, etc.
Creo que la gente se enoja porque comparan que no te gusten sus intereses con no gustarles. Es aún peor si esa es su única forma de conectarse. Puede intentar que se interesen en algo que le guste, pero si no funciona, es probable que su relación sea breve.