¿El hecho solo está invitado, pero sigue sin preguntarte? ¿Y se pone muy a la defensiva cuando lo mencionas? Casi parece que ya no estuvo con el ex (independientemente de si todavía le gusta o no), y que ser grosero al excluirte solo lo hizo más conveniente.
Puedes probar un ultimátum (aunque nunca antes he visto un ultimátum que termine con una relación feliz), o podrías romper con él. Si eso es demasiado, entonces tómate un descanso por lo menos un mes y dile que necesita descubrir sus sentimientos por ti y por su ex. Si ir solo con su ex a eventos repetidos es más importante que sus sentimientos, entonces ustedes dos no deberían estar juntos en primer lugar, porque no está listo.