Creo que estás describiendo a alguien que experimenta paranoia, no agresividad pasiva. De cualquier manera, creo que la respuesta es la misma: sea claro y directo, y hágale saber a la persona que no está tratando de conseguirlo.
Aparte de esto, realmente no sé qué decir sin más información y contexto. Aunque creo que esta es una respuesta segura.