Lo que te está sucediendo, más que el hecho de que no te gusten las conversaciones pequeñas (¡todos lo hacemos!) Es probablemente algo que se llama “Ansiedad por hablar en un idioma extranjero” (más información aquí).
La forma más fácil de evitar esto es hacer que su práctica de hablar sea asíncrona: grabarse a sí mismo u obtener un tutor o compañero de conversación y usar un software que le permita practicar hablar sin sentirse juzgado. Cuanto más hable, más confianza se sentirá, lo que le ayudará a hablar más, lo que le ayudará a hablar mejor, lo que le ayudará a hablar más, etc. Vea lo que quiero decir aquí.