Problema caja de cambios, cuesta reducir marcha a altas rpm

Hola buenas, os comento tengo una husqvarna wr 250 2t del 2009. Le he montado ahora que se acerca el verano el kit de supermotard y cuando intento bajar de marcha de 5-4 o 4-3 únicamente si la moto va un poco alta de vueltas la palanca de cambios se queda dura y no me deja bajar hasta que no se reducen las rpm del motor. Me he dado cuenta que si le doy un golpe de gas antes de bajar marcha (que ya se que es como se debe de bajar marcha) esto no lo hace. Entiendo algo de mecánica y tengo la sospecha de que puede ser el tambor selector de la caja de cambios que tenga un cierto desgaste, pero me gustaría escuchar otras opiniones porque estoy un poco perdido. Con el kit de enduro nunca lo he notado y en supermotard es la primera vez que lo noto tras 3 años con la moto, tampoco es que lleve la moto a fondo en supermotard ya que es una 2t y se que no es para eso, la uso como moto de paseo más bien.

Gracias y gas

Yo sacaba los discos, lijaba un poco los metálicos, quitaría el brillo a los

ferodos y pondría ATF, a ver si se suaviza.