A ver...
Siendo A = {a,b}
Las únicas funciones que podés definir en ese conjunto, considerando que A es tanto Dominio y Codominio son:
Función 1:
f(a) = a
f(b) = b
Función 2:
f(a) = b
f(b) = a
Cuando vos compongas, vas a tener cuatro funciones, las distintas combinaciones de esas dos funciones, es decir
Composición 1:
f1 compuesta de f1
Composición 2:
f1 compuesta de f2
Composición 3:
f2 compuesta de f1
Composición 4:
f2 compuesta de f2
Te sugiero que hagas una tabla de doble entrada para las composiciones, y después deberías poder comparar esa tabla con la del grupo aditivo.
Espero sirve la idea
Te agrego algo más...
SI es cierto que las únicas dos funciones que se pueden definir a partir del conjunto A son esas dos que mencioné, cuando vos quieras probar que esas funciones bajo la operación de composición es un grupo vas a tener lo siguiente:
f1 o f1 = f1
f1 o f2 = f2
f2 o f1 = f2
f2 o f2 = f1
Si yo hice bien las cosas xD
Entonces después tendrías la siguiente tabla, de la que te hablaba antes
\[\begin{matrix}o &f1 &f2 \\ f1 &f1 &f2 \\ f2 &f2 &f1 \end{matrix}\]
Deberías verificar todas las condiciones que se deben cumplir para que sea grupo. Elemento neutro, simétrico y todas esas cosas que ahora no recuerdo
Después tenés el grupo aditivo, que es así...
\[\begin{matrix}+ &0 &1 &2 &3 \\ 0 &1 &2 &3 &0 \\ 1 &2 &3 &0 &1 \\ 2 &3 &0 &1 &2 \\ 3 &0 &1 &2 &3 \end{matrix}\]
Si la primer parte que te mostré está bien, como el grupo que hallaste tiene menos elementos que este, ya te basta para afirmar que no son isomorfos...
Si hay algo mal en la primer parte, y eventualmente llegás a un grupo de 4 elementos, al igual que éste, deberías ver si podés encontrar una forma de asignar a cada elemento de un grupo, un elemento en este otro que se comporten de la misma forma para establecer el isomorfismo.