Vamos a resolver cada parte del problema paso a paso.

Parte (a): Determinar los valores de $k$ para los cuales $F\circ G$ es biyectiva

La composición de funciones está dada por: $$(F\circ G)(a,b)=F(G(a,b)).$$ Dado que $G(a,b)=(a+b,0,2a+kb)$, aplicamos $F$ sobre este resultado: $$F(a+b,0,2a+kb)=((a+b)-0,0+(2a+kb)).$$ Simplificando: $$F(G(a,b))=(a+b,2a+kb).$$ La matriz asociada a $F\circ G$ en las bases canónicas es: $$M(F\circ G)=\left(\begin{array}{cc}1& 1\\ 2& k\end{array}\right).$$ Para que $F\circ G$ sea un isomorfismo (biyectiva), su matriz debe ser **invertible**, lo que ocurre si y solo si su determinante es distinto de cero: $$\left|\begin{array}{cc}1& 1\\ 2& k\end{array}\right|=1\cdot k-1\cdot 2=k-2.$$ Para que sea invertible: $$k-2\ne 0\Rightarrow k\ne 2.$$

Conclusión:

Parte (b): Encontrar $(F\circ G{)}^{-1}(1,0)$ para $k=1$

Para $k=1$, la matriz de $F\circ G$ se convierte en: $$M(F\circ G)=\left(\begin{array}{cc}1& 1\\ 2& 1\end{array}\right).$$ Calculamos su inversa. Primero, el determinante: $$\left|\begin{array}{cc}1& 1\\ 2& 1\end{array}\right|=1\cdot 1-1\cdot 2=1-2=-1.$$ La inversa de una matriz $2\times 2$ de la forma $A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$ es: $$A^{-1}=\frac{1}{det(A)}\left(\begin{array}{cc}d& -b\\ -c& a\end{array}\right).$$ Aplicamos esto a nuestra matriz: $$M(F\circ G{)}^{-1}=\frac{1}{-1}\left(\begin{array}{cc}1& -1\\ -2& 1\end{array}\right)=\left(\begin{array}{cc}-1& 1\\ 2& -1\end{array}\right).$$ Ahora calculamos: $$(F\circ G{)}^{-1}(1,0)=\left(\begin{array}{cc}-1& 1\\ 2& -1\end{array}\right)\left(\begin{array}{c}1\\ 0\end{array}\right).$$ Multiplicamos: $$\left(\begin{array}{c}(-1)(1)+(1)(0)\\ (2)(1)+(-1)(0)\end{array}\right)=\left(\begin{array}{c}-1\\ 2\end{array}\right).$$

Conclusión: