Para empezar el enunciado nos pide el volumen de la region definida por la parte exterior del cono, y la parte interior de la esfera dada, y con una pequeña ayuda de un dibujo, tenes tres caminos para resolverla
1) por coordenadas cilíndricas
2) aplicando cilíndricas y tomando como variable dependiente r
3) por esféricas
1) la integral se divide en dos, sea la funcion g de cambio de coordenadas
\[g:R^3\rightarrow R^3/g(r,\theta,z)=(r\cos\theta,r\sin\theta,z)\quad |J_g|=r\]
evaluando dicha funcion en las superficies dadas, obtenes los limites de integración, observa que dicho recinto es simétrico con respecto al eje z=0, entonces podemos multiplicar por 2 a ambas
integrales solo para ahorrar cuentas
\[V=2\left ( \int_{0}^{2\pi}\int_{0}^{\frac{1}{\sqrt{2}}}\int_{0}^{r}rdzdrd\theta \right )+2\left ( \int_{0}^{2\pi}\int_{\frac{1}{\sqrt{2}}}^{1}\int_{0}^{\sqrt{1-r^2}}rdzdrd\theta \right )=\frac{2}{3}\sqrt{2}\pi\]
2)
\[V=2\left ( \int_{0}^{2\pi}\int_{0}^{\frac{1}{\sqrt{2}}}\int_{z}^{\sqrt{1-z^2}} rdrdzd\theta \right )=\frac{2}{3}\sqrt{2}\pi\]
3) defino la funcion g que representa el cambio de coordenadas cartesianas a esféricas
\[g:R^3\rightarrow R^3/g(r,w,\theta)=(r\cos w\cos\theta,r\cos w\sin\theta,r\sin w)\quad |J_g|=r^2\cos w\]
por definicion se cumple que
\[w\in\left [ -\frac{\pi}{4},\frac{\pi}{4} \right ]\quad \theta\in[0,2\pi]\quad r>0\]
los limites los sacas, analiticamente o con la ayuda del dibujo anterior, finalmente
\[V=\int_{0}^{2\pi}\int_{-\frac{\pi}{4}}^{\frac{\pi}{4}}\int_{0}^{1}r^2\cos w drdwd\theta=\frac{2}{3}\sqrt{2}\pi\]
bodhi, con esas restricciones te falta agregar el "bochito" de arriba de al esfera, el recinto del cual nos piden el volumen es como "dos curucuchos" con sus respectivos "bochitos de helado", solo que acostados, por decirlo de alguna manera
mirinda no sé que cambio de coordenas usaste, para empezar los limites en z no son constantes, ademas te falto sumar el "bochito del curucucho"