問題．
体積を求める必要があるので，自分で変数を導入して，体積を表し最大値を求めていきます．
正四面体とは問題文に書いていないので，そこだけ注意しましょう．
球に内接する四角錐の問題ですが，半分に切った断面図を考えると分かりやすいです．
解答例．
原点を中心とする単位球を考えます．
正方形 が平面
上にあるとしても一般性を失いません．
このとき，三平方の定理から，4 頂点 と
軸との距離は
なので，正方形
の面積は
\begin{align*}
2\cdot\sqrt{1-t^2}\cdot\sqrt{1-t^2} = 2(1-t^2).
\end{align*}
を固定した状態でもう一つの頂点
を球面上で動かしたときに四角錐の体積が最大となるのは，点
の座標が
のときであり，その体積を
とすると，
\begin{align*}
V &= \dfrac{1}{3}\cdot 2(1-t^2)\cdot |1-(-t)|\\
&= \dfrac{2}{3}(1-t^2)(1+t)\\
&= \dfrac{2}{3}(1+t-t^2-t^3).
\end{align*}
微分して，
\begin{align*}
\dfrac{dV}{dt} &= \dfrac{2}{3}(1-2t-3t^2)\\
&= \dfrac{2}{3}(1-3t)(1+t).
\end{align*}
の増減表は以下のようになります．
\begin{array}{|c||c|c|c|c|c|}\hline
t & 0 & \cdots & \frac{1}{3} & \cdots & 1\\ \hline
\frac{dV}{dt} & & + & 0 & - & \\ \hline
V & 0 & \nearrow & & \searrow & \\\hline
\end{array}
よって， のとき体積
は最大となり，そのとき
\begin{align*}
V &= \dfrac{2}{3}\left\{1-\left(\frac{1}{3}\right)^2\right\}\left(1+\frac{1}{3}\right)\\
&= \dfrac{2}{3}\cdot \dfrac{8}{9}\cdot \dfrac{4}{3}\\
&= \dfrac{64}{81}.
\end{align*}
微分しない方法．
上では素直に微分を用いて最大値を求めましたが，相加相乗平均を用いて最大値を求めることもできます．詳しくはこちらの記事を見て下さい．今回の場合，3 項の相加相乗平均の関係を少し変形した，
\begin{align*}
abc \leqq \left(\dfrac{a+b+c}{3}\right)^3
\end{align*}
を用います．
まず の部分を因数分解します．
そして，相加相乗平均の関係を使ったときに が消えるようにするために，2 をくくりだします．
\begin{align*}
V &= \dfrac{2}{3}(1-t^2)(1+t)\\
&= \dfrac{2}{3}(1+t)^2(1-t)\\
&= \dfrac{2}{3}\cdot 2^2\cdot \left(\frac{1}{2}+\frac{t}{2}\right)^2(1-t)\\
&= \dfrac{8}{3}\left(\frac{1}{2}+\frac{t}{2}\right)\cdot 2(1-t)\\
&\leqq \dfrac{8}{3}\left(\dfrac{(1/2+t/2)+(1/2+t/2)+(1-t)}{3}\right)^3\\
&= \dfrac{8}{3}\left(\frac{2}{3}\right)^3\\
&= \frac{64}{81}.
\end{align*}
となり同じ答えになります．
