Suggerisco altri due metodi da provare.

1 - Intersecare la retta AB con il piano passante per C e perpendicolare ad AB.

2 - Scrivere, in funzione di t, la distanza (al quadrato, per levarsi la radice) tra C ed il punto generico A +t (B-A) della retta AB. Viene un polinomio di secondo grado in t. Non resta che trovare il valore di t per cui il polinomio assume il minimo, a cui corrisponderà il punto di minima distanza.

Chi esplicita i due conti?