Annosa questione!!! 

Vedi anche:
<!-- l --><a class="postlink-local" href="http://pagine.dm.unipi.it/gobbino/Forum/Studenti/viewtopic.php?f=5&amp;t=1787">viewtopic.php?f=5&amp;t=1787</a><!-- l -->
<!-- l --><a class="postlink-local" href="http://pagine.dm.unipi.it/gobbino/Forum/Studenti/viewtopic.php?f=5&amp;t=1320">viewtopic.php?f=5&amp;t=1320</a><!-- l -->

Cerco di riassumere come credo (o m'illudo di credere) di averla capita io.

Premesso che:
- nell’intorno dei punti stazionari la funzione è approssimata dalla forma quadratica corrispondente ai termini del secondo ordine dello sviluppo di Taylor (termini che potenzialmente comandano e definiscono il segno della funzione nell’intorno);

- lo studio del segno della funzione nell’intorno del punto può quindi essere fatto mediante lo studio della segnatura  della forma quadratica i.e. della matrice hessiana ad essa associata (nel caso di due variabili basta fare il determinante, per n variabili completamento dei quadrati, sylvester, etc.).

Venendo alla tua domanda su cosa fare quando la forma quadratica è semidefinita, direi quindi che non ha senso cercare di determinare la natura del punto stazionario andando a guardare solo i termini del terzo ordine (o oltre) dello sviluppo di Taylor; non è detto infatti che i termini di secondo grado non contino nulla (vd. ad esempio f(x,y)=x^2-y^4).

Pertanto direi che se il test mediante studio dell’Hessiana fallisce si è costretti “semplicemente” a ricorrere allo studio del segno della funzione nell’intorno del punto stazionario in altri modi e anche lo sviluppo di Taylor può risultare uno strumento utile per farlo ma va usato con molta cautela senza perdere pezzi per strada (ci sono alcuni esempi interessanti nella lezione L20 di AM2 2014 e L14 di AM2 2016).

Nell’esempio che riporti non ho capito bene quale sia la funzione cui ti riferisci.