Fläche A des dreiecks ist gegeben durch
A = a*b

jetzt kannst du, durch die Randbedingungen des Dreiecks zB b durch a ausdrücken, hast also eine Funktion b(a).
Das setzt du in die Flächenformel ein

bekommst also
A(a) = a*b(a)

Das soll jetzt maximal sein, also suchst du das Maximum durch
A'(a) = 0, das ganze natürlich noch überprüfen mit 2. Ableitung oder halt durch umgebende Werte.

rechne dir erst den winkel links unten aus.. wie das geht sollte wohl klar sein *g*.

Dann kannst du die Strecke a unten wählen, wie du willst.
Das restliche Teilstück ist dann
12cm-a
sollte klar sein oder ?

die Höhe b kannst du nun über den tangens ausrechnen, denn du weißt die Länge und den Winkel.
damit hast du dein b(a) ausgerechnet.

oh mann ...

das viereck muss in dem Dreieck sein.

Sei jetzt mal alpha der Winkel zwicshen der unteren 12cm Seite und der Hypothenuse.

dann ist
tan(alpha) = 8/12 = 2/3

wenn du jetzt die strecke a vom dreieck mal festlegst, ist das reststück, nenen wir es a' gegeben durch
a' = 12cm-a.

wenn du dir jetztmal deine Skizze anschaust, dann kannst du die Strecke b ausrechnen durch:
tan(alpha) = b/a'
also b = 2/3*a' = 2/3*(12-a)
(geht übrigens auch mit Strahlensatz denke ich das auszudrücken)

damit ist dann die Flöäche des Vierecks gegeben durch
A(a) = a*2/3*(12-a)
Das gilt natürlcih für jedes frei wählbare a.

das jetzt einfach maximal aussuchen indem du das ableitest und null setzt etc blabla.