INTERPRETAR
O que a questão quer de verdade: o lado do quadrado maior, EF.
ESTRUTURAR
No triângulo AGD: AG = 4, GD = 3 (lado do quadrado) e ângulo reto em G. Logo AD = 5 e \operatorname{tg} A = \frac{3}{4}, \cos A = \frac{4}{5}, \operatorname{sen} A = \frac{3}{5}.
Seja K o quarto vértice do quadrado menor (oposto a G), que encosta no lado esquerdo do quadrado maior. Então AE é a distância horizontal de A até K.
O vértice superior esquerdo do quadrado maior está sobre AB, na altura EF e na abscissa AE: EF = AE \cdot \operatorname{tg} A = \frac{3}{4} AE.
ESCOLHER ESTRATÉGIA
Pôr A na origem e AC no eixo horizontal para achar a abscissa de K.
A armadilha: supor que E coincide com D, ou que o quadrado maior começa logo depois de H. Quem liga os dois quadrados é o vértice K.
CALCULAR
Ao longo de AB, H está a 4 + 3 = 7 de A: H = \left(7 \cdot \frac{4}{5}, 7 \cdot \frac{3}{5}\right) = \left(\frac{28}{5}, \frac{21}{5}\right).
De H até K, 3 unidades perpendiculares a AB, descendo: direção \left(\frac{3}{5}, -\frac{4}{5}\right).
K = \left(\frac{28}{5} + \frac{9}{5}, \frac{21}{5} - \frac{12}{5}\right) = \left(\frac{37}{5}, \frac{9}{5}\right).
AE = \frac{37}{5} e EF = \frac{3}{4} \cdot \frac{37}{5} = \frac{111}{20}.
CONFERIR
Conferindo D: G = \left(\frac{16}{5}, \frac{12}{5}\right) e D = G + 3\left(\frac{3}{5}, -\frac{4}{5}\right) = (5, 0), sobre AC, com AD = 5 como no triângulo 3-4-5. E EF = 5{,}55 cm, maior que o lado 3 do quadrado menor, como na figura. Alternativa B.