Su peculiar personalidad, la cual ha dado mucho de qué hablar, está conectada con el pasado y la infancia traumática a la que tuvo que enfrentarse el duque de Edimburgo cuando tan solo era un niño. Su hija Ana hacía mención a esta etapa de su vida en Grecia, recordando lo duro que fue para él y cuánto le marcó. "Tenía un estilo de vida nómada, que debió ser bastante difícil porque era mucho más joven que sus hermanas", explicaba a lo que añadía que Andrés de Grecia, el padre del príncipe Felipe, fue una figura muy irregular que se marchó a Francia con una amante cuando él era apenas un crío. Su madre, Alicia de Battenberg, lidió con una enfermedad mental en un centro psiquiátrico y esto mantuvo al entonces príncipe de Grecia viajando de un lugar a otro sin un hogar estable. "Era virtualmente un refugiado", agregaba la princesa Ana. Además, menciona el internado de Gordonstound en Escocia donde su padre pasó algunos de los años de su adolescencia y que para él tuvo un gran impacto porque, hasta ese entonces, "no tenía ningún otro lugar donde ir".