Marie Magdalene Dietrich est née le 27 décembre 1901 à Berlin-Schöneberg, dans la Leberstraße (autrefois Sedanstraße). Elle est la fille cadette de Louis Erich Otto Dietrich, officier prussien, et de Joséphine, née Felsing. Sa sœur aînée Elisabeth est née en 1900. Elle perd son père, en 1908, lorsqu'elle a 7 ans. Marlene est la contraction de Marie Magdalene.

Sa mère se remarie avec Eduard von Losch, officier de cavalerie, qui adopte Elisabeth et Marlene. Marlene cultive ses dons pour la musique et le chant, mais doit toutefois abandonner le violon à la suite d'une blessure du poignet. Elle jouera plus tard de la scie musicale. Son beau-père est tué à son tour pendant la Première Guerre mondiale, en 1916. De 1919 à 1921 elle poursuit ses études comme interne à Weimar.

Elle prend ses premiers cours de théâtre auprès de Max Reinhardt en 1921. En 1922, elle joue ses premiers petits rôles au théâtre, notamment au Großes Schauspielhaus, et joue dans des revues, comme celle du Kurfürstendamm de Berlin, aux côtés de la vedette française Margo Lion. Elle obtient aussi des rôles mineurs au cinéma. Son premier rôle crédité est Lucy dans Tragédie de l'amour de Joe May. Elle se marie le 17 mai 1923 avec Rudolf Sieber et donne naissance à sa fille Maria Elisabeth Sieber, le 13 décembre 1924. Elle n'aura pas d'autres enfants, vivra peu avec son mari, et ne se remariera jamais après son divorce (bien qu'un mariage avec Jean Gabin semble avoir été, plus tard, sérieusement envisagé - cf plus bas).

Marlène Dietrich enregistre à la fin des années 20 ses premières chansons, notamment Es liegt in der Luft (1928).

En 1929, elle tourne son premier rôle important dans L'Énigme. Remarquée par Josef von Sternberg, celui-ci la recommande à la Paramount Pictures, dont le bureau berlinois cherche une actrice pour faire pièce au mythe de Greta Garbo, lancé par la Metro-Goldwyn-Mayer.