Začínal s džínsami, spodnou bielizňou, časom sa presadil aj s parfémami, šperkmi či hodinkami. Prvé návrhy šiat si pritom Klein kreslil už ako päťročný. Sen začal uskutočňovať v roku 1968, keď si spolu s kamarátom Barrym Schwartzom založili firmu Calvin Klein Inc. Prvú zákazku získali náhodou, keď si nákupca strihov veľkého obchodného domu Bonvit Teller poplietol poschodie a ocitol sa omylom v ich dielni. Bol však očarený a zákazka za 50-tisíc dolárov preniesla Kleinovo meno na módnu mapu. Povedomie si vytvoril v móde pre bežné nosenie.
V roku 1973 navrhol kolekciu športového oblečenia, z ktorého sa postupne zrodil masovo používaný výraz „vzhľad Calvin Klein“. Slávu a úspech ale zaplatil rozvodom s prvou manželkou Jayne. Ako Klein povedal, nasledovala pre neho divoké obdobie plné avantúr a drog. Po publicite prahnúceho návrhára zmenil v roku 1978 únos jedinej, vtedy 11-ročnej dcéry. Marci vyviazla nakoniec bez zranení. Klein sa ale viac stiahol do súkromia.
Hlavu americkým puritánom zamoti v roku 1979 svojou provokatívnou reklamou na džínsy, v ktorej sa 15-ročná herečka Brooke Shields pýta: „Vieš, čo je medzi mnou a mojimi calvinami? Nič.“ Návrhár kabátov sa takmer cez noc stal najúspešnejším návrhárom džínsov. Ameriku vtedy zachvátila džínsová horúčka a Kleinove „calvins“ mali aj vďaka negatívnym ohlasom feministiek o odbyt postarané.
Stratégiu sebe vlastnú volil Klein aj v roku 1982 pri propagácii pánskej spodnej bielitne – bežne úžitkový predmet premenil na predmet túžby. Reklamy so sexuálnym podtextom opäť vyvolali negatívne reakcie, ale tovar dobre predávali. Nemenej úspešný bol Klein aj pri výrobe parfémov. Značky Obsession, Eternity, Escape a ďalšie rozšírili nielen škálu jeho výrobkov, ale aj zisky. Hlavnou tvárou CK sa na niekoľko rokov stala topmodelka Kate Moss.
V roku 1997 rozšíril Klein svoje portfólio o výrobu hodiniek. „Pre mužov sú hodinky vlastne tým jediným skutočným módnym doplnkom, ktorým môžu vyjadriť svoj vkus,“ tvrdil.
Klein sa narodil v roku 1942 v New Yorku v židovskej rodine, ktorej korene siahajú do Maďarska. Zo židovskej komunity v Bronxe vzišli aj jeho kolegovia Robert Denning či Ralph Lauren. Kleinov otec mal malý obchod, mama bola krajčírka. Malý Calvin ich rád pozoroval pri práci pri šijacom stroji a vtedy sa nadchol pre módu. Po absolvovaní Technologického inštitútu módy a Vysokej umelecko-dizajnovej školy v New Yorku začínal ako učeň v textilnej továrni.
Držiteľ najrôznejších ocenení za módne návrhárstvo predal v roku 2002 svoje impérium s obratom šesť miliárd dolárov ročne za 430 miliónov dolárov americkému košeľovému gigantu Phillips-Van Heusen (momentálne pod názvom PVH), značka CK ale zostala.
V roce 2006, po desiatich rokoch odlúčenia, se Klein rozviedol so svojou druhou manželkou Kelly Rectorovou. V neautorizovanom životopise z roku 1994 publicisti Steven Gaines a Sharon Churcherová napísali, že Klein bol pred touto svadbou v roku 1986 bisexuál a že aj po svadbe si obaja s Kelly viedli prevažne oddelené životy. Hoci to dizajnér nikdy nepotvrdil, často ho bolo vídať v spoločnosti mladých mužov.