Koeman začal svoju kariéru v roku 1980 v Groningene, odkiaľ prestúpil po troch rokoch do najúspešnejšieho holandského klubu Ajax Amsterdam. S ním získal v sezóne 1984/85 ligový titul, o rok neskôr aj Holandský pohár a v ďalšom ročníku už obliekal dres konkurenčného PSV Eindhoven, s ktorým vyhral v roku 1988 Európsky pohár majstrov (EPM), pridal tri ligové tituly za sebou (1986-1989) a dva triumfy v národnom pohári (1988-89).
Spolu so svojimi klubovými i reprezentačnými spoluhráčmi Hansom van Breukelenom, Berrym van Aerlem, Geraldom Vanenburgom a Wimom Kieftom sú jediní Európania, ktorí získali v jednom kalendárnom roku tri trofeje na klubovej i jednu na medzinárodnej úrovni. Pätica bola súčasťou holandskej reprezentácie na víťazných ME 1988 v Západnom Nemecku, kde zdolali vo finále Sovietsky zväz 2:0.
Univerzál, ktorý hral najčastejšie ako stopér, dokázal zastať aj iné pozície v defenzíve či v strede poľa. Známy bol aj svojím streleckým umom – na klubovej úrovni vsietil celkovo 192 gólov a ďalších štrnásť pridal v národnom drese. Dokázal pohroziť z diaľky a presnosťou disponoval aj v priamych či pokutových kopoch.
Práve to využil vo finále EPM 1992, keď rozhodol vo Wembley o triumfe Barcelony nad Sampdoriou Janov (1:0 pp) z priameho kopu. S Kataláncami bol vo finále aj o dva roky neskôr, vtedy už súťaž niesla názov Liga majstrov, no s AC Miláno prehrali v Aténach 0:4. Celkovo získal za šesť sezón v Barcelone (1989-1995), kam prestúpil z PSV, štyri ligové tituly za sebou (1991-94), jeden španielsky Kráľovský pohár (1990), trikrát španielsky Superpohár (1991-92, 1994) a jeden európsky Superpohár (1992) po súhrnnom víťazstve 3:2 nad Werderom Brémy.
Po odchode z dresu "Blaugranas" pôsobil ešte dva roky vo Feyenoorde Rotterdam, kde ukončil svoju hráčsku kariéru. V národnom drese sa predstavil aj na EURO 1992 vo Švédsku, na MS 1990 v Taliansku a na svetovom šampionáte v USA v roku 1994 viedol tím ako kapitán.
Trénerskú kariéru začal ako asistent kormidelníka holandskej reprezentácie Guusa Hiddinka v roku 1997. Rovnakú pozíciu zastával následne po boku krajana Louisa van Gaala v Barcelone a post hlavného trénera prvýkrát zaujal vo Vitesse Arnhem. V polovici sezóny 1999/2000 nahradil na poste Edwarda Sturinga a po roku odišiel do Ajaxu, s ktorým získal dva ligové tituly (2002, 2004) a jeden Holandský pohár (2002).
Titul v Eredivisie pridal v pozícii kormidelníka aj s PSV (2007), do ktorého zamieril po krátkej zastávke v Benfice Lisabon. S portugalským klubom získal v roku 2005 tamojší superpohár. Neskôr bol aj na lavičke Feyenoordu (2011-2014) a je tak jediný hráč a tréner v histórii, ktorý viedol tri najväčšie holandské kluby a zároveň za ne aj hral.
V pozícii kouča zaznamenal úspech aj na lavičke Valencie, ktorú priviedol v roku 2008 k zisku španielskeho Kráľovského pohára a o rok neskôr triumfoval s AZ Alkmaar v holandskom Superpohári. Súčasný tréner "oranjes" pôsobil aj v Southamptone (2014 až 2016), Evertone (2016 až 2017) a v pozícii hlavného kouča sa vrátil v auguste 2020 taktiež do Barcelony, s ktorou získal v roku 2021 Španielsky pohár.