Jej začiatok mal pritom raketový, pretože za WBA debutoval v Premier League už vo veku 16 rokov a 117 dní, čím sa stal v tom čase druhým najmladším hráčom histórie tejto súťaže. Momentálne sa tento zápis radí na štvrté miesto, keďže ho predbehli Harvey Elliott a Ethan Nwaneri.
Brown ako obrovský talent ešte v rovnakom roku 2013 prestúpil do Chelsea. Na mládežníckej úrovni dvakrát vyhral FA Cup aj juniorskú Ligu majstrov. Tréner José Mourinho mu dôveroval, postupne ho zapájal do áčka. Dal mu šance v pohárových stretnutiach a raz v lige.
V titulovej sezóne 2014/15 dokonca chcel, aby za svoj prínos mužstvu dostal medailu, napriek tomu, že pre nízky počet odohratých stretnutí na ňu nemal nárok.
Následne sa začala séria siedmich hosťovaní. Postupne pôsobil vo Vitesse, Rotherhame, Huddersfielde, Brightone, Leedse, Lutone a Sheffielde Wednesday. Zároveň sa boril so zdravotnými problémami. Prvýkrát sa zranil na začiatku sezóny 2017/18 a začalo sa to s ním vliecť. Zakaždým sa ťažko dostával do zápasového tempa.
V júni 2021 oficiálne opustil Chelsea a prestúpil do tímu Preston North End, ale druhý raz musel zamieriť na operáciu achilovky, kvôli čomu ho klub prepustil zo svojich služieb. Posledný zápas odohral na konci ročníka 2020/21, pričom kariéru oficiálne ukončil až teraz.
Brown patril svojho času medzi najväčšie mladé nádeje svetového futbalu. Anglicko reprezentoval na mládežníckych úrovniach a v roku 2014 vyhral EURO U17.