Arsenal a fost fondat în anul 1886 sub numele de Dial Square de către muncitorii fabricii de armament „Royal Arsenal” din Woolwich, însă, după puțin timp, și-a schimbat numele în Royal Arsenal. Și-a schimbat numele din nou în Woolwich Arsenal după ce a devenit un club profesionist, în anul 1881. S-a înscris în Football League în 1883, începând competiția în divizia a doua, reușind promovarea în sezonul 1904.
Totuși, izolarea geografică a stadionului a avut ca rezultat un număr redus de spectatori la meciurile jucate pe teren propriu, lucru ce a dus la probleme financiare și chiar la faliment, în sezonul 1910, an în care clubul a fost preluat de omul de afaceri Henry Norris. Norris a căutat să mute clubul în altă locație, iar în 1913, imediat după retrogradarea clubului în divizia secundă, Arsenal s-a mutat pe noul Stadion Arsenal din Highbury, nordul Londrei, renunțând la cuvântul Woolwich din numele oficial anul următor. În anul 1919, chiar dacă Arsenal a terminat campionatul pe poziția a cincea în divizia secundă, clubul a fost ales pentru a promova în prima ligă, în locul clubului Tottenham Hotspur, prin metode dubioase.
În 1925, Arsenal l-a angajat pe Herbert Chapman ca manager. Chapman câștigase deja de două ori campionatul cu Huddersfield Town în sezoanele 1923-24 și 1924-25. Tacticile și antrenamentele sale revoluționare, împreună cu aducerea unor jucători importanți la echipă, precum Alex James sau Cliff Bastin, au dus la formarea echipei care a dominat fotbalul englez în anii '30. Sub comanda sa, Arsenal a câștigat primele trofee majore din istorie: o Cupă FA în 1930 și două campionate naționale, în 1931 și 1933. De asemenea, datorită lui Chapman, în 1932, stația de metrou „Gillespie Road” a fost denumită „Arsenal tube station” (română - Stația de metrou Arsenal). Chapman a murit de penumonie la începutul anului 1934, însă Joe Shaw și George Allison au continuat parcursul de succes al echipei. Sub comanda celor doi, Arsenal a mai câștigat trei campionate (1933-34, 1934-35 și 1937–38) și Cupa Angliei (1935–36). Din păcate pentru club, sfârșitul deceniului a însemnat și sfârșitul perioadei de succes a clubului, odată cu izbucnirea celui de-al doilea război mondial (lucru care a însemnat și suspendarea competițiilor fotbalistice din Anglia). După război, sub comanda succesorului lui Allison, Tom Whittaker, Arsenal a cunoscut o nouă perioadă de succes, câștigând campionatul în sezonul 1947-48 și 1952-53 și Cupa Angliei în sezonul 1949-50. Totuși, după aceste rezultate, această perioadă bună s-a încheiat. Fiind incapabil să achiziționeze jucători de calibru, precum cei din anii '30, clubul și-a petrecut majoritatea sezoanelor din anii 50' și '60 în mediocritate. În anul 1966, printr-o mutare surprinzătoare, Arsenal l-a numit pe fizioterapeutul clubului, Bertie Mee, ca manager.
După ce au pierdut două finale ale Cupei Ligii, clubul a câștigat primul său trofeu european, Cupa Târgurilor, în sezonul 1969–70. Acest succes a fost urmat de un triumf și mai mare: prima dublă (câștigarea atât a campionatului cât și a cupei), în sezonul 1970-71. Arsenal a terminat sezonul 1972–73 pe poziția secundă, a pierdut trei cupe (1971-72, 1977-78 și 1979–80) și Cupa Cupelor în sezonul 1979–80 după loviturile de departajare. Cel mai mare succes din această perioadă a fost câștigarea Cupei Angliei din anul 1979, cu o victorie în ultimele minute în fața clubului Manchester United, meci care a rămas în istoria clubului. Întoarcerea fostului jucător George Graham ca manager din 1986 a adus a treia perioadă de glorie pentru club. Arsenal a câștigat Cupa Ligii în sezonul 1986-87, primul sezon ca manager a lui Graham. Acesteia i-a urmat titlul în sezonul 1988-89, titlu câștigat cu un gol în ultimul minut înscris împotriva lui Liverpool, echipă cu care se aflau în luptă directă. Arsenalul lui Graham a mai câștigat o dată titlul în anul 1991, an în care a pierdut doar un meci, în sezonul 1990-91 a câștigat atât Cupa Angliei cât și Cupa Ligii, iar în anul 1993 a triumfat în finala Cupei Cupelor. Cu toate acestea, reputația lui Graham a fost știrbită atunci când s-a scos la iveală faptul că a achiziționat anumiți jucători la cererea agentului Rune Hauge, acesta fiind concediat în anul 1995.
Înlocuitorul său, Bruce Rioch, a rezistat numai un sezon, acesta plecând după o dispută cu conducerea clubului. Succesul clubului de la sfârșitul anilor '90 și anii 2000 este datorat mai ales numirii lui Arsène Wenger ca manager în anul 1996. Wenger a venit cu tactici noi, un nou regim de antrenamente și jucători străini care au completat lotul. Arsenal a câștigat ambele cupe în 1998 și 2000. În plus, clubul a ajuns în finala Cupei UEFA în sezonul 1999-00 (unde a fost învinsă de către Galatasaray după lovituri de departajare), a câștigat Cupa Angliei în sezoanele 2002-03 și 2004-05 și titlul de campioană în sezonul 2003-04 fără a pierde vreun meci, fapt ce le-a dat porecla de „Invincibilii”. Arsenal a terminat campionatul pe una din primele două poziții în opt din cele 11 sezoane în care a fost manageriată de Wenger. Clubul însă nu mai câștigă un trofeu major din 2005, până în 2014, când reușesc să se impună în Cupa FA. În 2015, câștigă din nou FA Cup, devenind cea mai de succes echipă în competiție, cu 12 titluri în istorie. A treia FA Cup consecutivă vine pentru Arsenal după o victorie cu 2-1 în fața lui Chelsea Londra, pentru un număr record de 13 titluri FA în istorie. În același timp, Wenger devine primul manager din istoria fotbalului Englez care reușește 7 succese în FA Cup. Din păcate, în 2016, Arsenal termină pe locul 5, prima oară de la venirea lui Wenger din 1996.