Het bedrijf werd opgericht in 1912. De naam is afgeleid van een uitvinding van Tokuji Hayakawa, medeoprichter van het bedrijf. Deze uitvinding heette de Ever-Ready Sharp Pencil, een speciaal soort potlood.In 1915 gingen de activiteiten verder onder de naam Hayakawa Brothers. In 1923 werden de fabrieken vernietigd tijdens de Kanto-aardbeving. Sharp verhuisde naar Osaka en startte daar met het bouwen van radio's, die op de markt kwamen in 1925.

Na de oorlog kreeg het in 1949 een beursnotering aan de Osaka Securities Exchange. In 1953 kwam Sharp als eerst in Japan op de markt met televisietoestellen. In 1960 startte in Japan de televisie uitzendingen in kleur. In 1962 werd de eerste overzeese verkoopvestiging, Sharp Electronics Company, geopende in de Verenigde Staten. In 1970 werd de naam gewijzigd in Sharp Corporation en trok Tokiju Hayakawa zich deels terug uit de dagelijkse leiding van het bedrijf.Het eerste kleurenkopieerapparaat van Sharp werd in 1972 aan de markt getoond.

Vanaf het begin van de tachtiger jaren nam de internationalisatie van het bedrijf sterk toe. In veel landen werden verkoopvestigingen geopend en later volgden ook fabrieken.

Door de financiële problemen was Sharp op zoek naar een sterke partner. In maart 2016 werd bekend dat Foxconn een meerderheidsbelang van 66% zal nemen en betaalt hiervoor 389 miljard yen (circa 3 miljard euro). Eerder bood Foxconn nog 5,3 miljard euro voor het bedrijf, maar vanwege hoger dan verwachte schulden en slechte vooruitzichten voor Sharp werd het bod verlaagd. De overname versterkt de positie van Foxconn als producent van elektronica nu de producten van Sharp, waaronder lcd-schermen voor de iPhones en iPads van Apple, hieraan zijn toegevoegd.Begin mei 2016 werd Tai Jeng-Wu van Foxconn aangesteld als bestuursvoorzitter van Sharp.

Medio 2018 maakte Toshiba de verkoop bekend van het bedrijfsonderdeel dat personal computers maakt aan Sharp.Sharp kocht zo'n 80% van de aandelen voor 31 miljoen euro. De computer verkopen staan onder zware druk, in 2011 verkocht Toshiba zo’n 17,7 miljoen pc's maar in 2017 was dit gedaald naar circa 1,5 miljoen stuks.Sharp wordt met deze transactie weer actief in een markt waar het zich zo'n acht jaar geleden uit heeft teruggetrokken.

Sharp had in 2018 zo'n 47.000 werknemers in dienst, waarvan de helft buiten Japan werkt. De producten worden in 164 landen over de hele wereld verkocht, vaak onder de naam Sharp Electronics. Van de totale omzet wordt zo'n 70% buiten de thuismarkt gerealiseerd en de Volksrepubliek China neemt bijna de helft van de totale omzet voor haar rekening.