１９５９年８月１７日、大阪府大阪市西成区出身。浪速高校入学と同時に先輩に半ば強引にボクシング部に入部させられる。下働きの日々を経て、夏の国体予選にいきなり出場し、優勝。これを機に技術をつけたくて「朝は４時、５時から走って。高校の時がいちばん練習してた」という日々を送り、ボクシングの名門・近畿大学に進学。８０年にプロ入りし、デビューから１２戦連続といＫＯという偉業を達成。その攻めのスタイルから“浪速のロッキー”と呼ばれ、大阪中から絶大な人気を獲得。８５年２月５日、大和田正春との試合で７ラウンドＫＯ負け。急性硬膜下血腫、脳挫傷で意識不明の重体となり緊急手術。奇跡的に一命をとりとめるが、ボクシングからは引退。８８年に半生を書いた『どついたるねん』を出版。８９年、同書をもとにした阪本順治監督の映画『どつたるねん』に主演し、俳優としてデビュー。以降、映画、ドラマ、バラエティなどに出演多数。妻・佳子が運営するツイッターアカウント「赤井の嫁」は、絶大な人気を誇り、投稿の内容をまとめた『赤井図鑑』（扶桑社）が２０２１年に出版。