沙尔克04俱乐部源于1877年成立的沙尔克体操俱乐部，1904年沙尔克足球俱乐部成立后，两家俱乐部于1919年合并为一家，定名为“1904年沙尔克威斯特法伦体育俱乐部”，1924年俱乐部解散，沙尔克04足球俱乐部成为独立的体育组织。

1927年，沙尔克04队夺得了鲁尔区足球锦标赛冠军，但在全国联赛最后一轮以1-3不敌慕尼黑1860队，痛失联赛冠军。沙尔克04队当时的骄傲人物是恩斯特·库佐拉，他是沙尔克04队唯一的国家队球员。

经过七年的努力沙尔克04德甲冠军，沙尔克04终于在1934年全国联赛决赛最后一秒以2比1战胜纽伦堡，夺得了历史上第一个全国冠军。随后的几年里，他们又在1935年、1937年、1939年、1940年、1942年和1958年六次夺得全国冠军，并在1937年夺得足总杯冠军。

自1963年实行甲级职业联赛以来，沙尔克04队除在1972年以5比0战胜凯泽斯劳滕夺得足总杯冠军外，不仅数次无缘联赛冠军，还三次降级到乙级球队，失去了昔日的辉煌。

在经历了1994-1995赛季的金融危机之后，沙尔克04终于在1995-1996赛季夺得了甲级联赛第三名，获得了参加欧洲联盟杯的权利。面对国内外两线作战，俱乐部高层决定在保级的前提下冲击欧洲联盟杯。在荷兰籍主教练史蒂文斯的带领下，他们披荆斩棘沙尔克04德甲冠军，凭借出色的防守反击打进决赛。1/4决赛中，他们分别以2-0和1-1淘汰瓦伦西亚；半决赛中，他们客场1-1、加时赛主场2-0战胜特内里费，最后以防守反击战术迎战意甲劲旅国际米兰。在主客场1-1的情况下，最终点球大战4-1战胜国际米兰，队史首次夺得欧洲联盟杯冠军。 这无疑是沙尔克0493年历史上最辉煌的一页。

1998年沙尔克04德甲冠军，沙尔克04在欧联杯卫冕赛场上仅闯入1/4决赛，总比分1-2不敌老对手国际米兰。2001年，拜仁慕尼黑最后一轮最后时刻的进球打破了他们的冠军梦想，而那也是沙尔克04距离夺冠最近的一次。2009/2010赛季，沙尔克04夺得德甲亚军，这是球队近年来在德甲联赛的最佳战绩，并由此直接晋级2010/2011赛季欧冠小组赛。 本赛季欧冠联赛1/4决赛，沙尔克04以两回合7-3（客场5-2、主场2-1）的大比分淘汰卫冕冠军国际米兰，首次挺进欧冠四强，但在半决赛中被曼联淘汰。