曹操在兖州招贤纳士后，派人去琅琊郡接父亲曹嵩。曹嵩带着一家老小四十余人，带着随从百余人，收拾行李物品装了几十辆车，一路向兖州而行。途经徐州时，陶谦有意结交曹操，亲自出城迎接曹嵩，请入城中大摆宴席款待众人。住了两日，曹嵩一行要继续赶路，陶谦又亲自送出城外，并派手下的部将张闿带兵五百护送上路。当天夜晚途经一座古庙，一行人便投庙中歇息。这张闿及其手下本都是黄巾余党，眼下虽然归降了陶谦，却仍贼心不死。他们见曹嵩的辎重车辆如此之多便起了歹心，于是在半夜里率众闯进各个房间，将一家老小尽皆斩杀，劫得所有财物后放火烧了寺院，然后就一起逃奔淮南去了。
后来有人以此作诗曰： “曹操奸雄世所夸，曾将吕氏杀全家｡ 如今阖户遭人杀，天理循环报不差｡” 当时有逃得性命的军士回到兖州，向曹操报告了曹嵩一家老小被杀之事。曹操闻之哭倒于地，被人救醒以后，咬牙切齿地喊着：“ 陶谦纵兵杀我全家，此仇不共戴天!我要起兵扫荡徐州，报此深仇大恨!”当即下令，荀彧和程昱领军三万留守城池，其余人马尽皆出动，以夏侯惇､于禁和典韦为先锋，一路杀奔徐州。曹操还下令，但凡夺得城池，要将城中百姓尽行屠戮，以报仇雪恨。