20世纪60年代初的台湾好像一切都是灰的，浑浊的空气里也流动着灰暗的味道，失落和绝望的情绪笼罩在城市上空。来自四面八方的外省人操着他们各自浓重的口音，山东话、上海话、苏北话、四川话……在这个城市奔波忙碌着。随军逃到台湾的家眷们形成了一个个被人们称为“眷村”的小村落，在这样一个城市里，小四、小明、小马、老二、小猫王、飞机、滑头、小虎、小翠……他们成长着，并且拉帮结 派地出来混，“小公园帮”和“217眷村帮”逐渐成了势不两立的对头。

在台北，建国中学夜间部的男生小四是个置身学校帮派对立之外的好学生，父亲是奉公守法的公务员，母亲在小学代课，1949年从大陆迁来台北。家里共有5个孩子，大姐为了帮父母承担家庭重担，想要放弃出国的愿望，但是妈妈并不同意；二哥和小四一样，沉默寡言；三姐是个虔诚的基督徒，谦卑忍耐；张震是家里的老四，所以被叫做小四；家里最小的小妹是个发育迅速的小女孩。小四与家世不幸的女孩小明十分投缘，暗生情愫，“小公园帮”的老大哈尼也倾心于小明。小明父亲早逝，母亲把一切希望都寄托在她身上，她过早地成熟，同时周旋于几个男生之间。数学考试，因滑头抄袭，后来爸爸去学校交涉，但最终因为不满于学校领导的官僚腔调而与学校领导发生争执，小四被记大过。哈尼回到台北，要小四好好照看小明。

由于帮派之间的纷争，哈尼一个人去对抗“眷村帮”，结果被对方的老大山东推到了汽车轮下。小四参与了围剿“眷村帮”替哈尼复仇的行动，山东被杀。小四父亲涉嫌政治被迫写交待材料并被解聘，受到迫害，近乎神经质；母亲受牵连被免掉了教职。小四因为冲撞校方被勒令退学，准备努力学习考日间部的插班生。

小明的母亲到马司令家帮佣，马司令的儿子小马是小四的朋友，是一个早熟但够义气的少年，小明因母亲的原因住在他家。家庭和学校所发生的事件让小四难以承受，他觉得小明变了，而小明与小马的交往又使小四陷入友情和爱情的矛盾中，他与小马吵翻。在牯岭街的旧书市上，小四看见了小明，再次向她表明心迹，而小明却断然拒绝了。失去控制的小四接连向小明捅了7刀，小明当场死去。小四被拘捕，初审被判死刑，由于此是国民党当局迁台后第一宗少年杀人案，各界纷争后，台湾高等法院更审为15年徒刑。