1937年年底，正值北国天寒地冻的时节，著名音乐家贺绿汀随上海文艺界抗日救亡第一演剧队来到山西为抗日部队进行演出。在首场演出前，贺绿汀意外地发现前来接待他们的参谋处长正是当年广州暴动的大胡子营长李云鹏。李云鹏拉着贺绿汀的手高兴地说：“当年在海陆丰你写过暴动歌，今天你是个大音乐家，该写个更好的抗日的歌呢!”贺绿汀一口答应。
告别老战友后，贺绿汀一行带着李云鹏的介绍信来到八路军总部进行慰问演出。尽管一路忙忙碌碌，但他始终没有忘记老战友的嘱托。然而，当他每每拿起笔来，却又不知从何下手。贺绿汀虽然参加过广州暴动，对战争场面有一定的了解，但对于八路军游击战士打游击的情况却显得有些陌生。为了寻找创作素材，他一有空就与八路军战士泡在一起，多方搜集有关八路军打游击的资料。说来也巧得很，贺绿汀到八路军总部没多久，时任八路军驻晋办事处主任的彭雪枫来到学兵队做关于游击战术的报告，贺绿汀得知消息后喜出望外，立即慕名前往听讲。彭雪枫那绘声绘色的演讲将贺绿汀带进了一个神奇的游击世界，密林里、高岗上；青纱帐、绿水旁……到处都是游击健儿英勇杀敌的战场。
听完报告回到宿舍，虽已经很晚了，但贺绿汀躺在床上却怎么也睡不着。彭雪枫那精彩的演讲，学员们那摩拳擦掌的抗日救国激情，还有以前看到的游击战资料在他脑海里迅速融合，并由此点燃了他创作灵感的火花。他轻轻地从床上爬起来，燃起油灯，歌词追逐着音符在他笔下尽情地流淌。在寂静的夜晚汇成了一股股欢快的乐流：
我们都是神枪手，每一颗子弹消灭一个敌人，我们都是飞行军，哪怕它山高水又深！在密密的树林里，到处都安排同志们的宿营地，在高高的山岗上，有我们无数的好兄弟。没有吃，没有穿，自有那敌人送上前；没有枪，没有炮，敌人给我们造。我们生长在这里，每一寸土地都是我们自己的，无论谁要抢占去，我们就和他拼到底!
这首《游击队之歌》，形象鲜明，语言生动，节奏明快，曲调轻快流利，音乐与歌词配合得非常协调一致。游击队员机智灵活、勇敢顽强、紧张愉快的形象跃然谱上，表现出中国人民不畏强敌、誓御外侮的坚强意志。此外，由于这首歌曲曲调轻快流利，生动活泼，以富有弹性的小军鼓般的节奏贯穿全曲，很适于部队行军时边走边唱。
或许是过于兴奋的缘故，尽管一夜未曾合眼，贺绿汀竟然一点儿睡意也没有。第二天一早，他便拿着写在一张小纸片上的《游击队之歌》找到负责接待他们的八路军驻临汾办事处秘书兼学兵队音乐教官周巍峙说：“我昨天写了个新曲子，唱给你听听，有什么意见尽管提。”不等周巍峙发话，他便对着歌词哼了起来“我们都是神枪手，每一颗子弹消灭一个敌人，我们都是飞行军，哪怕它山高水又深……”
“这首歌写得真是太好了!你马上跟我到学兵队去教大家唱!”周巍峙听了这首旋律流畅且充满革命乐观主义精神的歌曲后激动不已。
“是吗?”周巍峙的话使贺绿汀感到很是振奋，他当即随周巍峙来到学兵队。为了使学员们在演唱时能充分把握这首歌，在教唱之前，贺绿汀还对这首歌进行了详细的讲解。尽管如此，贺绿汀对大家是否能接受这首歌心中还是没有底。其实，贺绿汀的担心是多余的，尽管抗日歌曲唱了不少，但队员们一下子就喜欢上了这首曲调很特别的歌。试唱之后，军营里到处都响起了《游击队之歌》，为寒冷的冬日注入了股股豪情。没想到大家是如此喜欢这首歌，贺绿汀别提有多高兴了。为了使这首歌内容显得更加丰富、有气势，他又将《游击队之歌》编成了四部合唱。
转眼间到了1938年的春节。当时八路军高级干部会议正在山西洪洞县高庄举行，中央特地为这次会议准备了一台晚会。当朱德、任弼时、刘伯承、徐向前、贺龙等八路军高级将领们进入晚会会场时，全场爆发出热烈的掌声。晚会的高潮就是演剧一队为大家演唱的这首《游击队之歌》。
“我们都是神枪手，每一颗子弹消灭一个敌人……”尽管没有钢琴，没有乐队，只有欧阳山尊的口哨伴随着全体队员的歌声，但大家都被这首歌那愉快、活泼的旋律和歌词深深打动了。一曲终了，全场响起雷鸣般的掌声。晚会后，朱德、任弼时、刘伯承、徐向前、贺龙等高级将领与演剧队演职员们亲切握手、交流，对他们的演出给予了赞扬。朱德还当即将这首歌工工整整地抄写在了自己随身带的一个小本子上，并说“战士需要这样的歌”。在以后的岁月中，朱德一有空闲，就翻出这首歌，戴上老花镜，像一个歌迷一样反复吟唱，陶醉其中。毛泽东也非常喜欢这首歌，1943年7月，他在接见贺绿汀时说：“你的《游击队之歌》写得很好啊!你为人民做了好事，人民是不会忘记你的。”