1920年11月，北京共产党早期组织成员张申府赴法。行前，陈独秀委托他在欧洲筹建中国的共产党组织。

抵达法国后，他先后介绍已在法国的周恩来、刘清扬参加了党组织，并且与在国内已经加入党组织的赵世炎、陈公培（吴明）一起于1921年在巴黎建立了旅法共产党早期组织。

这个组织成立后，根据当时的形势，一致认为为了有效地团结教育广大旅欧青年，应该尽快建立一个旅欧青年共产主义团体。

1922年6月，在赵世炎的主持下，18名代表，代表38名成员，在巴黎西郊布伦森林中一个广场上集会，经过了3天的讨论，宣告成立了“旅欧中国少年共产党”。

旅欧少年共产党成立后，得悉国内已经建立了中国共产党和中国社会主义青年团，于是便在当年10月召开大会，经全体总投票，决定加入中国社会主义青年团。

11月20日，“旅欧中国少年共产党”写信给团中央，表示“我们愿附属于国内青年团，为其旅欧之部”。此信由李维汉携带回国，并委派他为旅欧少年共产党的代表，向团中央正式接洽。1923年1月2日，党中央写信给他们，指示他们“依中央第十次会议议决国外组织的办法加入青年团”。

正在这时，率领中共代表团到莫斯科出席共产国际第四次大会的陈独秀也给他们回信，建议他们将“旅欧中国少年共产党”改名为“中国共产主义青年团旅欧之部”，将它的“中央执行委员会”改为“旅欧执行委员会”。
 

1923年2月17日至20日，“旅欧中国少年共产党”在巴黎郊外召开临时代表大会。会议由赵世炎主持，经过讨论，一致通过把“旅欧中国少年共产党”正式改名为“旅欧中国共产主义青年团”。大会通过了由周恩来起草的《旅欧中国共产主义青年团章程》，共九章三十四条。

这次会后不久，“旅欧中国共产主义青年团”收到了1923年1月29日中共中央正式同意他们加入社会主义青年团的来信。

3月13日，周恩来代表旅欧共青团执行委员会向团中央写了《报告第一号》。他在这份报告中说：“我们现在已正式为‘中国社会主义青年团’的旅欧成员了，我们已立在共产主义的统一旗帜之下，我们是何其荣幸！你们希望我们‘为本团的勇敢忠实的战士’，我们谨代表旅欧全体团员回说：‘我们愿努力毋违！’”
 

旅欧青年团组织成立后，为了适应思想理论战线斗争的需要，于1922年8月1日编辑出版了机关刊物《少年》，由陈延年主编。《少年》刊登了大量介绍马列主义经典著作以及革命导师的传略。

受历史条件局限，旅欧青年团组织建立后，与旅欧共产党组织在领导机构上是一体的，对外统称中国社会主义青年团总支部，但是向国内团、党中央联系仍是分别进行。在当时，经过革命斗争的锻炼，旅欧青年团向旅欧党组织输送了许多优秀团员。