เมื่อเริ่มย่างเข้าวัยรุ่น บรู๊ซ ลี เข้าก๊วนกับพวกแก๊งเด็กเกเรแถวบ้าน ออกชกต่อยตะลุมบอนกับเด็กแก๊งอื่นไปทั่ว วันหนึ่งเขาโดนอัดจนเละเพราะไม่มีพรรคพวก ความเจ็บปวดและพ่ายแพ้เร้าให้เขาหาวิธีไม่ให้มันเกิดขึ้นอีก ปี 2496 เส้นทางจอมยุทธ์ของลีก็เริ่มต้นขึ้น เขาฝากตัวเป็นศิษย์กับ อาจารย์ยิปมัน ปรมาจารย์มวยแห่งหยงชุน แรกเริ่มการศึกษาศิลปะป้องกันตัวทำให้ผยอง ไม่เกรงใคร เขาแต่งตัวแบบคนจีนโบราณไปไหนมาไหน หากใครสบตา เขาก็ไม่รอช้าที่จะท้าตีด้วยวิชามวยกังฟู

ปลายเดือนเมษายน ค.ศ. 1959 ที่เกาลูนแห่งเกาะฮ่องกงมีการประลองมวยจีน ระหว่างศิษย์สองสำนัก ฝ่ายหนึ่งคือ บรู๊ซ ลี ในวัย 19 ปี ซึ่งขณะนั้นเป็นศิษย์ของอาจารย์ยิบมันเรียนมวยหย่งชุนอยู่ ส่วนอีกฝ่ายหนึ่งที่มาท้าประลองเป็นคนของสำนักหลงอี้ฝึกมวยใต้มา 4 ปีแล้ว สถานที่ประลองคือ ดาดฟ้าของตึกแห่งหนึ่งซึ่งตามปกติใช้เป็นสนามบาสเก็ตบอลตามกติกาที่ตกลงกันในตอนแรก คือ ต้องหยุดหมัดก่อนชกถูกลำตัวและหากผู้ใดหลุดออกนอกเส้นสนามบาสเก็ตบอลจะถือว่าเป็นฝ่ายแพ้

แต่ครั้นพอ บรู๊ซ ลี เพิ่งจะถอดเสื้อออก หมัดของคู่ประลองก็ใส่เข้ามาที่ใบหน้าของบรู๊ช ลี ทันที ทำให้กติกาที่ตกลงกันไว้ยกเลิก กลายเป็นการวิวาทกันอย่างไม่มีกติกาไปเสียแล้ว แต่การวิวาทในครั้งนี้กลับกลายเป็นว่า ฝ่ายนั้นถูก บรู๊ช ลี ต่อยลงไปนอนกับพื้นแล้วยังถูก บรู๊ช ลี ตามเข้าไปแตะซ้ำที่ใบหน้าอีกสองทีจนฟันหักหลายซี่และสลบคาที่ ขณะที่ตัว บรู๊ช ลี นอกจากรอยช้ำที่ขอบตาเพราะโดนหมัดทีเผลอในตอนแรกแล้วแทบไม่โดนต่อยเลย

ต่อมา ผู้ปกครองของคู่ประลองได้เข้าแจ้งความกับตำรวจให้ดำเนินการกับบรู๊ช ลี ในข้อหาทำร้ายร่างกาย ทำให้พ่อของบรู๊ซ ลี ต้องส่งเขาไปอยู่อเมริกา บรู๊ช ลี จึงเดินทางไปเมืองซานฟรานซิสโก ในเดือนพฤษภาคม ปี ค.ศ. 1959 เขามาทำงานที่ร้านอาหารของญาติในซานฟรานซิสโกอยู่พักหนึ่ง แล้วย้ายไปซีแอตเทิล เป็นครูสอนเต้นรำ ซึ่งเขาเคยได้แชมป์ที่ฮ่องกงมาก่อน