Cô Ba là một xã vùng cao biên giới, nằm phía bắc huyện Bảo Lạc, có đường biên giới dài 10 km/12 mốc, (từ mốc 580 đến mốc 589). Phía bắc giáp xã Bách Nam (huyện Nà Po,Trung Quốc); phía đông và nam giáp xã Khánh Xuân; phía tây nam giáp xã Thượng Hà; phía tây giáp thị trấn Bảo Lạc. Cùng với nhiều địa phương trong tỉnh, Cô Ba là vùng đất cổ được hình thành khá lâu đời. Thời Lý Trần, vùng đất Cô Ba thuộc châu Quảng Nguyên. Thời nhà Lê, nước ta chia thành các đạo, dưới đạo là trấn, lộ, huyện, châu; đơn vị hành chính cơ sở là xã. Vùng đất Cô Ba thời kỳ này thuộc Tây đạo. Đến thế kỷ XVII, các đạo được đổi thành trấn; sang thế kỷ XVIII lại được đổi thành thừa tuyên; dưới trấn là phủ, huyện, châu, xã. Thế kỷ XIX (vào các năm 1831, 1832), vua Minh Mệnh xóa bỏ các tổng, trấn, thành lập đơn vị tỉnh; dưới tỉnh là phủ, huyện, châu và tổng xã. Theo đó, vùng đất Cô Ba ngày nay thuộc châu Bảo Lạc, tỉnh Tuyên Quang.

Năm 1835, sau khi dẹp được cuộc khởi nghĩa do Nông Văn Vân, vua Minh Mệnh bỏ châu Bảo Lạc, chia thành 2 huyện: Huyện Vĩnh Điện (gồm có 2 tổng, 11 xã) và huyện Để Định (gồm có 2 tổng, 9 xã). Đến năm 1891, châu Bảo Lạc được lập lại, thuộc tỉnh Hà Giang.

 Năm 1886, thực dân Pháp mở rộng phạm vi chiếm đóng tại Cao Bằng, lập ách cai trị bằng quân sự. Ở Bắc Kỳ, thực dân Pháp thành lập 4 đạo quan binh: Đạo quan binh 1 Phả Lại, Đạo quan binh 2 Lạng Sơn, Đạo quan binh 3 Yên Bái, Đạo quan binh 4 Sơn La. Mỗi đạo quan binh được chia thành các tiểu quân khu. Cao Bằng là một Tiểu quân khu thuộc Đạo quan binh 2 Lạng Sơn, thủ phủ đặt tại Cao Bằng, địa bàn gồm tỉnh Cao Bằng và huyện Cảm Hóa (tách ra từ phủ Thông Hóa tỉnh Thái Nguyên). Về sau Tiểu quân khu Cao Bằng chuyển thành Đạo quan binh 2 Cao Bằng, gồm 3 tiểu quân khu: Cao Bằng, Bảo Lạc, Bắc Kạn.

Trước đây, xã Cô Ba có tên là Nặm Quét. Trước cách mạng tháng Tám (khoảng nǎm 1941), bà Hoàng Thị Xía (dân tộc Mông quê ở xã Hồng An, huyện Bảo Lạc) vào hoạt động cách mạng tại xā Nặm Quét, lấy bí danh là Cô Ba. Trong quá trình hoạt động, bà đā có nhiều đóng góp đối với cách mạng, cũng như đối với xã Nặm Quét. Do đó, sau cách mạng tháng Tám, năm 1946 tên xã Nặm Quét được đổi thành Cô Ba (lấy theo bí danh của bà Hoàng Thị Xía). Từ đó cho đến nay danh xưng của xã không có sự thay đổi.

Trước đây, xã gồm có 30 xóm. Ngày 10/6/1981, Hội đồng Chính phủ ban hành Quyết định 245-CP về việc tách các xóm Già Mò, Cốc Thốc, Bó Vài, Nà Quằng, Nà Viềng, Khuối Pựt, Bản Chang, Ngàm Giàng, Phìn Sáng, Lũng Nà của xã Cô Ba để sáp nhập vào xã Thượng Hà. Từ đó, xā Cô Ba chỉ còn lại 10 xóm: Khuổi Giào, Lũng Vầy, Nà Đôm, Nà Bốp, Nà Lùng, Nà Rào, Nà Tao, Ngàm Lồm, Phiêng Mòn, Phiêng Sáng.

Cô Ba là nơi có Đồn Biên phòng Cô Ba đứng chân. Đồn Biên phòng Cô Ba được thành lập vào năm 1959, khi mới thành lập, đồn có tên gọi là Nặm Quét, sau đó được đổi tên theo tên gọi của xã là Cô Ba. Đồn Nặm Quét (nay là đồn Cô Ba) đóng góp vai trò quan trọng trong quá trình xây dựng và phát triển của quê hương Cô Ba qua các thời kỳ lịch sử. Trong giai đoạn hiện nay, đồn biên phòng với nhiệm vụ vừa bảo vệ vững chắc chủ quyền lãnh thổ và an ninh chính trị, trật tự an toàn xã hội vùng biên, vừa phối hợp cùng với các lực lượng liên quan như kiểm lâm, hải quan, dân quân tự vệ… làm tốt công tác vận động, tuyên truyền nhân dân thực hiện cuộc vận động toàn dân đoàn kết xây dựng đời sống văn hóa khu dân cư, bài trừ các hủ tục lạc hậu, phòng chống các loại tệ nạn xã hội, buôn bán trái phép ma túy, buôn bán người qua biên giới; vận động bà con tích cực đẩy mạnh tăng gia sản xuất, xóa đói giảm nghèo.