Hầu hết những gì được gọi là "test ads" trên thực tế không phải thử nghiệm. Đó là đổi vài thứ cùng lúc, nhìn kết quả vài ngày, rồi giữ lại cái nào trông khá hơn.
Cách làm đó có một vấn đề nghiêm trọng: nó vẫn tốn tiền như thử nghiệm thật, nhưng không để lại kiến thức nào dùng được cho lần sau. Sáu tháng sau, đội vận hành vẫn đang đoán đúng những thứ đã đoán từ đầu.
Bốn lỗi làm thử nghiệm vô nghĩa
- Đổi nhiều biến cùng lúc. Đổi cả hình ảnh, tiêu đề và tệp nhắm chọn rồi thấy kết quả tốt hơn thì không biết nhờ cái nào, nên không nhân rộng được.
- Dừng quá sớm. Vài ngày đầu của mọi chiến dịch đều nhiễu vì hệ thống phân phối còn đang dò. Kết luận trong giai đoạn đó chủ yếu là đọc nhiễu.
- Không xác định trước sẽ đo bằng gì. Khi chưa chốt tiêu chí, người ta sẽ vô thức chọn chỉ số nào đang ủng hộ phương án mình thích.
- Không ghi lại. Kết quả nằm trong đầu một người, người đó nghỉ việc hoặc chỉ đơn giản là quên, và ba tháng sau cả đội thử lại đúng thứ đã thử rồi.
Nguyên tắc 1 — Một biến mỗi lần
Mỗi lần thử chỉ đổi đúng một thứ, giữ nguyên tất cả phần còn lại: cùng sản phẩm, cùng ngân sách, cùng cách nhắm chọn, cùng khung giờ, cùng giai đoạn trong tháng.
Ràng buộc này khiến thử nghiệm chậm hơn, nhưng nó là điều kiện để kết quả có nghĩa. Thử nghiệm nhiều biến cùng lúc chỉ hợp lý khi bạn có sản lượng đủ lớn để tách được ảnh hưởng của từng biến — điều mà phần lớn gian hàng không có.
Nguyên tắc 2 — Đủ dữ liệu mới kết luận
Con số cần đủ không phải là số ngày mà là số sự kiện chuyển đổi. Một thử nghiệm chạy hai tuần nhưng chỉ có vài đơn ở mỗi nhánh thì chênh lệch giữa hai nhánh gần như chắc chắn là ngẫu nhiên.
Cách kiểm tra rẻ tiền trước khi tin vào kết quả: nếu dịch chuyển một hoặc hai đơn từ nhánh này sang nhánh kia mà kết luận đảo ngược, thì bạn chưa có kết luận.
Kèm theo đó là hai ràng buộc về thời gian:
- Chạy trọn số ngày là bội của bảy, để không bị lệch vì hành vi mua khác nhau giữa ngày trong tuần và cuối tuần.
- Bỏ qua giai đoạn đầu khi hệ thống còn đang dò phân phối, hoặc ít nhất là đọc kết quả với ý thức rằng giai đoạn đó nhiễu.
Nguyên tắc 3 — Ngân sách nhỏ thì thử tuần tự, không thử song song
Đây là điểm khác biệt quan trọng với gian hàng ngân sách hạn chế.
Chia đôi một ngân sách vốn đã nhỏ để chạy hai nhánh song song thường dẫn tới cả hai nhánh đều không đủ dữ liệu. Cách hiệu quả hơn là chạy tuần tự: phương án A trọn một chu kỳ, rồi phương án B trọn một chu kỳ, giữ nguyên mọi điều kiện khác.
Cách này có nhược điểm là bối cảnh giữa hai giai đoạn có thể khác nhau — nên tránh đặt hai giai đoạn ở hai bên một đợt khuyến mãi lớn, và nên lặp lại thử nghiệm nếu kết quả dùng để ra quyết định lớn.
Đổi lại, nó cho mỗi nhánh đủ dữ liệu để nói được điều gì đó, thay vì hai nhánh cùng vô nghĩa.
Nguyên tắc 4 — Thử theo thứ tự tác động
Không phải yếu tố nào cũng đáng thử như nhau. Với quảng cáo trên sàn, thứ tự thường cho chênh lệch từ lớn tới nhỏ:
- Sản phẩm được chọn để đẩy. Đây là biến có tác động lớn nhất và hay bị bỏ qua nhất, vì người ta mặc định sản phẩm là cố định và chỉ thử phần quảng cáo quanh nó.
- Hình ảnh hoặc video chính. Đây là thứ quyết định người ta có dừng lại hay không, nên nó thường tạo chênh lệch lớn hơn mọi thiết lập kỹ thuật.
- Trang sản phẩm. Ảnh, mô tả, giá, chương trình khuyến mãi hiển thị. Cải thiện ở đây có lợi cho cả lượt truy cập tự nhiên chứ không riêng lượt trả tiền — nên nó là thử nghiệm có giá trị lâu nhất.
- Tiêu đề và phần chữ trong quảng cáo.
- Cấu hình chiến dịch: cách nhắm chọn, mức giá thầu, phân bổ ngân sách theo khung giờ.
Nhiều đội bắt đầu từ mục thứ năm vì đó là thứ nhanh nhất để bấm. Đó cũng thường là thứ cho chênh lệch nhỏ nhất.
Ghi lại thành tài sản của đội
Một thử nghiệm chỉ có giá trị đầy đủ khi nó không phải làm lại. Mỗi lần thử nên ghi lại năm dòng, ở bất kỳ đâu cả đội cùng đọc được:
- Giả thuyết: tin rằng đổi cái gì sẽ làm chỉ số nào tốt lên, và vì sao.
- Biến duy nhất được đổi.
- Điều kiện: sản phẩm, ngân sách, khoảng thời gian.
- Kết quả: chỉ số chính và số lượng chuyển đổi ở mỗi nhánh.
- Kết luận và quyết định: giữ, bỏ, hay cần thử lại.
Ghi cả những thử nghiệm cho kết quả tiêu cực. Danh sách những thứ đã thử và không hiệu quả có giá trị vận hành ngang với danh sách những thứ hiệu quả, vì nó chặn cả đội khỏi đi lại đúng con đường cũ.
Nhịp thử nghiệm hợp lý
Duy trì một số lượng nhỏ thử nghiệm chạy đều còn hơn là dồn nhiều thử nghiệm vào một đợt rồi bỏ trống nhiều tháng. Phần ngân sách dành cho thử nghiệm nên được tách riêng và cố định, để nó không bị cắt mỗi khi tháng đó cần đẹp số.
Nếu phần thử nghiệm luôn là chỗ bị hy sinh đầu tiên khi có áp lực chỉ tiêu, thì trên thực tế đội của bạn không có thử nghiệm — chỉ có ý định thử nghiệm.
Câu hỏi thường gặp (FAQ)
Hai nhóm quảng cáo giống hệt nhau cho kết quả khác nhau, có bình thường không?
Bình thường. Đó chính là mức nhiễu nền của hệ thống. Chạy thử hai nhánh giống hệt nhau một lần là bài kiểm tra rất đáng làm, vì nó cho bạn biết chênh lệch bao nhiêu thì mới đáng coi là thật.
Tăng ngân sách để có kết luận nhanh hơn thì sao?
Có tác dụng ở mức độ nhất định, nhưng tăng mạnh sẽ làm hệ thống mở rộng phân phối sang nhóm người khác, và khi đó bạn đang đo một thứ khác với thứ định đo. Kéo dài thời gian thường an toàn hơn là bơm ngân sách.
Bao lâu thì nên thử lại một nội dung quảng cáo cũ?
Khi bối cảnh đã đổi đủ nhiều: mùa khác, tệp khách đã mở rộng, hoặc mặt bằng nội dung của ngành đã dịch chuyển. Nội dung từng thất bại ở một thời điểm không có nghĩa là nó sai vĩnh viễn, nhưng cũng đừng thử lại chỉ vì hết ý tưởng.
Thử nghiệm giá có an toàn không?
Rủi ro hơn thử nghiệm nội dung vì giá ảnh hưởng tới cả khách hàng cũ và ảnh hưởng tới cách sàn xếp hạng sản phẩm. Nếu thử thì nên thử theo giai đoạn tuần tự thay vì hiển thị hai mức giá cùng lúc, và tránh đổi giá liên tục vì khách sẽ học được rằng nên chờ.