Chào mọi người,
Dạo gần đây mình làm việc với nhiều bộ dữ liệu mà khách hàng cung cấp, và vấn đề muôn thuở là dữ liệu thường bị lặp lại hoặc không nhất quán (ví dụ: 'Hà Nội', 'hà nội', 'HN' cùng chỉ một địa điểm). Việc làm sạch thủ công tốn rất nhiều thời gian và dễ sai sót.
Hôm nay mình muốn chia sẻ cách mình đã áp dụng Power Query để giải quyết vấn đề này một cách tự động và hiệu quả. Power Query (hay còn gọi là Get & Transform) có sẵn trong Excel từ phiên bản 2016 trở lên, hoặc có thể cài thêm cho các phiên bản cũ hơn.
Các bước cơ bản mình thường làm:
- Bước 1: Import dữ liệu vào Power Query. Chọn Data > Get Data > From File (hoặc nguồn khác phù hợp).
- Bước 2: Xử lý dữ liệu lặp (Remove Duplicates). Chọn cột cần kiểm tra, chuột phải > Remove Duplicates. Tuy nhiên, cách này chỉ loại bỏ các hàng hoàn toàn trùng lặp.
- Bước 3: Chuẩn hóa dữ liệu không nhất quán. Đây là phần quan trọng nhất. Mình thường dùng các cách sau:
- Trim: Loại bỏ khoảng trắng thừa ở đầu và cuối chuỗi. Chọn cột > Transform > Format > Trim.
- Clean: Loại bỏ các ký tự không in được. Chọn cột > Transform > Format > Clean.
- Chuyển đổi chữ hoa/thường: Chọn cột > Transform > Format > Uppercase/Lowercase/Capitalize Each Word tùy nhu cầu.
- Thay thế giá trị (Replace Values): Đây là cách mạnh mẽ để chuẩn hóa các biến thể. Ví dụ, mình muốn chuẩn hóa tất cả các biến thể của 'Hà Nội' về 'Hà Nội'. Chọn cột > Transform > Replace Values. Nhập giá trị cũ và giá trị mới.
- Nhóm dữ liệu (Group By): Nếu có nhiều biến thể cho cùng một đối tượng và bạn muốn gộp chúng lại. Ví dụ, nhóm các mã sản phẩm gần giống nhau. Chọn cột > Transform > Group By.
- Bước 4: Load dữ liệu đã xử lý. Sau khi hoàn tất các bước, chọn Home > Close & Load để đưa dữ liệu sạch về Excel.
Ưu điểm lớn nhất là khi có dữ liệu mới, chỉ cần nhấn Refresh All là Power Query sẽ tự động chạy lại toàn bộ quy trình làm sạch đã thiết lập, tiết kiệm thời gian cực kỳ.
Có anh em nào có kinh nghiệm hay cách làm khác hiệu quả hơn với Power Query hoặc các công cụ khác để xử lý dữ liệu không nhất quán không, chia sẻ thêm cho mọi người cùng học hỏi nhé!