Tin học 12: từ dữ liệu đến quyết định của máy | LUKATO AI
Bài giảng khái niệm về học máy theo bốn trạm: thu thập, chuẩn bị, học, đánh giá và trách nhiệm. Có 12 phòng lab tương tác, sổ tay 14 bẫy và 12 bài chọn lọc.
LUKATO AI · TIN HỌC 12 · TRÍ TUỆ NHÂN TẠO VÀ XỬ LÍ DỮ LIỆU
THU THẬP · CHUẨN BỊ · HỌC · ĐÁNH GIÁ VÀ TRÁCH NHIỆM
Từ dữ liệu đến
quyết định của máy:
bốn trạm của học máy
Một bộ lọc thư rác không được dạy từng quy tắc. Nó được cho xem hàng nghìn lá thư đã có nhãn, rồi tự rút ra cách phân biệt. Điều gì nó rút ra được phụ thuộc vào bốn việc nối nhau: thu thập dữ liệu, chuẩn bị dữ liệu, học và đánh giá cùng trách nhiệm khi dùng thật. Bài giảng này gắn phân loại, hồi quy, huấn luyện và kiểm tra, quá khớp, ma trận nhầm lẫn, thiên lệch và đạo đức AI vào bốn việc ấy. Phần nào vượt ra ngoài chương trình được ghi là kiến thức bổ sung.
- ① Vì sao một mô hình đạt điểm gần tuyệt đối trên dữ liệu đã học vẫn có thể sai nhiều khi gặp dữ liệu mới?
- ② Một con số «chính xác 95 phần trăm» che giấu điều gì, và nên hỏi thêm gì trước khi tin nó?
- ③ Khi dữ liệu mang định kiến hoặc đã đổi theo thời gian, máy học được gì, và ai phải trả lời cho kết quả?
4+1
bốn trạm của khung, cộng một vòng phản hồi
12 lab
từ xếp trạm, chia tập, huấn luyện, quá khớp, ngưỡng, trò chơi chỉ số đến thiên lệch, trôi dữ liệu và kịch bản đạo đức
14 bẫy
mỗi bẫy có mục và phòng lab; 11 bẫy còn có bài luyện lại ở mục 10
12 bài
10 chọn đáp án, 1 đúng sai, 1 trả lời ngắn
01
Bản đồ chung
Bốn trạm từ một bảng dữ liệu đến một quyết định của máy
Một câu lạc bộ tin học muốn làm bộ lọc thư rác cho hộp thư của trường. Cách quen thuộc là viết quy tắc: «thư có từ này thì chặn». Nhưng kẻ gửi thư rác đổi từ ngữ mỗi tuần, và số quy tắc phình ra không kiểm soát nổi. Học máy đi theo hướng khác: cho máy xem thật nhiều thư đã được gán nhãn rồi để nó rút ra quy luật từ chính dữ liệu. Chỗ khó không nằm ở một thuật toán thần kì. Chỗ khó nằm ở chuỗi việc nối nhau: dữ liệu lấy từ đâu, sửa soạn thế nào, máy học ra sao, và ai kiểm tra kết quả trước khi dùng. Bài giảng này gọi chuỗi ấy là bốn trạm , và từng mục sau là một ô của bản đồ.
Vuốt ngang để xem đủ hình.
Bản đồ bốn trạm: thu thập, chuẩn bị, học, đánh giá và trách nhiệm. Tập huấn luyện đi vào trạm học, tập kiểm tra được giữ riêng cho trạm đánh giá. Khi dùng thật, dữ liệu mới và sai sót mới quay về trạm đầu (vòng phản hồi). Bấm vào một khối để đọc mô tả và số mục.
Học máy khác chương trình viết sẵn quy tắc ở đâu
Một chương trình thông thường nhận dữ liệu và quy tắc do người viết , rồi trả ra kết quả. Học máy đảo một đầu: nhận dữ liệu cùng kết quả đã biết , rồi trả ra quy tắc , gọi là mô hình . Quá trình chỉnh hệ số của mô hình cho khớp với dữ liệu gọi là huấn luyện . Khi đã có mô hình, ta đưa dữ liệu mới vào và đọc kết quả: đó là bước dự đoán .
Khi kết quả đã biết là các nhãn do người gán, cách học này gọi là học có giám sát. Các mục 4 đến 7 dùng kiểu học ấy, vì nó cho phép đo mô hình đúng bao nhiêu: so dự đoán với nhãn thật. Khái niệm trí tuệ nhân tạo rộng hơn học máy; học máy là một cách làm cho hệ thống có hành vi «thông minh» bằng dữ liệu (kiến thức bổ sung về cách phân cấp khái niệm).
Bốn trạm và vòng phản hồi
Trạm
Việc làm
Câu hỏi của trạm
Mục
THU THẬP
Lấy dữ liệu từ đời thực, gán nhãn
Dữ liệu có đại diện cho nơi sẽ dùng mô hình không, có lỗi không?
CHUẨN BỊ
Làm sạch, đổi kiểu, chuẩn hóa, chia tập
Tập kiểm tra có thật sự độc lập với tập huấn luyện không?
HỌC
Chọn dạng mô hình, chỉnh hệ số
Đầu ra là nhãn hay là số, và mô hình phức tạp đến đâu thì vừa?
4, 5
ĐÁNH GIÁ VÀ TRÁCH NHIỆM
Đo bằng chỉ số, so theo nhóm, giám sát, giải trình
Con số ấy có che điều gì, và ai chịu trách nhiệm khi có sai?
6, 7, 8
VÒNG PHẢN HỒI
Dữ liệu mới, sai sót mới quay về trạm đầu
Mô hình còn đúng với dữ liệu hôm nay không?
Cách chia bốn trạm cộng một vòng phản hồi, và việc xếp «chia tập» vào CHUẨN BỊ, là cách phân loại của LUKATO để xâu chuỗi các bài: tập kiểm tra phải được giữ riêng trước khi học, còn việc dùng nó để chấm điểm thuộc ĐÁNH GIÁ.
Từ điển một dòng: đưa chuột hoặc chạm vào chữ gạch chân
Mỗi thuật ngữ dưới đây có một định nghĩa ngắn và mục để quay lại.
Thuật ngữ
Nghĩa ngắn
Mục
mẫu
Một đối tượng được ghi lại trong dữ liệu, thường là một dòng của bảng
đặc trưng
Những thông tin đo được về mẫu mà mô hình dùng làm đầu vào
tập huấn luyện
Phần dữ liệu mô hình được xem khi học
tập kiểm tra
Phần dữ liệu giữ riêng để đo mô hình trên mẫu chưa từng thấy
phân loại
Đầu ra là một nhãn rời rạc
hồi quy
Đầu ra là một số liên tục
quá khớp
Điểm huấn luyện rất tốt nhưng điểm kiểm tra kém
ma trận nhầm lẫn
Bảng bốn ô TP, FP, FN, TN
thiên lệch
Sai khác có hệ thống giữa các nhóm trong kết quả của mô hình
trôi dữ liệu
Phân bố dữ liệu khi dùng khác với lúc huấn luyện
Đoán trước, rồi xếp thử mười hai việc
Đoán trước: việc nào sau đây cho thấy một hệ thống thuộc học máy chứ không phải một chương trình viết sẵn quy tắc?
Việc nào cho thấy hệ thống đang học từ dữ liệu?
Cách dùng phòng lab
Chạm một thẻ rồi chạm ô của trạm, hoặc kéo thẻ vào ô. Bấm «Chấm các thẻ đã xếp» để xem thẻ nào sai và vì sao. Có hai thẻ dễ lẫn: «chia tập» và «dùng tập đã giữ riêng để chấm». Phòng lab này luyện bẫy 1.
Thử tay: xếp hai tình huống vào trạm
(a) Một bạn nhận thấy mô hình cho điểm kiểm tra cao nhưng cả hai nhóm lớp 12A và 12B đều ít ảnh trong dữ liệu. (b) Một bạn nhận thấy bảng có hai cột cùng ghi số điện thoại với hai định dạng khác nhau. Mỗi tình huống thuộc trạm nào?
Gợi ý 1 · Hỏi việc, không hỏi tên
Mỗi tình huống đang nói về lấy dữ liệu, sửa soạn dữ liệu, dạy máy, hay đo và chịu trách nhiệm?
Gợi ý 2 · Chọn cặp
Tình huống (a) nói về việc dữ liệu có đủ nhóm hay chưa; tình huống (b) nói về định dạng của cột.
Đáp án
(a) thuộc THU THẬP: tính đại diện của mẫu. Dù điểm kiểm tra cao, nếu hai nhóm ít xuất hiện thì chưa biết mô hình đúng với họ đến đâu. (b) thuộc CHUẨN BỊ: đưa hai định dạng về một kiểu trước khi học.
Chỗ hay trượt ở bản đồ chung
Bẫy 1: nghĩ rằng chỉ cần chọn thuật toán thật mạnh là xong, còn dữ liệu và khâu đánh giá là phần phụ. Trong khung bốn trạm, thuật toán chỉ nằm ở một ô; ba ô còn lại quyết định mô hình học từ cái gì và có đáng tin hay không. Phòng lab 1 giúp tập thói quen hỏi «việc này làm gì với dữ liệu» thay vì hỏi tên thuật toán.
Mục 2 bắt đầu trạm đầu tiên: bảng dữ liệu, đặc trưng, nhãn và những lỗi thường gặp của dữ liệu thô.
02
Trạm ① THU THẬP · dữ liệu, đặc trưng, nhãn
Máy chỉ học được những gì có trong bảng dữ liệu
Một nhóm học sinh làm ứng dụng nhận ra tên loài cây từ ảnh chiếc lá. Họ chụp vài trăm ảnh trong sân trường vào những buổi khô ráo, mỗi ảnh có tên loài do thầy cô ghi. Ứng dụng chạy tốt ở sân trường. Mang ra vườn sau cơn mưa, lá ướt và bóng đổ khác hẳn, nó đoán sai nhiều. Không có gì «hỏng» trong thuật toán: nó chỉ nhớ lại thế giới mà dữ liệu cho nó thấy. Vì vậy trạm đầu tiên đặt giới hạn cho cả chuỗi: mô hình khó vượt xa thế giới mà dữ liệu đã cho nó thấy .
Một bảng dữ liệu: mẫu, đặc trưng và nhãn
Vuốt ngang để xem đủ hình.
Năm lá thư với ba số đo (đặc trưng) và một nhãn. Mô hình nhận các đặc trưng ở bên trái và trả về một dự đoán cho cột nhãn; so dự đoán với nhãn thật cho biết nó đúng bao nhiêu.
Mỗi dòng là một mẫu . Các cột đầu là đặc trưng : những con số hay thuộc tính đo được trước khi biết đáp án. Cột cuối là nhãn : đáp án do người gán hoặc do kết quả thật ghi lại. Với ảnh hay văn bản, máy không đọc «ý nghĩa»; ảnh được đổi thành các số (độ sáng từng điểm ảnh, hoặc các số rút ra từ chúng) và văn bản được đổi thành các số đếm hay mã hóa từ ngữ. Quá trình đổi một đối tượng thành một dãy số làm đầu vào gọi là trích đặc trưng (kiến thức bổ sung).
Một đặc trưng tốt có hai tính chất. Thứ nhất, nó liên quan đến nhãn: số dấu «!» và tỉ lệ chữ hoa liên quan đến việc thư có phải rác hay không. Thứ hai, nó có sẵn tại thời điểm cần dự đoán . Tính chất thứ hai hay bị quên. Nếu đặc trưng được tính từ chính kết quả cần đoán, mô hình sẽ «nhìn đáp án» thay vì học quy luật; hiện tượng ấy gọi là lộ nhãn qua đặc trưng (kiến thức bổ sung). Ví dụ: muốn dự đoán một học sinh có đạt yêu cầu cuối năm hay không mà lại đưa cột «điểm tổng kết cuối năm» vào đặc trưng. Điểm kiểm tra sẽ rất cao, nhưng mô hình vô dụng vào đầu năm, lúc cột ấy chưa tồn tại.
Bốn vấn đề của dữ liệu thô
Vuốt ngang để xem đủ hình.
Thiếu, trùng, ngoại lệ hoặc sai đơn vị, lệch mẫu: bốn vấn đề thường gặp và điều mô hình học nhầm từ mỗi vấn đề.
- Thiếu giá trị. Một số ô trống vì thiết bị lỗi hoặc người trả lời bỏ qua. Mô hình không đọc được ô trống; ta phải loại dòng hoặc điền giá trị hợp lí (mục 3).
- Trùng lặp. Một tình huống ghi nhiều lần làm mô hình tưởng tình huống ấy phổ biến hơn thực tế. Tệ hơn, nếu các bản sao rơi vào cả tập huấn luyện lẫn tập kiểm tra, điểm kiểm tra bị thổi phồng (mục 3, lab 4).
- Ngoại lệ và sai đơn vị. Một chiều cao ghi «1,68» giữa các số như «165», «172» là mét lẫn với xăng-ti-mét. Một «85 giờ ngủ mỗi đêm» là gõ nhầm. Những giá trị ấy kéo trung bình và đường học lệch về phía chúng.
- Lệch mẫu. Dữ liệu chỉ lấy từ một kiểu tình huống, như ảnh lá khô ráo ở sân trường. Mô hình tốt ở kiểu đã thấy và kém ở kiểu chưa thấy.
Một con số trung bình có thể che nhóm ít mẫu
Giả sử bộ nhận ra loài cây được thử trên 640 ảnh, trong đó 600 ảnh lá khô và 40 ảnh lá ướt. Nó đoán đúng 95\% ảnh lá khô và 70\% ảnh lá ướt (số liệu minh họa). Số ảnh đoán đúng là 600\cdot 0{,}95+40\cdot 0{,}70=570+28=598, nên độ chính xác chung là \dfrac{598}{640}\approx 93{,}4\%. Con số ấy trông gần với 95\% và che mất việc ảnh lá ướt chỉ đúng 70\%. Nhóm ít mẫu bị «chìm» trong trung bình vì nó chiếm \dfrac{40}{640}=6{,}25\% dữ liệu. Muốn biết mô hình dùng được ở vườn sau mưa hay không, phải đo riêng nhóm ấy; mục 7 quay lại ý này.
Chất lượng của nhãn cũng có trần. Nếu 10 trong 100 nhãn bị gán sai ngẫu nhiên, một mô hình đoán đúng thật sự từng mẫu vẫn chỉ khớp 90\% nhãn đang có, và một mô hình đạt 97\% trên các nhãn ấy rất đáng nghi vì có thể đã học cả chỗ gán sai.
Số lượng không thay được tính đại diện (kiến thức bổ sung)
Thêm một nghìn ảnh lá khô ở sân trường không giúp mô hình nhận ra lá ướt; ngược lại, bốn mươi ảnh lá ướt được chọn đúng có thể giúp nhiều hơn. Câu hỏi nên hỏi trước khi thu thêm dữ liệu là: tình huống nào ở nơi dùng thật mà dữ liệu hiện có chưa chứa?
Đoán trước, rồi làm thám tử
Đoán trước: một nhóm muốn dự đoán «học sinh có cần hỗ trợ thêm môn Tin học vào cuối học kì hay không» và đưa vào bảng cột «kết quả kiểm tra cuối học kì». Điều gì xảy ra?
Cột «kết quả kiểm tra cuối học kì» được dùng làm đặc trưng để dự đoán nhãn «cần hỗ trợ thêm». Nhận xét đúng là:
Cách dùng phòng lab
Bấm vào từng ô em nghi ngờ, rồi bấm «Kiểm tra». Ô đúng sẽ tô xanh, ô báo nhầm tô đỏ; nếu thiếu lỗi, máy cho biết còn thiếu loại nào. Em hoàn thành khi tìm đủ năm lỗi mà không báo nhầm ô nào. Phòng lab này luyện bẫy 2.
Thử tay: tính độ chính xác của từng nhóm
Một bộ nhận dạng chữ viết tay được thử trên 500 mẫu của nhóm A và 50 mẫu của nhóm B. Nó đúng 450 mẫu nhóm A và 35 mẫu nhóm B. Tính độ chính xác chung, độ chính xác của từng nhóm, rồi cho biết con số nào che nhóm nào.
Gợi ý 1 · Từng nhóm
Độ chính xác nhóm là số mẫu đúng chia số mẫu của nhóm đó.
Gợi ý 2 · Chung
Cộng số mẫu đúng của hai nhóm rồi chia cho tổng số mẫu.
Đáp án
Nhóm A: \dfrac{450}{500}=90\%. Nhóm B: \dfrac{35}{50}=70\%. Chung: \dfrac{450+35}{550}=\dfrac{485}{550}\approx 88{,}2\%. Con số chung gần với nhóm A vì nhóm A chiếm \dfrac{500}{550}\approx 90{,}9\% số mẫu, và che việc nhóm B kém hơn 20 điểm phần trăm.
Chỗ hay trượt ở trạm THU THẬP
Bẫy 2: nghĩ rằng dữ liệu càng nhiều càng tốt, kể cả khi có lỗi, trùng lặp hay chỉ lấy từ một kiểu tình huống. Bản ghi trùng làm một tình huống được đếm nhiều lần; dữ liệu thiếu một kiểu tình huống làm mô hình kém đúng chính ở đó. Bài 1 và bài 2 ở mục 10 là hai tình huống của chỗ này.
Mục 3 sang trạm CHUẨN BỊ: biến bảng thô thành thứ máy học được, và giữ riêng tập kiểm tra một cách đúng đắn.
03
Trạm ② CHUẨN BỊ · làm sạch, đổi kiểu, chia tập
Biến bảng thô thành thứ máy học được, và giữ riêng một tập kiểm tra thật sự độc lập
Ba lớp cùng nhập số liệu khảo sát vào ba bảng tính rồi gộp lại. Bảng gộp trông ổn khi nhìn lướt, nhưng cột ngày là chữ, vài ô trống nằm rải rác, và ba dòng của một bạn xuất hiện hai lần vì bạn ấy nộp hai bản. Nếu đưa nguyên bảng ấy vào mô hình, máy sẽ học cả những lỗi này. Trạm CHUẨN BỊ làm hai việc: làm sạch và đổi dạng để máy đọc đúng, và chia tập để về sau còn một thước đo công bằng. Việc thứ hai tinh tế hơn nhiều, vì nó quyết định con số điểm kiểm tra có đáng tin hay không.