Ở bài trước bản thân đã trình diễn định nghĩa và một số trong những ứng dụng của sản phẩm học (Machine Learning – ML), tách biệt ML với Trí tuệ tự tạo (Artificial Intelligence – AI) cũng tương tự mối dục tình giữa AI, ML và Big Data. Từ bài viết này trở đi mình sẽ triệu tập viết về ML, những thuật toán, cách áp dụng công thế kèm theo một vài demo nhỏ tuổi giúp bạn đọc dễ hình dung và áp dụng. Để mở màn cho chuỗi bài viết sắp tới, lúc này mình sẽ trình bày cách phân nhóm các thuật toán ML.
Bạn đang xem: Thuật toán học tăng cường (Reinforcement Learning Algorithms)
Với đa phần mọi người, trước khi bước đầu giải quyết một sự việc nào đó, việc thứ nhất là họ sẽ khám phá xem liệu có ai đã gặp vấn đề này hoặc vấn đề tựa như như vậy hay không và biện pháp họ giải quyết thế nào. Sau khi nắm được tin tức khái quát, các bước kế tiếp là chọn lựa và điều chỉnh giải pháp sao cho phù hợp với sự việc của bạn dạng thân. Vào trường hợp sự việc còn quá mới mẻ và lạ mắt thì họ mới đề xuất bắt tay làm cho từ đầu, điều này đa số rất hiếm, đặc biệt là trong thời đại technology này, khi nhưng chỉ bằng một cú nhấp chuột, hàng chục ngàn thông tin, bốn liệu về đề tài bọn họ quan vai trung phong sẽ xuất hiện. Tương tự như thế, ML hiện vẫn được nghiên cứu và phân tích rộng khắp, không hề ít công trình khoa học, thuật toán được cho ra đời. Với người mới bắt đầu mà nói thì chúng ta chưa đề nghị phải làm gì cả ngoài bài toán nắm được những thuật toán cơ bản, điểm lưu ý của bọn chúng để khi đối lập với một bài toán rõ ràng trong thực tế bạn có thể biết được mình yêu cầu lựa lựa chọn thuật toán nào cho cân xứng đã là điều tốt nhất rồi.
Mặc dù có rất nhiều thuật toán học tập nhưng nhờ vào phương thức học tập (learning style) hoặc sự tương đồng (similarity) về vẻ ngoài hay chức năng mà chúng có thể được gom thành từng nhóm. Tiếp sau đây mình sẽ trình bày tổng quan liêu cả hai giải pháp phân nhóm thuật toán học tập này.
1. Phân nhóm dựa trên phương thức họcXét theo cách làm học, những thuật toán ML được chia thành bốn nhóm, bao hàm “Học tất cả giám sát” (Supervised Learning), “Học ko giám sát” (Unsupervised Learning), “Học buôn bán giám sát” (hay học kết hợp - Semi-supervised Learning) với “Học tăng cường” (Reinforcement Learning).
a. Học gồm giám sát
Học có đo lường hay còn gọi là học tất cả thầy là thuật toán dự kiến nhãn (label)/đầu ra (output) của một tài liệu mới dựa vào tập dữ liệu đào tạo và huấn luyện mà trong số ấy mỗi mẫu tài liệu đều đã có được gán nhãn như minh hoạ sinh hoạt Hình 1. Lúc đó, thông qua một quá trình huấn luyện, một mô hình sẽ được xây dựng để cho ra những dự đoán với khi những dự đoán bị sai thì mô hình này vẫn được tinh chỉnh lại. Việc huấn luyện sẽ tiếp tục cho đến khi quy mô đạt được nút độ đúng chuẩn mong ước ao trên dữ liệu huấn luyện. Điều này cũng giống như khi bọn họ đi học tập trên lớp, ta biết câu trả lời chính xác từ giáo viên (tập tài liệu có nhãn) và từ kia ta sẽ thay thế nếu làm sai. Học có giám sát và đo lường là nhóm thông dụng nhất trong những thuật toán ML.
Hình 1: Supervised Learning Algorithms
Một bí quyết toán học, học tập có giám sát là khi bọn chúng ra có một tập hòa hợp biến đầu vào $ X=x_1,x_2,…,x_N $ và một tập thích hợp nhãn tương ứng $ Y=y_1,y_2,…,y_N $, trong số ấy $ x_i$, $y_i $ là các vector. Những cặp dữ liệu biết trước $( x_i, y_i ) in X imes Y $ được gọi là tập dữ liệu huấn luyện (training data). Trường đoản cú tập dữ liệu đào tạo và giảng dạy này, chúng ta cần tạo nên một hàm số ánh xạ mỗi thành phần từ tập X sang một phần tử (xấp xỉ) tương ứng của tập Y:
$$ y_i approx f(x_i), forall i=1, 2, …, N $$
Mục đích là xấp xỉ hàm số $f$ thật tốt để khi bao gồm một tài liệu x mới, bạn có thể tính được nhãn tương xứng của nó $y=f(x)$.
Ví dụ: Trong dìm dạng chữ số viết tay, ta có ảnh của hàng nghìn trường hợp ứng với từng chữ số được viết bởi nhiều người khác nhau. Ta đưa những bức ảnh này vào một thuật toán học cùng chỉ mang đến nó biết “mỗi bức hình ảnh tương ứng cùng với chữ số nào”. Sau khoản thời gian thuật toán tạo thành một tế bào hình, có nghĩa là một hàm số dấn đầu vào là một trong bức ảnh và mang lại ra kết quả là một chữ số. Khi nhận được một bức ảnh mới mà quy mô “chưa từng chạm chán qua” cùng nó sẽ dự kiến xem bức ảnh đó khớp ứng với chữ số nào.
Hình 2: Ảnh minh hoạ mang lại tập tài liệu chữ số viết tay - MNIST
Đối với mọi ai sử dụng mạng xã hội Facebook thì khá thân thuộc với khả năng phát hiện tại khuôn khía cạnh trong một bức ảnh, bản chất của thuật toán dò tìm các khuôn khía cạnh này là một thuật toán học có đo lường với tập đào tạo là vô số hình ảnh đã được gán nhãn là khía cạnh người hay là không phải mặt người.
Các thuật toán học tập có đo lường còn được phân ra thành nhì loại chính là phân lớp (Classification) và hồi quy (Regression).
Phân lớp
Một bài toán được call là phân lớp nếu các nhãn của tài liệu đầu vào được phân thành một số hữu hạn lớp (miền quý hiếm là rời rạc). Ví dụ như tính năng xác minh xem một email có cần là spam hay là không của Gmail; khẳng định xem hình hình ảnh của loài vật là chó tốt mèo. Hoặc ví dụ dấn dạng ký kết số viết tay ở trên cũng thuộc việc phân lớp, bao hàm mười lớp ứng với những số từ bỏ 0 đến 9. Tựa như cho ví dụ nhận dạng khuôn mặt với hai lớp là đề nghị và không phải khuôn mặt, …
Hồi quy
Một việc được xem như là hồi quy trường hợp nhãn ko được chia thành các đội mà là 1 giá trị thực ví dụ (miền quý giá là liên tục). Phần nhiều các việc dự báo (giá cổ phiếu, giá bán nhà, …) thường được xếp vào bài toán hồi quy. Ví như, nếu 1 căn nhà rộng 150 m^2, có 7 phòng và biện pháp trung tâm tp 10 km sẽ có được giá là bao nhiêu? bây giờ kết quả dự kiến sẽ là một trong những thực.
Nếu như phát hiện khuôn phương diện là bài toán phân lớp thì dự đoán tuổi là việc hồi quy. Mặc dù dự đoán tuổi cũng có thể coi là phân lớp nếu ta đến tuổi là một số nguyên dương N và lúc đó ta sẽ có được N lớp khác biệt tính tự 1.Một số thuật toán nổi tiếng thuộc về team học có giám sát và đo lường như:
Phân lớp: k-Nearest Neighbors, mạng nơron nhân tạo, SVM, …
Hồi quy: Linear Regression, Logistic Regression, …
b. Học không giám sát
Trái cùng với Supervised learning, học tập không thống kê giám sát hay học không thầy là thuật toán dự đoán nhãn của một tài liệu mới dựa trên tập dữ liệu đào tạo mà vào đó tất cả các mẫu dữ liệu đều chưa được gán nhãn hay nói theo cách khác là ta do dự câu trả lời đúng đắn cho mỗi dữ liệu đầu vào như minh hoạ ở Hình 3. Điều này cũng như khi ta học tập mà không tồn tại thầy cô, sẽ không có ai cho ta biết đáp án và đúng là gì.
Hình 3: Unsupervised Learning Algorithms
Khi đó, phương châm của thuật toán unsupervised learning không hẳn là tìm đầu ra đúng đắn mà sẽ nhắm tới việc tra cứu ra kết cấu hoặc sự liên hệ trong dữ liệu để tiến hành một các bước nào đó, ví như gom nhiều (clustering) hoặc bớt số chiều của dữ liệu (dimension reduction) để thuận lợi trong việc lưu trữ và tính toán.
Các câu hỏi Unsupervised learning liên tiếp được chia nhỏ thành hai một số loại là phân cụm (Clustering) cùng luật phối hợp (Association Rule).
Phân cụm
Một việc phân nhiều / phân nhóm toàn thể dữ liệu X thành những nhóm/cụm nhỏ dại dựa bên trên sự tương quan giữa những dữ liệu trong mỗi nhóm. Ví dụ như phân nhóm khách hàng nhờ vào độ tuổi, giới tính. Điều này cũng như việc ta đưa cho một đứa trẻ rất nhiều mảnh ghép với những hình dạng và màu sắc khác nhau, hoàn toàn có thể là tam giác, vuông, tròn với màu xanh, đỏ, tím, vàng, sau đó yêu mong trẻ phân chúng thành từng nhóm. Tuy nhiên ta không dạy trẻ mảnh nào tương ứng với hình như thế nào hoặc màu nào, nhưng mà nhiều khả năng trẻ vẫn rất có thể phân loại những mảnh ghép theo màu sắc hoặc hình dạng.
Luật kết hợp
Là vấn đề mà khi họ muốn tò mò ra một quy luật dựa trên nhiều tài liệu cho trước. Ví như những người tiêu dùng mua sản phẩm này sẽ download thêm sản phẩm kia; hoặc khan mang xem phim này sẽ có được xu hướng say mê xem phim kia, phụ thuộc vào đó ta có thể xây dựng đa số hệ thống nhắc nhở khách hàng (Recommendation System) nhằm thúc đẩy nhu cầu bán buôn hoặc coi phim….
Một số thuật toán thuộc đội học không đo lường như Apriori (Association Rule), k-Means (Clustering), …
c. Học phân phối giám sát
Là câu hỏi mà lúc tập dữ liệu đầu vào X là lếu hợp các mẫu bao gồm nhãn và không tồn tại nhãn, trong các số đó số lượng tất cả nhãn chỉ chiếm một phần nhỏ như minh hoạ ngơi nghỉ Hình 4.
Phần lớn những bài toán thực tiễn của ML thuộc đội này bởi việc thu thập dữ liệu có nhãn tốn không ít thời gian và có túi tiền cao. Không ít loại dữ liệu thậm chí cần được có chuyên gia mới gán nhãn được, ví dụ điển hình như ảnh y học hoặc những cặp câu tuy nhiên ngữ. Ngược lại, dữ liệu chưa có nhãn hoàn toàn có thể được thu thập với giá cả thấp từ internet.
Hình 4: Semi-supervised Learning Algorithms
Với việc này, quy mô phải tìm hiểu các cấu trúc để tổ chức dữ liệu cũng giống như đưa ra dự đoán. Vì điểm sáng trung gian cần ta rất có thể sử dụng unsupervised learning để khám phá và tìm hiểu kết cấu trong dữ liệu đầu vào, đồng thời áp dụng supervised learning để dự đoán cho dữ liệu không được gán nhãn. Tiếp đến đưa dữ liệu vừa dự đoán quay trở lại làm dữ liệu huấn luyện và giảng dạy cho supervised learning với sử dụng mô hình sau khi huấn luyện để lấy ra dự kiến về dữ liệu mới.
Một số thuật toán học tăng cường như: Self Training, Generative models, S3VMs, Graph-Based Algorithms, Multiview Algorithms, …
d. Học tập tăng cường
Học tăng tường giỏi học củng gắng là bài toán giúp cho một hệ thống auto xác định hành động dựa trên thực trạng để đạt được tiện ích cao nhất. Hiện nay tại, reinforcement learning hầu hết được áp dụng vào triết lý Trò chơi (Game Theory), những thuật toán cần xác minh nước đi tiếp sau để đã có được điểm số cao nhất. Hình 5 là 1 ví dụ dễ dàng và đơn giản sử dụng học tăng cường.
Hình 5: Minh hoạ cho học tăng cường được vận dụng trong lý thuyết trò chơi.
Alpha
Go - một trong những phần mềm đùa cờ vây trên máy vi tính được xây dựng bởi Google Deep
Mind hay công tác dạy máy vi tính chơi trò chơi Mario là mọi ứng dụng sử dụng học tăng cường.
Cờ vậy được xem là trò chơi có độ phức tạp cực kỳ cao với tổng cộng nước đi là xấp xỉ 1076110761, so với cờ vua là 1012010120, vì vậy thuật toán phải lựa chọn ra một nước đi tối ưu trong những hàng tỉ tỉ lựa chọn. Về cơ bản, Alpha
Go bao gồm các thuật toán nằm trong cả Supervised learning và Reinforcement learning. Vào phần Supervised learning, tài liệu từ những ván cờ vì chưng con tín đồ chơi với nhau được đưa vào để huấn luyện. Tuy nhiên, mục tiêu sau cuối của Alpha
Go chưa hẳn là chơi như con tín đồ mà cần thắng được con người. Bởi vậy, sau khi học chấm dứt các ván cờ của bé người, Alpha
Go tự đùa với bao gồm nó thông qua hàng triệu ván cờ nhằm tìm ra các nước đi new tối ưu hơn. Thuật toán trong phần tự đùa này được xếp vào một số loại Reinforcement learning.
Đơn giản rộng cờ vây, tại 1 thời điểm cố thể, người game play Mario chỉ việc bấm một vài lượng nhỏ dại các nút (di chuyển, nhảy, phun đạn) hoặc không đề xuất bấm nút nào ứng với một chướng ngại vật vật cố định ở một vị trí cụ định. Lúc đó thuật toán trong ứng dụng dạy laptop chơi game Mario sẽ nhận đầu vào là sơ thiết bị của màn hình tại thời điểm hiện hành, nhiệm vụ của thuật toán là tìm ra tổng hợp phím đề nghị được bấm ứng với đầu vào đó. Việc huấn luyện và đào tạo này được dựa vào điểm số đến việc di chuyển được bao xa với thời gian bao lâu trong game, càng xa và càng sớm thì điểm thưởng đạt được càng cao, tất nhiên điểm thưởng này sẽ không phải là vấn đề của trò đùa mà là điểm do chính người lập trình tạo ra ra. Thông qua huấn luyện, thuật toán vẫn tìm ra một cách tối ưu nhằm tối đa số điểm trên, qua đó có được mục đích sau cuối là cứu giúp công chúa.
Có nhiều cách khác nhau để thuật toán rất có thể mô hình hóa một sự việc dựa trên sự liên tưởng của nó với tài liệu đầu vào. Phân nhiều loại hoặc cách tổ chức thuật toán học sản phẩm công nghệ này rất bổ ích vì nó buộc bọn họ phải suy xét về sứ mệnh của dữ liệu đầu vào và quy trình chuẩn bị mô hình và chọn một thuật toán phù hợp nhất cho sự việc của bọn họ để có hiệu quả tốt nhất.
2. Phân nhóm dựa trên sự tương đồngDựa vào sự tương đương về công dụng hay phương thức hoạt hễ mà các thuật toán sẽ được gom nhóm với nhau. Sau đó là danh sách những nhóm và những thuật toán theo từng nhóm.
a. Những thuật toán hồi quy (Regression Algorithms)
Hồi quy là quá trình tìm mối quan hệ nhờ vào của một biến đổi (được call là biến phụ thuộc hay phát triển thành được giải thích, thay đổi được dự báo, thay đổi được hồi quy, trở thành phản ứng, thay đổi nội sinh) vào một hoặc nhiều biến đổi khác (được hotline là trở nên độc lập, biến đổi giải thích, biến đổi dự báo, thay đổi hồi quy, biến chuyển tác nhân hay biến kiểm soát, trở thành ngoại sinh) nhằm mục đích mục đích cầu lượng hoặc tiên đoán giá trị kỳ vọng của biến nhờ vào khi biết trước cực hiếm của biến độc lập. Hình 6 bảo hộ cho ý tưởng của những thuật toán hồi quy.
Ví dụ như, dự đoán rằng nếu như tăng lãi vay tiền gởi thì sẽ kêu gọi được lượng chi phí gửi các hơn, khi đó bank A cần phải biết mối tình dục giữa lượng tiền giữ hộ và lãi suất tiền gửi, rõ ràng hơn người ta có nhu cầu biết khi tăng lãi vay thêm 0.1% thì lượng tiền gửi vẫn tăng trung bình là bao nhiêu.
Các thuật toán hồi quy phổ cập nhất là:
Linear Regression
Logistic Regression
Locally Estimated Scatterplot Smoothing (LOESS)
Multivariate Adaptive Regression Splines (MARS)
Ordinary Least Squares Regression (OLSR)
Stepwise Regression
Hình 6: Regression Algorithms
b. Thuật toán dựa trên mẫu (Instance-based Algorithms)
Mô hình học tập dựa trên mẫu tuyệt thực thể là bài toán ra quyết định nhờ vào các trường phù hợp hoặc các mẫu dữ liệu huấn luyện và giảng dạy được xem như là quan trọng xuất xắc bắt buộc so với mô hình.
Nhóm thuật toán này thường chế tạo cơ sở tài liệu về tài liệu mẫu và đối chiếu dữ liệu mới với các đại lý dữ liệu bằng cách sử dụng thước đo tựa như để search kết quả tương xứng nhất và đưa ra dự đoán. Lúc đó giữa trung tâm được để vào thay mặt đại diện của các thể hiện nay được lưu trữ như minh hoạ làm việc Hình 7.
Hình 7: Instance-based Algorithms
Các thuật toán dựa trên thực thể phổ cập nhất là:
k-Nearest Neighbor (k
NN – k láng giềng sát nhất)
Learning Vector Quantization (LVQ)
Locally Weighted Learning (LWL)
Self-Organizing map (SOM)
c. Thuật toán chuẩn hoá (Regularization Algorithms)
Các thuật toán chuẩn chỉnh hoá ra đời từ sự mở rộng các phương thức đã có (điển hình là các phương thức hồi quy) bằng cách xử phạt các mô hình dựa trên mức độ tinh vi của chúng. Câu hỏi ưu tiên các mô hình đơn giản và dễ dàng hơn cũng tốt hơn trong vấn đề khái quát mắng hóa. Hình 8 tượng trưng cho phát minh của thuật toán chuẩn chỉnh hoá.
Hình 8: Regularization Algorithms
Các thuật toán thiết yếu quy phổ cập nhất là:
Elastic Net
Least Absolute Shrinkage and Selection Operator (LASSO)
Least-Angle Regression (LARS)
Ridge Regression
d. Thuật toán cây đưa ra quyết định (Decision Tree Algorithms)
Đây là cách thức xây dựng quy mô ra ra quyết định dựa trên những giá trị thực của rất nhiều thuộc tính vào dữ liệu. Sự đưa ra quyết định được rẽ nhánh trong cấu tạo cây cho tới khi đưa ra quyết định dự đoán được giới thiệu cho một mẫu nhất định như minh hoạ sống Hình 9. Phương thức này được sử dụng trong việc huấn luyện dữ liệu cho bài toán phân lớp với hồi quy. Bởi vì sự nhanh chóng, đúng mực nên phương pháp này rất rất được quan tâm trong ML.
Hình 9: Decision Tree Algorithms
Các thuật toán cây quyết định thịnh hành nhất bao gồm:
Chi-squared Automatic Interaction Detection (CHAID)
Classification cùng Regression Tree – CART
Conditional Decision Trees
C4.5 với C5.0
Decision Stump
Iterative Dichotomiser 3 (ID3)
M5
e. Thuật toán Bayes (Bayesian Algorithms)
Đây là nhóm những thuật toán áp dụng Định lý Bayes cho bài toán phân loại và hồi quy.
Hình 10: Bayesian Algorithms
Các thuật toán phổ biến nhất là:
Averaged One-Dependence Estimators (AODE)
Bayesian Belief Network (BBN)
Bayesian Network (BN)
Gaussian Naive Bayes
Multinomial Naive Bayes
Naive Bayes
f. Thuật toán phân các (Clustering Algorithms)
Tất cả các phương pháp đều áp dụng các cấu tạo vốn tất cả trong tài liệu để tổ chức cực tốt dữ liệu thành các nhóm có mức độ phổ biến tối đa nhờ vào trọng chổ chính giữa (centroid) cùng thứ bậc (hierarchal) như trình bày ở Hình 11.
Hình 11: Clustering Algorithms
Các thuật toán phân cụm thông dụng nhất là:
Expectation Maximisation (EM – cực đại hoá kỳ vọng)
Hierarchical Clustering
k-Means
k-Medians
g. Các thuật toán luật kết hợp (Association Rule Learning Algorithms)
Đây là phần đa thuật toán sẽ rút trích ra những quy tắc giải thích tốt nhất mối quan hệ giữa các biến trong dữ liệu. Các quy tắc này rất có thể giúp tìm hiểu ra các tính chất đặc trưng và hữu ích trong số tập tài liệu lớn với cao chiều trong thương mại cùng các nghành khác. Hình 12 minh hoạ cho ý tưởng của thuật toán nguyên lý kết hợp.
Hình 12: Association Rule Learning Algorithms
Các thuật toán luật phối kết hợp phổ biến đổi nhất là:
Apriori algorithm
Eclat algorithm
FP-Growth algorithm
h. Thuật toán mạng nơron nhân tạo (Artificial Neural Network Algorithms)
Mạng nơron tự tạo là các quy mô được lấy cảm xúc từ cấu trúc và tính năng của mạng lưới thần ghê sinh học. Hình 13 minh hoạ cho 1 mạng truyền thẳng.Nhóm thuật toán này hoàn toàn có thể được thực hiện cho câu hỏi phân lớp cùng hồi quy với không ít biến thể khác biệt cho đa số các vấn đề. Tuy nhiên, trong bài viết này mình chỉ trình diễn các thuật toán cổ điển và thịnh hành nhất:
Back-Propagation (mạng lan truyền ngược)
Perceptron (Mạng viral thẳng)
Multi-layer perceptron (Mạng truyền thẳng đa lớp)
Hopfield Network
Radial Basis Function Network (RBFN)
Hình 13: Artificial Neural Network Algorithms
i. Thuật toán học sâu (Deep Learning Algorithms)
Thực chất Deep Learning là một phiên bản cập nhật hiện đại cho Artificial Neural Networks nhằm mục đích khai thác kĩ năng tính toán của máy tính, mặc dù vì sự cải tiến và phát triển lớn mạnh của chúng bắt buộc mình bóc tách ra thành một tổ riêng.
Deep Learning lưu ý đến việc xây dựng những mạng thần kinh phệ hơn, tinh vi hơn nhiều, và làm thế nào để khai thác hiệu quả các bộ dữ liệu lớn cất rất ít dữ liệu đã được gán nhãn. Hình 14 minh hoạ cho phát minh của Deep learning.
Hình 14: Deep Learning Algorithms
Các thuật toán học tập sâu phổ biến nhất là:
Convolutional Neural Network (CNN)
Deep Belief Networks (DBN)
Deep Boltzmann Machine (DBM)
Stacked Auto-Encoders
j. Nhóm thuật toán giảm chiều dữ liệu (Dimensionality Reduction Algorithms)
Giống như các phương thức phân cụm, giảm không gian tìm kiếm với khai thác cấu trúc vốn có trong tài liệu nhưng theo cách không thống kê giám sát hoặc để tóm tắt tuyệt mô tả tài liệu sử dụng ít tin tức hơn là mục tiêu của nhóm phương thức này. Hình 15 minh hoạ cho câu hỏi giảm chiều dữ liệu.
Điều này rất có thể hữu ích để trực quan hóa dữ liệu hoặc dễ dàng và đơn giản hóa tài liệu mà sau đó hoàn toàn có thể được áp dụng trong phương thức học tất cả giám sát. Nhiều trong các các phương thức này rất có thể được điều chỉnh để thực hiện trong phân lớp với hồi quy.
Hình 15: Dimensional Reduction Algorithms
Các thuật toán sút chiều dữ liệu phổ biến như:
Flexible Discriminant Analysis (FDA)
Linear Discriminant Analysis (LDA)
Mixture Discriminant Analysis (MDA)
Multidimensional Scaling (MDS)
Partial Least Squares Regression (PLSR)
Principal Component Analysis (PCA)
Principal Component Regression (PCR)
Projection Pursuit
Quadratic Discriminant Analysis (QDA)
Sammon Mapping
k. Thuật toán tập vừa lòng (Ensemble Algorithms)
Ensemble methods là những phương thức kết hợp các quy mô yếu hơn được huấn luyện hòa bình và phần dự đoán của chúng sẽ được phối kết hợp theo một phương pháp nào đó để mang ra dự đoán tổng thể như minh họa sống Hình 16.
Nhóm thuật toán này khá to gan và được nghiên cứu và phân tích nhiều, đặc biệt là về phương pháp để kết vừa lòng các quy mô với nhau.
Hình 16: Ensemble Algorithms
Một số thuật toán phổ cập như:
Ada
Boost
Boosting
Bootstrapped Aggregation (Bagging)
Gradient Boosting Machines (GBM)
Gradient Boosted Regression Trees (GBRT)
Random Forest
Stacked Generalization (blending)
l. Các thuật toán khác
Còn rất nhiều các thuật toán không giống không được liệt kê sống đây, ví dụ điển hình như support Vector Machines (SVM), mình đang do dự rằng liệu thuật toán này yêu cầu được đưa vào đội nào kia hay đứng một mình. Nếu dựa vào danh sách những biến thể cùng mức độ trở nên tân tiến thì SVM có thể được tách thành một tổ riêng – team thuật toán áp dụng véctơ hỗ trợ.
Thêm vào đó, những thuật toán được xuất hiện từ những nhiệm vụ sệt biệt, hoăc những thuật toán từ hầu hết nhánh con quan trọng đặc biệt của ML cũng không được liệt kê vào những nhóm, ví dụ điển hình như:
Feature selection algorithms
Algorithm accuracy evaluation
Performance measures
Có thời gian mình sẽ bổ sung cập nhật hoặc đề cập tới những thuật toán này sống một bài viết khác.
Mặc cho dù rất có ích (dựa vào nhóm, người tiêu dùng sẽ dễ dãi nhớ được thực chất của thuật toán) nhưng phương pháp phân nhóm này chưa tuyệt vời ở điểm bao hàm thuật toán có thể cân xứng với nhiều hạng mục như Learning Vector Quantization, vừa là cách thức lấy xúc cảm từ mạng thần gớm (neural network), vừa là phương thức dựa trên cá thể (instance-based). Hoặc là thuật toán bao gồm cùng tên tế bào tả việc và nhóm thuật toán như Hồi quy (Regression) với Phân các (Clustering). Đối với đều trường phù hợp này ta có thể giải quyết bằng cách liệt kê những thuật toán nhị lần hoặc bằng phương pháp chọn đội một cách chủ quan. Để kiêng trùng lặp những thuật toán và giữ cho đông đảo thứ đơn giản dễ dàng thì có lẽ rằng chọn nhóm theo phong cách chủ quan tiền sẽ phù hợp hơn.
Để giúp các bạn dễ nhớ cũng giống như tổng kết bỏ phần này tôi đã vẽ một sơ đồ những thuật toán phân theo nhóm và bố trí theo alphabet, các chúng ta cũng có thể xem thểm sống Hình 17 bên dưới.
Hình 17: Sơ vật phân đội thuật toán theo sự tương đồng
Hy vọng bài viết này sẽ đem đến hữu ích cho chính mình đọc, nhất là giúp bạn có dược cái nhìn tổng quan tiền về đầy đủ gì hiện có và một số trong những ý tưởng về kiểu cách liên kết những thuật toán cùng với nhau.
Danh sách những nhóm và thuật toán được liệt kê trong nội dung bài viết chỉ bảo đảm an toàn được yếu tố phổ biến tuy vậy sẽ ko đầy đủ. Vậy nên nếu bạn biết thêm thuật toán hoặc đội nào chưa được liệt kê ở chỗ này hoặc tất cả cách phân team thuật toán khác, cũng tương tự sau khi gọi mà các bạn có bất kỳ góp ý, câu hỏi giúp cải thiện bài viết tốt hơn, các bạn cũng có thể để lại comment nhằm chia sẻ cùng mình và những độc giả khác nhé.
Tài liệu tham khảo:A Tour of Machine Learning Algorithms by Jason Brownlee in Understand Machine Learning Algorithms
Semi-Supervised Learning Tutorial by Xiaojin Zhu
https://en.wikipedia.org/wiki/Outline_of_machine_learning#Machine_learning_algorithms
Top 10 algorithms in data mining by Xindong Wu · Vipin Kumar · J. Ross Quinlan · Joydeep Ghosh · Qiang Yang · Hiroshi Motoda · Geoffrey J. Mc
Lachlan · Angus Ng · Bing Liu · Philip S. Yu · Zhi-Hua Zhou · Michael Steinbach · David J. Hand · Dan Steinberg.
Xin chào những bạn. Chắn chắn hẳn họ đã thân quen gì với đầy đủ thuật toán Reinforcement Learning áp dụng Deep Learning rồi yêu cầu không. Có bao giờ bạn đặt ra câu hỏi rằng ráng vì chúng ta cố gắng đi tìm kiếm những phong cách xây dựng mạng vĩ đại rồi cố gắng tối ưu nó thì họ sẽ thử 1 trong các những phương thức khác không nên dùng đến mạng nơ ron chưa? nếu như khách hàng cũng đang sẵn có những băn khoăn như vậy thì nội dung bài viết này sẽ dành riêng cho bạn.
Trong quá trình tiến hóa trường đoản cú nhiên, các đặc điểm sinh học thay đổi và các điểm sáng mới được tạo nên chỉ dễ dàng và đơn giản là vì một số đặc điểm mang lại lợi thế tồn tại và sinh sản. Hiệu quả là hồ hết sinh vật đó có thể tạo ra nhiều bạn dạng sao về di truyền học của bọn chúng hơn trong những thế hệ tiếp theo. Kĩ năng tồn trên của một gen dựa vào hoàn toàn vào môi trường, môi trường xung quanh này thường tất yêu đoán trước và thường xuyên thay đổi. Trong trường hợp vận dụng trong công nghệ máy tính, quá trình tiến hóa tế bào phỏng dễ dàng hơn nhiều, vì bọn họ thường ước ao tối đa hóa hoặc bớt thiểu một vài duy nhất, ví dụ như giá trị của hàm mất đuối khi đào tạo và huấn luyện một mạng nơ-ron.
Đối với các thuật toán dựa trên các mạng nơ ron, những agent của chúng ta đã liên tưởng với môi trường, thu thập kinh nghiệm và tiếp đến học hỏi từ những kinh nghiệm đó. Bọn họ lặp đi lặp lại tiến trình tương tự cho mỗi epoch cho tới khi xong xuôi quá trình học.
Tùy trực thuộc vào môi trường xung quanh và độ phức hợp của mạng, vấn đề tạo một agent với những siêu tham số phù hợp có thể rất là khó khăn. Hơn nữa, để hoàn toàn có thể sử dụng được gradient descent và backpropagation, bọn họ cần một quy mô khả vi. Chắc hẳn rằng có những quy mô thú vị và có lợi mà chúng ta cũng có thể xây dựng tuy nhiên lại không thể đào tạo và giảng dạy được với gradient descent bởi vì nó ko khả vi.
Điều này dẫn đến một phía mới chúng ta có thể tiếp cận đó chính là thuật toán tiến hoá
Quá trình học dựa vào thuật toán tiến hoá
Vậy ráng vì tạo nên một agent và cải thiện nó, vậy vào đó chúng ta có thể học hỏi tự Charles Darwin với sử dụng quy trình tiến hóa bằng chọn lọc tự nhiên. Bạn cũng có thể sinh ra các agent khác nhau với những bộ thông số (weights) không giống nhau, quan liền kề tác nhân nào làm tốt nhất có thể và “lai tạo” tác nhân rất tốt để nhỏ cháu rất có thể thừa hưởng trọn những điểm lưu ý mong ước ao của cha mẹ chúng — y như trong chọn lọc tự nhiên. Bạn cũng có thể mô phỏng sự tiến hóa sinh học bằng các thuật toán. Chúng ta sẽ không cần thiết phải vật lộn để điều chỉnh các siêu tham số cùng đợi quy mô được đào tạo và giảng dạy qua không hề ít epoch để thấy liệu agent có đang học “chính xác” tuyệt không. Cầm vào đó, chúng ta chỉ phải chọn những agent đã chuyển động tốt hơn. Chúng ta có thẻ tế bào tả hoạt động vui chơi của quá trình này vào hình sau
Loại thuật toán này không yêu cầu chúng ta huấn luyện một agent riêng rẽ lẻ. Nó không dựa vào gradient và được gọi một biện pháp khác là gradient-free algorithm.
Học tăng cường với thuật toán tiến hoáTrong phần này bọn họ sẽ nói về kiểu cách làm cố kỉnh nào để tận dụng kế hoạch tiến hoá, và bọn họ sẽ trình diễn ngắn gọn cách để định nghĩa agent giỏi nhất. Tiếp theo bọn họ sẽ nói đến phương pháp tổ đúng theo để xuất hiện một agent mới xuất phát từ một agent sẵn có. Sự trở nên tân tiến này là một quá trình nhiều cố hệ, bởi vậy chúng ta sẽ đàm luận về điều này và cầm tắt lại cục bộ các quá trình huấn luyện.
Lý thuyết tiến hoá trong sinh học
Nếu các bạn còn nhớ các kiến thức trong môn sinh học tập từ hồi học tập phổ thông, thì lựa chọn lọc tự nhiên sẽ chọn ra những cá thể “phù hòa hợp nhất” tự mỗi ráng hệ. Vào sinh học, điều này đại diện thay mặt cho những thành viên có tỉ lệ sinh tồn thành công lớn nhất và vì vậy đã truyền thông tin dt của họ cho các thế hệ tiếp theo. Những bé chim có làm nên mỏ tương thích hơn trong việc lấy hạt từ cây sẽ có khá nhiều thức ăn uống hơn và vày đó có khá nhiều khả năng sống sót hơn nhằm truyền gen chứa bề ngoài mỏ kia cho bé cháu của chúng. Cơ mà hãy nhớ rằng, có mang "phù phù hợp nhất" ở chỗ này phải liên quan đến môi trường. Một nhỏ gấu Bắc rất thích nghi tốt với các chỏm băng sống vùng rất nhưng sẽ tương đối không phù hợp trong những khu rừng nhiệt đới Amazon hay sa mạc Sahara.
Trong sinh học, mỗi bỗng dưng biến biến hóa rất nhỏ tuổi các điểm sáng của sinh vật, vì thế khó hoàn toàn có thể phân biệt vậy hệ này với rứa hệ khác. Tuy nhiên, việc có thể chấp nhận được những bỗng biến và phát triển thành thể này tích lũy qua không ít thế hệ sẽ được cho phép những chuyển đổi có thể nhận ra được. Trong quá trình tiến hóa của mỏ chim, ví dụ, một quần thể ban sơ các loài chim sẽ sở hữu được hình dạng mỏ tương tự nhau. Tuy vậy theo thời gian, các đột biến đột nhiên đã được chuyển vào quần thể. Phần lớn các bỗng biến này hoàn toàn có thể không tác động đến chim hoặc thậm chí là có ảnh hưởng có hại, tuy vậy với một quần thể đủ to và đủ ráng hệ, các đột biến ngẫu nhiên xảy ra tác động có lợi đến dạng hình mỏ. Những bé chim gồm chiếc mỏ tương xứng hơn sẽ bổ ích thế tìm thức ăn uống hơn những bé chim không giống và vì vậy chúng có công dụng di truyền ren cao hơn. Do đó, nạm hệ tiếp theo sẽ sở hữu được tần số tăng lên của ren mỏ có mẫu thiết kế thuận lợi.
Lý thuyết tiến hoá trong kỹ thuật máy tính
Trong học bức tốc sử dụng thuật toán tiến hóa, bọn họ đang lựa chọn các điểm sáng mang lại cho agent của bọn họ phần thưởng cao nhất trong một môi trường nhất định với theo đặc điểm. Các đặc điểm ở đây tức là các thông số mô hình (ví dụ: trọng số của mạng nơ-ron) hoặc toàn bộ kết cấu mô hình. Thể trạng của một agent vào RL có thể được khẳng định bằng quà tặng dự kiến mà agent sẽ nhận ra nếu chuyển động trong môi trường.
Mục tiêu trong học tăng cường tiến hóa hoàn toàn y hệt như trong đào tạo dựa bên trên backpropagation và huấn luyện và giảng dạy dựa trên gradient. Sự biệt lập duy độc nhất vô nhị là bọn họ sử dụng quá trình tiến hóa này, thường xuyên được hotline là thuật toán di truyền, để tối ưu hóa các tham số của một quy mô chẳng hạn như mạng nơ-ron.
Trong phương pháp tiếp cận thuật toán tiến hóa nhằm học tăng cường, các agent tuyên chiến đối đầu trong một môi trường thiên nhiên và những agent cân xứng hơn (tạo ra phần nhiều thưởng hơn) được ưu tiên xào luộc để tạo ra thế hệ tương lai. Sau nhiều lần lặp lại quá trình này, chỉ với lại các agent phù hợp nhất.
Các bước thực hiện của giải mã di truyền vào RF
Chúng ta hãy xem xét quá trình của thuật toán di truyền một cách chi tiết hơn. Mang sử họ có một mạng nơ-ron mà họ muốn thực hiện làm tác nhân để nghịch Gridworld và bọn họ muốn giảng dạy nó bằng phương pháp sử dụng một thuật toán di truyền. Hãy ghi nhớ rằng, đào tạo và huấn luyện mạng nơ-ron chỉ tất cả nghĩa là cập nhật lặp đi lặp lại các tham số của chính nó để công suất của nó được cải thiện. Cũng ghi nhớ lại rằng cùng với một phong cách xây dựng mạng nơ-ron rứa định, những tham số hoàn toàn xác định hành động của nó, vì chưng vậy để xào luộc một mạng nơ-ron, chúng ta chỉ cần xào nấu các tham số của nó.
Sau đó là các tư tưởng để rất có thể huấn luyện được một mạng nơ ron như vậy:
Khởi tạo ra quần thể: tạo ra một tập hợp thuở đầu của những vectơ trọng số ngẫu nhiên. Từng voector này được thay mặt cho một cá thể (agent), tập hợp ban đầu này được gọi là quần thể (population). đưa sử quần thể ban sơ này gồm 100 cá thể.Đưa quần thể vào môi trường: gửi quần thể này vào cùng chơi game Gridworld của họ sau kia tiến hành đánh dấu reward của mỗi cá thể. Mỗi cá thể được chỉ định và hướng dẫn một điểm unique - fitness score dựa vào phần thưởng mà chúng kiếm được. Bởi vì quần thể ban sơ là ngẫu nhiên, tất cả chúng có tác dụng sẽ chuyển động rất kém, cơ mà sẽ có một số trong những ít, chỉ vì chưng ngẫu nhiên, sẽ chuyển động tốt rộng những thành viên khác.Lựa chọn cá thể để lai tạo: thực hiện lấy mẫu bỗng dưng một cặp thành viên (“bố mẹ”) trường đoản cú quần thể, được xem trọng số theo điểm unique tương đối của chúng (những thành viên có rất chất lượng hơn có xác suất được lựa chọn cao hơn) để tạo ra “quần thể tương đương lai tạo”.Lai tạo nên sinh ra quần thể mới: các cá thể trong quần thể sinh sản tiếp đến sẽ “lai tạo” để tạo nên “thế hệ kế cận” sẽ tạo thành một quần thể mới, tương đối đầy đủ gồm 100 cá thể. Nếu những cá thể chỉ dễ dàng là vectơ tham số của số thực, bài toán lai ghép vectơ 1 với vectơ 2 bao gồm việc đem một tập nhỏ từ vectơ 1 và kết hợp nó với 1 tập hòa hợp con bổ sung cập nhật của vectơ 2 để tạo thành một vectơ bé mới có cùng kích thước. Ví dụ, trả sử chúng ta có vectơ 1: <1 2 3> và vectơ 2: <4 5 6>. Vectơ 1 lai ghép với vectơ 2 để tạo nên <1 5 6> cùng <4 2 3>. Shop chúng tôi chỉ đơn giản dễ dàng là bắt cặp ngẫu nhiên các cá thể từ những quần thể tạo ra và tái tổ hợp chúng để tạo thành hai nhỏ mới cho tới khi bọn họ tạo thành một quần thể mới. Điều này tạo thành sự nhiều mẫu mã "di truyền" bắt đầu với phần đa cá thể chuyển động tốt nhất.Đột biến: tiếng đây, họ có một quần thể bắt đầu với các cá thể hàng đầu từ cố gắng hệ trước, cùng với các các cá thể trong rứa hệ mới. Tại thời gian này, họ sẽ lặp lại các phương án của mình và đột biến ngẫu nhiên một số trong những trong số chúng để bảo vệ rằng họ đưa sự phong phú di truyền mới vào hầu như thế hệ để ngăn ngừa sự quy tụ sớm về mức về tối ưu cục bộ. Sự bỗng dưng biến chỉ đơn giản tức là thêm một chút ít nhiễu bỗng nhiên vào các vectơ tham số. Nếu đấy là các vectơ nhị phân, hốt nhiên biến tức là lật bỗng dưng một vài bit; trường hợp không, chúng ta cũng có thể thêm một số nhiễu Gaussian. Phần trăm đột biến rất cần phải khá thấp, giả dụ không bọn họ sẽ có nguy hại phá hỏng các chiến thuật tốt hiện có.Lặp lại quá trình tiến hoá: hiện thời chúng ta tất cả một quần thể mới gồm các cá thể bị đột biến từ ráng hệ trước. Họ lặp lại quá trình này với chiếc quần thể bắt đầu trong N số nạm hệ hoặc cho tới khi bọn họ đạt cho sự quy tụ (đó là lúc điểm chất lượng của quần thể trung bình đã không còn tồn tại sự nâng cấp đáng kể).
** LƯU Ý**: bao gồm nhiều phương pháp khác nhau để chọn “bố mẹ” cho ráng hệ tiếp theo. Một cách đơn giản và dễ dàng là gắn một phần trăm lựa lựa chọn vào từng thành viên dựa trên điểm quality tương đối của bọn chúng và kế tiếp lấy chủng loại từ trưng bày này. Bằng phương pháp này, đầy đủ cá thể phù hợp nhất sẽ được chọn liên tục nhất, nhưng vẫn đang còn một cơ hội bé dại là cho những cá thể hoạt động kém được chọn. Điều này có thể giúp duy trì sự nhiều chủng loại trong quần thể. Một cách khác là chỉ việc xếp hạng toàn bộ các thành viên và đem N thành viên hàng đầu, và sử dụng chúng nhằm lai sinh sản để tạo thành thế hệ tiếp theo. Đối với ngẫu nhiên phương pháp như thế nào thì vấn đề ưu tiên chọn phần lớn cá thể tốt nhất có thể để thực hiện việc lai tạo ra sẽ có kết quả tốt hơn. Tất cả một sự tấn công đổi giữa việc lựa chọn phần đông ứng cử viên cực tốt và giảm sự nhiều chủng loại trong quần thể — điều này rất giống với việc đánh thay đổi giữa exploration với exploitation trong học tập tăng cường.
Bài toán sinh chuối tương đồngMô tả bài xích toán
Chúng ta sẽ tạo nên một tập hợp các chuỗi bỗng nhiên và nỗ lực phát triển bọn chúng thành một chuỗi kim chỉ nam do họ lựa chọn, ví dụ như “Hello World!”. Tập hợp các chuỗi ngẫu nhiên ban đầu của họ sẽ hệt như “g
MIg
Skyb
XZy
P” và “adl
BOMXIr
BH”. Họ sẽ sử dụng một hàm có thể cho bọn họ biết các chuỗi này tương tự ra sao với chuỗi phương châm để hỗ trợ cho bọn họ điểm chất lượng. Sau đó, chúng ta sẽ lấy mẫu các cặp phụ huynh từ quần thể được xem theo fitness score tương đối của chúng, sao cho những cá thể có fitness score cao hơn có khá nhiều khả năng được chọn để trở thành cha mẹ hơn (tức cá thể có fitness score cao sẽ có được tỉ lệ được lựa chọn làm parents lớn hơn các cá thể có fitness score thấp).
Tiếp theo, họ sẽ lai ghép gần như cặp bố mẹ này (còn được hotline là lai hoặc tái tổ hợp) để tạo ra hai chuỗi nhỏ và thêm chúng nó vào thế hệ tiếp theo. Xung quanh ra bạn cũng có thể thực hiện tại đốt biến bằng phương pháp biến đổi những cá thể bé cái bằng cách lật tự dưng một vài cam kết tự trong chuỗi. Họ sẽ lặp lại quá trình này và mong muốn rằng quần thể mới sẽ trở nên nhiều mẫu mã hơn với các chuỗi vô cùng gần với phương châm của bọn chúng ta; hoàn toàn có thể ít tốt nhất một phương châm sẽ đạt được đúng đắn mục tiêu của chúng ta (tại thời điểm đó, bọn họ sẽ dừng thuật toán).
Quá trình tiến hóa này của chuỗi được bộc lộ trong hình dưới đây
Đây chắc hẳn rằng là một lấy ví dụ như ngớ ngẩn, nhưng lại đó là trong số những minh chứng dễ dàng nhất về thuật toán dt và các khái niệm sẽ chuyển trực tiếp sang những nhiệm vụ học bức tốc của chúng ta. Bây giờ chúng ta sẽ tiến hành đi sâu vào code tức thì thôi
Code thôi nào
Định nghĩa target string
Đầu tiên chúng ta tiến hành import những thư viên quan trọng và quan niệm target string. Ở đây chúng ta đang ý muốn muốn các agent vẫn sinh ra các chuối giống như với "Hello World" nhất
import randomfrom matplotlib import pyplot as pltalphabet = "abcdefghijklmnopqrstuvwxyz
ABCDEFGHIJKLMNOPQRSTUVWXYZ,.! "target = "Hello World!"
Định nghĩa agent
Agent của bọn họ rất đối chọi giản. Nó sẽ bao gồm hai thuộc tính là string để cất giá trị của chuỗi nhưng nó đang màn biểu diễn và fitness nhằm mục đích biểu diễn điểm hóa học lượng. Điểm nầy có thể đo bằng khoảng cách edit-distance tự string mà agent đang màn trình diễn đến chuỗi target. Bọn họ sẽ tư tưởng sauclass Individual: def __init__(self, string, fitness=0): self.string = string self.fitness = fitness
Định nghĩa fitness_score
Như đang trình bày tại đoạn trên thì chúng ta cũng có thể thực hiện tại một hàm similar đơn giản dễ dàng giữa nhị string để màn biểu diễn fitness score của agentfrom difflib import Sequence
Matcherdef similar(a, b): return Sequence
Matcher(None, a, b).ratio()
Khởi tạo nên quần thể
Chúng ta rất có thể khởi tạo quần thể bằng phương pháp sinh ra những agent chứa những string ngẫu nhiên. Giả sử quần thể của bọn họ có 100 agentsdef spawn_population(length=26,size=100): pop = <> for i in range(size): string = "".join(random.choices(alphabet,k=length)) individual = Individual(string) pop.append(individual) return pop
Đột biến
Đây là 1 trong bước đã trình bày trong phần lý thuyết. Về cơ phiên bản chúng ta sẽ thay đổi ngẫu nhiên một vài kí tự trong string mà agent đang màn biểu diễn bởi một tỷ lệ nào đó. Giá chỉ sử là 0.01. Tỉ lệ hốt nhiên biến này phải đủ nhỏ tuổi để không bị phá vỡ đặc điểm tiến hoá của quần thể.def mutate(x, mut_rate=0.01): new_x_ = <> for char in x.string: if random.random() mut_rate: new_x_.extend(random.choices(alphabet,k=1)) else: new_x_.append(char) new_x = Individual("".join(new_x_)) return new_x
Tái tổ hợp
Tái tổ hợp là giữa những phép toán quan trọng đặc biệt trong giải thuật di truyền. Nó hỗ trợ cho qúa trình tiến hoá tạo thành được các cá thể mới. Ở đây bọn họ thực hiện việc tái tổ hợp dễ dàng bằng cánh chọn một điểm chia tự nhiên cross_pt sau đó hoán vị nhân tố của nhì vector nguồn vào tại địa chỉ điểm chia để chế tác thành nhị vector mới. Tái tổng hợp là yếu tố chủ đạo trong quy trình lai tạo.def recombine(p1_, p2_): #produces two children from two parents p1 = p1_.string p2 = p2_.string child1 = <> child2 = <> cross_pt = random.randint(0,len(p1)) child1.extend(p1<0:cross_pt>) child1.extend(p2Đánh giá quần thể
Việc đánh giá quần thể góp cho họ biết được giải thuật của họ đang hội tụ như vậy nào. Việc này dễ dàng và đơn giản là rước fitness_score trung bình của các cá thể trong quần thể
def evaluate_population(pop, target): avg_fit = 0 for i in range(len(pop)): fit = similar(pop.string, target) pop.fitness = fit avg_fit += fit avg_fit /= len(pop) return pop, avg_fitTạo vắt hệ tiếp theo
def next_generation(pop, size=100, length=26, mut_rate=0.01): new_pop = <> while len(new_pop) size: parents = random.choices(pop,k=2, weights=
Đây là bước tạo thành thế hệ tiếp sau từ nỗ lực hệ bao gồm sẵn của chúng ta. Chúng ta có một điểm cần chú ý trong việc lựa chọn parents.
parents = random.choices(pop,k=2, weights=
Tiến hành đào tạo và giảng dạy thôi
pop = spawn_population(length=len(target))num_generations = 400population_size = 5000str_len = len(target)mutation_rate = 0.001 # 0.1% mutation rate per characterpop_fit = <>pop = spawn_population(size=population_size, length=str_len) #initial populationfor ren in range(num_generations): # trainning pop, avg_fit = evaluate_population(pop, target) pop_fit.append(avg_fit) #record population average fitness new_pop = next_generation(pop, size=population_size, length=str_len, mut_rate=mutation_rate) pop = new_pop
Tiến hành vẽ biểu đồ gia dụng fitness
Chúng ta hoàn toàn có thể vẽ lại biểu đồ thể hiện sự biến đổi của fitness qua từng nạm hệplt.figure(figsize=(10,5))plt.xlabel("Generations")plt.ylabel("Fitness")plt.plot(pop_fit)
Chúng ta rất có thể thấy càng về các generations cuối thì điểm fitness trung bình các ít đổi khác và tại mức cao. Điều này chúng tỏ quần thể họ đã đựng những cá thể có fitness tốt nhất với target string
Kiểm tra kết quả
chúng ta tiến hành kiếm tra những cá thể có fitness score cao nhất
World!!"Chúng ta thấy rằng từ phần nhiều chuỗi ngâu nhiên thuở đầu nhưng qua quá trình tiến hoá bằng giải thuật di truyền, bản thân quần thể của chúng ta có thể sinh ra được các chuỗi giống như chuỗi target thuở đầu mà không cần thiết phải tối ưu rất nhiều mạng nơ ron phức tạp.Xem thêm: Đề kiểm tra 1 tiết hóa 9 - bộ 30 đề kiểm tra 1 tiết (hóa 9) lần 1
Kết luận
Giải thuật di truyền là một trong những thuật toán có tư tưởng gần cận với qua trình tiến hoá nhất. Chúng ta cũng có thể áp dụng linh hoạt nó trong tương đối nhiều bài toán không giống nhau. Việc áp dụng nó mang đến Reinforcement Learning giúp chúng ta cũng có thể thay thế những mạng nơ ron phức tạp. Xin chào các bạn và hẹn gặp lại giữa những bài tiếp theo sau .