Deep Neural Network Là Gì

  -  

Bài trước học tập về thuật tân oán logistic regression với mức giá trị Áp sạc ra là nhị phân. Tuy nhiên, logistic regression là 1 trong những quy mô neural network đơn giản dễ dàng, bài bác này vẫn học mô hình neural network đầy đủ.

Bạn đang xem: Deep neural network là gì

Quý Khách bắt buộc kết thúc 2 bài bác trước linear regression cùng logistic regression trước khi vào bài xích này. Trong bài này có tương đối nhiều kí hiệu và cách làm, cần chúng ta nên sẵn sàng giấy cây bút nhằm bước đầu.


Neural network là gì

Con chó có thể biệt lập được người thân trong mái ấm gia đình và bạn lạ hay đứa tphải chăng rất có thể rõ ràng được những loài vật. Những Việc tưởng chừng như khôn cùng đơn giản và dễ dàng nhưng lại lại cực kỳ khó khăn để tiến hành bằng máy vi tính. Vậy sự biệt lập nằm tại đâu? Câu vấn đáp nằm ở vị trí bộ não với lượng bự các nơ-ron thần khiếp liên kết cùng nhau. Thế thì máy vi tính gồm bắt buộc tế bào bỏng lại quy mô ấy để giải những bài toán thù trên ???

Neural là tính trường đoản cú của neuron (nơ-ron), network chỉ kết cấu đồ gia dụng thị nên neural network (NN) là 1 trong những hệ thống tính toán lấy cảm hứng trường đoản cú sự hoạt động của các nơ-ron trong hệ thần khiếp.

Hoạt hễ của những nơ-ron


*

Để biểu diễn gọn gàng lại ta đã gộp nhì bước bên trên thành một bên trên biểu đồ


*
Mô hình neural network

Layer đầu tiên là đầu vào layer, các layer trọng tâm được Hotline là hidden layer, layer ở đầu cuối được Gọi là output layer. Các hình tròn được Điện thoại tư vấn là node.

Mỗi mô hình luôn luôn có một đầu vào layer, 1 output layer, có thể có hoặc không các hidden layer. Tổng số layer trong quy mô được quy ước là số layer – 1 (Không tính input đầu vào layer).

Ví dụ như sống hình trên có một đầu vào layer, 2 hidden layer cùng 1 output layer. Số lượng layer của quy mô là 3 layer.

Mỗi node trong hidden layer cùng output layer :

Liên kết với tất cả những node sinh hoạt layer trước đó cùng với những thông số w riêng.Mỗi node có một hệ số bias b riêng rẽ.Diễn ra 2 bước: tính tổng linear và áp dụng activation function.

Kí hiệu

Số node vào hidden layer thiết bị i là l^(i).

Ma trận W^(k) kích thước l^(k-1) * l^(k) là ma trận hệ số thân layer (k-1) cùng layer k, trong số đó w_ij^(k) là hệ số kết nối từ node đồ vật i của layer k-1 cho node trang bị j của layer k.

Vector b^(k) form size l^k * 1 là hệ số bias của các node vào layer k, trong các số ấy b_i^(k) là bias của node sản phẩm công nghệ i vào layer k.

Với node đồ vật i trong layer l bao gồm bias b_i^(l)tiến hành 2 bước:

Tính tổng linear: z_i^(l) = sum_j=1^l^(l-1) a_j^(l-1) * w_ji^(l) + b_i^(l) , là tổng tất cả những node vào layer trước nhân cùng với hệ số w tương xứng, rồi cộng với bias b.Áp dụng activation function: a_i^(l) = sigma(z_i^(l))

Vector z^(k) form size l^(k) * một là cực hiếm các node vào layer k sau bdự trù tổng linear.

Vector a^(k) kích cỡ l^(k) * 1 là quý giá của các node vào layer k sau khoản thời gian vận dụng hàm activation function.


*

Tương trường đoản cú ta có:

z^(2) = (W^(2))^T * a^(1) + b^(2) ewline a^(2) = sigma(z^(2)) ewline z^(3) = (W^(3))^T * a^(2) + b^(3) ewline haty = a^(3) = sigma(z^(3))
*

Do đó


*

Vậy là có thể tính được giá trị dự đoán thù của khá nhiều dữ liệu 1 lúc dưới dạng ma trận.

Xem thêm: Tạo Ví Bitcoin Coinbase - Cách Tạo Ví Bitcoin, Ethereum Trên Coinbase

Giờ từ input X ta có thể tính giá tốt trị dự đân oán hatY, tuy nhiên câu hỏi bao gồm phải làm là đi tìm hệ số W và b. cũng có thể suy nghĩ ngay lập tức tới thuật tân oán gradient descent và Việc quan trọng độc nhất vô nhị trong thuật toán thù gradient descent là đi tìm kiếm đạo hàm của những hệ số so với loss function. Và bài toán tính đạo hàm của những hệ số vào neural network được thực hiện bởi thuật toán thù backpropagation, sẽ tiến hành giới thiệu làm việc bài bác sau. Và vày bài này còn có vô số cách làm hại hầu hết tín đồ rối yêu cầu code sẽ tiến hành đặt ở bài xích sau.

Logistic regression với toán thù tử XOR

Phần này không bắt buộc, nó giúp giải thích vấn đề có nhiều layer hơn vậy thì quy mô dường như sẽ xử lý được các bài bác toán thù tinh vi hơn. Cụ thể là mô hình logistic regresion bài xích trước không màn trình diễn được toán thù tử XOR nhưng mà giả dụ thêm một hidden layer cùng với 2 node trung tâm input layer với output layer thì rất có thể màn trình diễn được tân oán tử XOR.

AND, OR, XOR là các phnghiền toán thực hiện phnghiền tính trên bit. Thế bit là gì? chúng ta ko bắt buộc quyên tâm, chỉ cần phải biết mỗi bit dấn một trong những 2 quý hiếm là 0 hoặc 1.

NOT

Phxay tính NOT của 1 bit đã cho ra quý hiếm ngược trở lại.

ANOT(A)
10
01

AND

Phxay tính AND của 2 bit cho quý giá 1 ví như cả hai bit bằng 1 và đến cực hiếm bằng 0 trong các trường hợp sót lại. Bảng chân lý

ABA AND B
000
010
100
111

Giờ ao ước máy vi tính học tập tân oán tử AND, ta thấy là tác dụng là 0 và 1, cần nghĩ tức thì đến logistic regression cùng với dữ liệu

x_1x_2y
000
010
100
111

*
Hình 1: x_1 AND x_2
*
Hình 2: NOT (x_1 AND x_2)

OR

Phép tính OR của 2 bit đến cực hiếm 1 nếu 1 trong những 2 bit bằng 1 và mang đến cực hiếm bằng 0 trong số trường thích hợp sót lại. Bảng chân lý

ABA OR B
000
011
101
111

Tương tự ta cũng kiếm được w_0 = -0.5, w_1 = 1, w_2 = 1


*
Mô hình XOR

Nhìn có vẻ rối rò rỉ, cùng đối chiếu nhé:

node NOT(x_1 AND x_2) chính là từ hình 2, với 3 mũi tên chỉ đến từ là 1, x_1, x_2 với thông số w_0, w_1, w_2 tương ứng là 1 trong những.5, -1, -1.node tính x_1 OR x_2 là từ hình 3 node vào output layer là phép tính AND từ 2 node của layer trước, cực hiếm hệ số từ bỏ hình 1 mang xuống.

Xem thêm: Mne Là Gì ? Các Công Ty Mnc Tại Việt Nam Ý Nghĩa Của Từ Mnes

Nhận xét: mô hình logistic regression ko giải quyết được bài xích tân oán XOR tuy vậy mô mình mới thì xử lý được bài toán XOR. Đâu là việc không giống nhau:

Logistic regression chỉ tất cả trường đoản cú input đầu vào layer cùng output layerMô hình bắt đầu có 1 hidden layer có 2 node trọng điểm input đầu vào layer và output layer

=> Có vẻ càng những layer và node thì càng giải quyết và xử lý được các bài xích toán phức tạp rộng.