Mạng thần kinh hồi quy

Bách khoa toàn thư mở Wikipedia
Bước tới điều hướng Bước tới tìm kiếm

Mạng thần kinh hồi quy (hay còn gọi là mạng thần kinh/nơ-ron tái phát, mạng thần kinh tái phát, tiếng Anh: recurrent neural network, viết tắt RNN) là một lớp của mạng thần kinh nhân tạo, nơi kết nối giữa các nút để tạo thành đồ thị có hướng dọc theo một trình tự thời gian. Điều này cho phép mạng thể hiện hành vi động tạm thời. Có nguồn gốc từ mạng thần kinh truyền thẳng, RNN có thể dùng trạng thái trong (bộ nhớ) để xử lý các chuỗi đầu vào có độ dài thay đổi.[1][2][3] Điều này làm cho RNN có thể áp dụng cho các tác vụ như nhận dạng chữ viết tay (handwriting recognition)[4] hay nhận dạng tiếng nói có tính chất kết nối, không phân đoạn.[5][6]

Thông thường, người ta sử dụng thuật ngữ "mạng thần kinh hồi quy" không có tính hệ thống (có phần bừa bãi) nhằm để chỉ hai lớp mạng rộng với một cấu trúc chung giống nhau, cái đầu tiên là lớp mạng đáp ứng xung hữu hạn (finite impulse response) và cái thứ hai là lớp mạng đáp ứng xung vô hạn (infinite impulse response). Cả hai lớp mạng đều thể hiện hệ thống động lực theo thời gian.[7] Mạng hồi quy xung hữu hạn là một đồ thị xoay chiều có hướng (directed acyclic graph) có thể bị mở ra và thay thế bằng một mạng thần kinh truyền thẳng chặt chẽ hơn, trong khi mạng hồi quy xung vô hạn là một đồ thị có hướng mà không thể mở ra (unrolled).

Cả hai mạng hồi quy xung hữu hạn và vô hạn có thể chứa các trạng thái lưu trữ bổ sung, và bộ nhớ có thể được kiểm soát trực tiếp bởi mạng thần kinh. Bộ nhớ cũng có thể được thay thế bằng một mạng hoặc đồ thị khác, nếu kết hợp với thời gian trễ hoặc có vòng lặp phản hồi. Các trạng thái được kiểm soát như vậy được gọi là trạng thái cổng (gated state) hoặc bộ nhớ cổng (gated memory) và là một phần của mạng bộ nhớ dài-ngắn hạn (LSTM) và bộ nhớ định kỳ được kiểm soát. Đây còn được gọi là "mạng thần kinh phản hồi" (Feedback Neural Network, FNN).

Tham khảo[sửa | sửa mã nguồn]

  1. ^ Dupond, Samuel (2019). “A thorough review on the current advance of neural network structures.”. Annual Reviews in Control 14: 200–230. 
  2. ^ Abiodun, Oludare Isaac; Jantan, Aman; Omolara, Abiodun Esther; Dada, Kemi Victoria; Mohamed, Nachaat Abdelatif; Arshad, Humaira (ngày 1 tháng 11 năm 2018). “State-of-the-art in artificial neural network applications: A survey”. Heliyon (bằng tiếng Anh) 4 (11): e00938. ISSN 2405-8440. PMID 30519653. doi:10.1016/j.heliyon.2018.e00938.  Đã bỏ qua tham số không rõ |doi-access= (trợ giúp)
  3. ^ Tealab, Ahmed (ngày 1 tháng 12 năm 2018). “Time series forecasting using artificial neural networks methodologies: A systematic review”. Future Computing and Informatics Journal (bằng tiếng Anh) 3 (2): 334–340. ISSN 2314-7288. doi:10.1016/j.fcij.2018.10.003.  Đã bỏ qua tham số không rõ |doi-access= (trợ giúp)
  4. ^ Graves, Alex; Liwicki, Marcus; Fernandez, Santiago; Bertolami, Roman; Bunke, Horst; Schmidhuber, Jürgen (2009). “A Novel Connectionist System for Improved Unconstrained Handwriting Recognition” (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence 31 (5): 855–868. doi:10.1109/tpami.2008.137. 
  5. ^ Sak, Haşim; Senior, Andrew; Beaufays, Françoise (2014). “Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling” (PDF). 
  6. ^ Li, Xiangang; Wu, Xihong (ngày 15 tháng 10 năm 2014). "Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition". arΧiv:1410.4281 [cs.CL]. 
  7. ^ Miljanovic, Milos (Feb-Mar 2012). “Comparative analysis of Recurrent and Finite Impulse Response Neural Networks in Time Series Prediction” (PDF). Indian Journal of Computer and Engineering 3 (1).  Kiểm tra giá trị ngày tháng trong: |date= (trợ giúp)

Đọc thêm[sửa | sửa mã nguồn]

  • Mandic, Danilo P.; Chambers, Jonathon A. (2001). Recurrent Neural Networks for Prediction: Learning Algorithms, Architectures and Stability. Wiley. ISBN 978-0-471-49517-8.  Đã bỏ qua tham số không rõ |name-list-style= (trợ giúp)

Liên kết ngoài[sửa | sửa mã nguồn]