Mạch nơ-ron

Bách khoa toàn thư mở Wikipedia
Bước tới điều hướng Bước tới tìm kiếm
Sơ đồ đơn giản về một mạng neural nhân tạo

Theo nghĩa sinh học, mạng neural (phiên âm tiếng Việt: nơ-ron) là một tập hợp các dây thần kinh kết nối với nhau. Ngày nay, thuật ngữ này còn dùng để chỉ mạng neural nhân tạo, cấu thành từ các neural nhân tạo. Do đó thuật ngữ 'mạng neural' xác định hai khái niệm phân biệt:

  1. Mạng neural sinh học là một mạng lưới (plexus) các neural có kết nối hoặc có liên quan về mặt chức năng trực thuộc hệ thần kinh ngoại biên (peripheral nervous system) hay hệ thần kinh trung ương (central nervous system). Trong ngành thần kinh học (neuroscience), nó thường được dùng để chỉ một nhóm neural thuộc hệ thần kinh là đối tượng của một nghiên cứu khoa học nhất định.
  2. Mạng neural nhân tạo được thiết kế để mô hình một số tính chất của mạng neural sinh học, tuy nhiên, khác với các mô hình nhận thức, phần lớn các ứng dụng lại có bản chất kỹ thuật.

Xin xem các bài tương ứng để có được thông tin chi tiết về mạng neural thần kinh hay mạng neural nhân tạo. Bài này chỉ tập trung vào mối quan hệ giữa hai khái niệm này.

Đặc điểm[sửa | sửa mã nguồn]

Thông thường, một mạng neural bao gồm một hoặc nhiều nhóm các neural được kết nối vật lý với nhau hoặc có liên quan với nhau về chức năng. Một neural đơn có thể được nối với nhiều neural khác và tổng số neural và kết nối trong một mạng có thể là một giá trị cực kỳ lớn. Các kết nối, gọi là các khớp thần kinh (synapses), thường nối từ các axon tới các tế bào tua gai thần kinh (dendrite), tuy có thể có các vi mạch dendrodentritic [Arbib, tr.666] và các kết nối khác. Ngoài tín hiệu điện, còn có các dạng tín hiệu khác phát sinh từ việc khuếch tán các chất dẫn truyền xung động thần kinh (neurotransmitter). Chúng có ảnh hưởng đối với tín hiệu điện. Do vậy, cũng như các mạng sinh học khác, mạng neural vô cùng phức tạp. Trong khi hiện nay, dù chưa đạt được một mô tả chi tiết nào về hệ thần kinh, người ta vẫn ngày càng hiểu rõ hơn về các cơ chế cơ bản.

Trí tuệ nhân tạoMô hình nhận thức (cognitive modelling) cố gắng giả lập một số tính chất của mạng neural. Tuy các kỹ thuật của hai ngành là tương tự, Trí tuệ nhân tạo có mục tiêu giải quyết các bài toán cụ thể, trong khi ngành kia hướng tới việc xây dựng các mô hình toán học của các hệ thần kinh sinh học.

Trong ngành Trí tuệ nhân tạo, mạng neural đã được áp dụng thành công trong các lĩnh vực nhận dạng tiếng nói, xử lý ảnhđiều khiển thích nghi, để xây dựng các agent phần mềm (software agent) (trong trò chơi điện tử và máy tính) hoặc robot tự hành. Hầu hết các mạng neural nhân tạo hiện được dùng cho trí tuệ nhân tạo đều dựa trên lý thuyết điều khiển, tối ưu hóa, và ước lượng thống kê.

Ngành Mô hình nhận thức nghiên cứu mô hình toán học hoặc vật lý của hoạt động của hệ thần kinh; từ mức độ neural (ví dụ, mô hình cung phản xạ thần kinh tủy sống đối với kích thích), tới mức độ đám neural (ví dụ, mô hình sự giải phóng và tác dụng của dopamine trong các hạch thần kinh căn bản), rồi tới mức cơ thể sống hoàn chỉnh (ví dụ, mô hình hành vi phản xạ của cơ thể sống đối với kích thích).

Bộ não, mạng neural và máy tính[sửa | sửa mã nguồn]

Trong lịch sử, bộ não đã từng được xem là một dạng máy tính, và ngược lại. Tuy nhiên, điều này chỉ đúng theo nghĩa rộng nhất. Máy tính không phải là mô hình của bộ não (mặc dù có thể mô tả một quá trình suy luận logic như là một chương trình máy tính, hoặc có thể kích thích não bằng một cái máy tính) do chúng đã không được chế tạo với mục đích này.

Tuy nhiên, từ xưa, các mạng neural dùng trong trí tuệ nhân tạo đã được xem là các mô hình đơn giản của hoạt động thần kinh trong não. Một chủ đề của các nghiên cứu hiện nay trong ngành thần kinh học lý thuyết là câu hỏi: mạng neural cần phức tạp đến đâu và cần có những tính chất gì để có thể tái tạo cái gì đó giống như trí thông minh động vật.

Mạng neural và ngành thần kinh học[sửa | sửa mã nguồn]

Thần kinh học lý thuyết và tính toán quan tâm đến các phân tích lý thuyết và mô hình tính toán của các hệ thần kinh sinh học. Do các hệ thần kinh có liên quan mật thiết tới các quá trình nhận thức và ứng xử, ngành này còn liên quan chặt chẽ tới mô hình hóa hành vi và nhận thức.

Mục tiêu của ngành là xây dựng mô hình của các hệ thần kinh sinh học để tìm hiểu cơ chế hoạt động của các hệ thống sinh học. Để đạt được hiểu biết này, các nhà thần kinh học cố gắng xây dựng một mối liên hệ giữa dữ liệu về các quá trình sinh học quan sát được, các cơ chế sinh học cho xử lý thần kinh với việc học (các mô hình mạng neural sinh học) và lý thuyết (lý thuyết học bằng thống kê và lý thuyết thông tin).

Các loại mô hình[sửa | sửa mã nguồn]

Ngành thần kinh học sử dụng nhiều mô hình tại nhiều mức độ trừu tượng khác nhau và mô hình các khía cạnh khác nhau của các hệ thần kinh. Từ các mô hình hành vi ngắn hạn của từng neural, qua các mô hình phát sinh động lực cho các mạch neural từ tương tác giữa các neural cá thể, tới các mô hình phát sinh ứng xử từ các mô đun thần kinh trừu tượng đại diện cho các hệ thống con hoàn chỉnh. Các mô hình này còn bao gồm các mô hình về plasticity ngắn hạn và dài hạn của các hệ thần kinh và mối liên quan của nó tới việc học và ghi nhớ, từ mức một neural tới mức hệ thống.

Các nghiên cứu hiện nay[sửa | sửa mã nguồn]

Trong khi hầu hết các nghiên cứu ban đầu quan tâm đến các tính chất về điện của các neural, một phần đặc biệt quan trọng trong các nghiên cứu gần đây là sự tìm hiểu vai trò của các neuromodulators chẳng hạn dopamine, acetylcholine, và serotonin đối với hành vi và học tập.

Lịch sử khái niệm mạng neural[sửa | sửa mã nguồn]

Khái niệm mạng neural được bắt đầu vào cuối thập kỷ 1800 khi người ta cố gắng mô tả hoạt động của trí tuệ con người. Ý tưởng này bắt đầu được áp dụng cho các mô hình tính toán từ mạng Perceptron.

Đầu thập kỷ 1950 Friedrich Hayek là người đầu tiên khẳng định ý tưởng về trật tự tự phát trong não xuất phát từ các mạng phân tán gồm các đơn vị đơn giản (neural). Cuối thập kỷ 1940, Donnald Hebb đưa ra giả thuyết đầu tiên về một cơ chế thần kinh mềm dẻo (neural plasticity), Hebbian learning (???). Hebbian learning được coi là một quy tắc 'điển hình' của học không có giám sát. Nó (và các biến thể) là mô hình thời kỳ đầu của long term potentiation (tạo tiềm lực dài hạn).

Perceptron là một bộ phân loại tuyến tính dành cho việc phân loại dữ liệu xác định bằng các tham số và một hàm đầu ra . Các tham số của nó được thích nghi với một quy tắc tùy biến (ad-hoc) tương tự với xuống dốc ngẫu nhiên (stochastic steepest gradient descent). Perceptron chỉ có thể phân loại hoàn hảo một tập dữ liệu mà các lớp khác nhau là phân tách tuyến tính (linearly separable) trong không gian đầu vào. Nó thường thất bại hoàn toàn đối với dữ liệu không chia tách được. Sự phát triển của thuật toán này ban đầu đã tạo ra một số hứng khởi, phần vì mối quan hệ của nó đối với các cơ chế sinh học. Sau này, phát hiện về điểm yếu này đã làm cho các mô hình Perceptron bị bỏ mặc cho đến khi các mô hình phi tuyến được đưa ra.

Cognitron (1975) là một mạng neural đa tầng thời kỳ đầu với một thuật toán huấn luyện. Các chiến lược thần kinh khác nhau sẽ khác nhau về cấu trúc thực sự của mạng và các phương pháp thiết lập trọng số cho các kết nối. Mỗi dạng có các ưu điểm và nhược điểm riêng. Mạng có thể lan truyền thông tin chỉ theo một hướng, hoặc thông tin có thể được đẩy đi đẩy lại cho đến khi tại một nút xuất hiện sự tự kích hoạt và mạng sẽ dừng tại một trạng thái kết thúc. Khả năng truyền dữ liệu hai chiều giữa các neural/nút còn được sử dụng trong mạng Hopfield (1982), và sự chuyên hóa các tầng nút này cho các mục đích cụ thể đã được đưa ra trong mạng neural lai (hybrid neural network) đầu tiên.

Giữa thập kỷ 1980, xử lý phân tán song song (parallel distributed processing) trở nên một chủ đề thu hút được nhiều quan tâm dưới cái tên connectionism.

Mạng truyền ngược (backpropagation) có lẽ đã là nguyên nhân chính của sự tái xuất của mạng neural từ khi công trình "Learning Internal Representations by Error Propagation" (học các biểu diễn bên trong bằng cách lan truyền lỗi) được xuất bản năm 1986. Mạng truyền ngược ban đầu sử dụng nhiều tầng, mỗi tầng gồm các đơn vị tổng-trọng-số có dạng , trong đó là một hàm sigmoid. Huấn luyện được thực hiện theo kiểu xuống dốc ngẫu nhiên. Việc sử dụng quy tắc tính nguyên hàm cho hàm hợp (chain rule) khi tính toán các thay đổi thích hợp cho các tham số dẫn đến một thuật toán có vẻ 'truyền ngược lỗi'. Đó là nguồn gốc của thuật ngữ truyền ngược. Tuy nhiên, về bản chất, đây chỉ là một dạng xuống dốc. Việc xác định các tham số tối ưu cho một mô hình thuộc dạng này không đơn giản, không thể dựa vào các phương pháp xuống dốc để có được lời giải tốt mà không cần một xuất phát điểm tốt. Ngày nay, các mạng có cùng kiến trúc với mạng truyền ngược được gọi là các mạng Perceptron đa tầng. Thuật ngữ này không hàm ý bất cứ giới hạn nào đối với loại thuật toán dùng cho việc học.

Mạng truyền ngược đã tạo ra nhiều hứng khởi và đã có nhiều tranh cãi về chuyện quy trình học đó có thể được thực hiện trong bộ não hay không. Một phần vì khi đó chưa tìm ra cơ chế truyền tín hiệu ngược. Nhưng lý do quan trọng nhất là chưa có một nguồn tín hiệu 'dạy' hay tín hiệu 'đích' đáng tin cậy.

Ngày nay, các nhà thần kinh học đã thành công trong việc tìm ra mối liên hệ giữa học tăng cường và hệ thống hưởng thưởng dopamine (dopamine system of reward). Tuy nhiên, vai trò của nó và các neuromodulator khác vẫn đang được nghiên cứu.

Xem thêm[sửa | sửa mã nguồn]

Tham khảo[sửa | sửa mã nguồn]

  • Agre, Philip E. (1997). Learning in Doing: Social, Cognitive and Computational Perspectives. Comparative Cognitive Robotics. Nhà xuất bản Đại học Cambridge. tr. 80. ISBN 0-521-38603-9. 
  • Arbib, Michael A. biên tập (1995). The Handbook of Brain Theory and Neural Networks. 
  • Alspector, Bằng sáng chế Hoa Kỳ số 4.874.963 "Neuromorphic learning networks". 17 tháng 10 năm 1989.
  • Bertsekas, Dimitri P. (1999). Nonlinear Programming. 
  • Bertsekas, Dimitri P.; Tsitsiklis, John N. (1996). Neuro-dynamic Programming. 
  • Boyd, Stephen; Vandenberghe, Lieven (2004). Convex Optimization. 
  • Fukushima Kunihiko (1975). “Cognitron: A Self-Organizing Multilayered Neural Network”. Biological Cybernetics 20: 121–136. 
  • Gardner, E.J.; Derrida, B. (1988). “Optimal storage properties of neural network models”. Journal of Physics A 21: 271–284. 
  • Krauth, W.; Mezard, M. (1989). “Storage capacity of memory with binary couplings”. Journal de Physique 50: 3057–3066. 
  • Maass, W.; Markram, H. (2002). “On the computational power of recurrent circuits of spiking neurons”. Journal of Computer and System Sciences. 69(4): 593–616. 
  • MacKay, David (2003). Information Theory, Inference, and Learning Algorithms. 
  • Mandic, D.; Chambers, J. (2001). Recurrent Neural Networks for Prediction: Architectures, Learning algorithms and Stability. Wiley. 
  • Minsky, M.; Papert, S. (1969). An Introduction to Computational Geometry. Nhà xuất bản MIT. 
  • Muller, P.; Insua, D.R. (1995). “Issues in Bayesian Analysis of Neural Network Models”. Neural Computation 10: 571–592. 
  • Reilly, D.L.; Cooper, L.N.; Elbaum, C. (1982). “A Neural Model for Category Learning”. Biological Cybernetics 45: 35–41. 
  • Rosenblatt, F. (1962). Principles of Neurodynamics. Spartan Books. 
  • Sutton, Richard S.; Barto, Andrew G. (1998). Reinforcement Learning: An introduction. 
  • Wilkes, A.L.; Wade, N.J. (1997). “Bain on Neural Networks”. Brain and Cognition 33: 295–305. 
  • Wasserman, P.D. (1989). Neural computing theory and practice. Van Nostrand Reinhold. 

Liên kết ngoài[sửa | sửa mã nguồn]