Bước tới nội dung

Alexey Ivakhnenko

Bách khoa toàn thư mở Wikipedia
Alexey Ivakhnenko
SinhOleksiy Hryhorovych Ivakhnenko
(1913-03-30)30 tháng 3, 1913
Kobelyaky, Poltava, Đế quốc Nga
Mất16 tháng 10, 2007(2007-10-16) (94 tuổi)
Kyiv, Ukraine
Quốc tịchUkrainian
Trường lớpViện Kỹ thuật điện Leningrad (M.Sc)
Nổi tiếng vìPhương pháp nhóm trong xử lý dữ liệu,
Deep learning,
Mô hình hóa quy nạp
Giải thưởngNhà Khoa học danh dự của Liên bang Xô viết
Hai Giải thưởng Nhà nước
Sự nghiệp khoa học
NgànhTrí tuệ nhân tạo,
Machine learning,
Khoa học máy tính
Nơi công tácViện Điều khiển học Glushkov (uk),
Viện Kỹ thuật Điện Saint Petersburg,
Viện Bách khoa Kyiv (D.Sc)
Luận ánLý thuyết về Hệ thống kết hợp cho Điều khiển tự động các động cơ điện (1954)
Các sinh viên nổi tiếngV. M. Kuntsevich, V. I. Kostiuk
V. I. Ivanenko, V. I. Vasylyev
O. A. Pavlov

Alexey Ivakhnenko (tiếng Ukraina: Олексíй Григо́рович Іва́хненко </link> ; sinh ngày 30 tháng 3 năm 1913 – mất ngày 16 tháng 10 năm 2007) là một nhà toán học Liên Xô và Ukraine. Ông được biết đến với việc phát triển "phương pháp nhóm trong xử lý dữ liệu" - là một phương pháp học thống kê quy nạp mà đôi khi được bản thân ông gọi là "Cha đẻ của học sâu".[1]

Thời thơ ấu

[sửa | sửa mã nguồn]

Aleksey sinh ra tại Kobeliaky, tỉnh Poltava trong một gia đình nhà giáo.[2] Ông tốt nghiệp trường Cao đẳng Kỹ thuật Điện ở Kyiv năm 1932 và theo nghề kỹ sư tham gia xây dựng một nhà máy điện quy mô lớn ở Berezniki trong hai năm. Vào năm 1938, sau khi tốt nghiệp Học viện Kỹ thuật Điện Leningrad, Ivakhnenko đến công tác tại Viện Kỹ thuật Điện Liên bang ở Moskva trong giai đoạn Đệ nhị thế chiến. Tại đây ông tiến hành nghiên cứu các bài toán tự động hóa tại cơ sở thí nghiệm do nhà khoa học Liên Xô Sergey Lebedev đứng đầu.

Sau khi trở về Kyiv vào năm 1944, ông tiếp tục công việc của mình tại các viện nghiên cứu khác nhau. Trong cùng năm, ông nhận bằng Tiến sĩ và sau đó, năm 1954 nhận bằng Tiến sĩ Khoa học. Năm 1964, ông được bổ nhiệm làm Trưởng khoa Hệ thống điều khiển phức hợp tại Viện Điều khiển học và đồng thời tham gia giảng dạy. Từ năm 1961, ông đảm nhận vai trò Giáo sư Điều khiển Tự động và Điều khiển học Kỹ thuật tại Viện Bách khoa Kyiv.

Các nghiên cứu

[sửa | sửa mã nguồn]

Ivakhnenko còn được biết đến với vai trò cha đẻ của mô hình cảm ứng, một phương pháp tiếp cận khoa học được sử dụng cho kỹ thuật nhận dạng mẫu và hệ thống dự báo phức hợp.[3] Ông đã theo đuổi cách tiếp cận này trong quá trình phát triển phương pháp nhóm trong xử lý dữ liệu (group method of data handling - GMDH) trong một đội ngũ gồm một số nhà toán học và kỹ sư do ông dẫn dắt tại Viện Điền khiển học. Năm 1968, tạp chí "Avtomatika" đã xuất bản bài báo "Group Method of Data Handling – a rival of the method of stochastic approximation" (Tạm dịch: Phương pháp nhóm trong xử lý dữ liệu - đối thủ của phương pháp xấp xỉ ngẫu nhiên),[4] đánh dấu mốc khởi đầu của một giai đoạn mới trong hành trình nghiên cứu của Alexey.

Phương pháp nhóm trong xử lý dữ liệu

[sửa | sửa mã nguồn]

Phương pháp này biểu diễn một cách tiếp cận độc đáo trong việc giải các bài toán thuộc lĩnh vực trí tuệ nhân tạo và thậm chí đôi khi được xem như một triết lý mới ứng dụng trong nghiên cứu khoa học, điều đã trở nên khả thi nhờ sự xuất hiện của máy tính hiện đại.[5] Một nhà nghiên cứu có thể không cần phải tuân thủ chính xác cách suy diễn truyền thống trong việc xây dựng các mô hình "từ lý thuyết tổng quát – đến một mô hình cụ thể" theo đúng quy trình: từ quan sát một đối tượng đến nghiên cứu cấu trúc, tìm hiểu nguyên lý hoạt động của nó, từ đó phát triển lý thuyết và thử nghiệm mô hình của đối tượng. Thay vào đó, cách tiếp cận mới được đề xuất "từ dữ liệu cụ thể – đến mô hình tổng quát": sau khi thu thập và nhập đầy đủ dữ liệu, nhà nghiên cứu có thể chọn một lớp mô hình, phiên bản hay biến thể của mô hình đó và đặt tiêu chí để lựa chọn mô hình. Với hầu hết các công việc được thực hiện thủ công thường ngày được chuyển hết sang máy tính nên tác động của thao tác con người lên kết quả sẽ được giảm thiểu. Thực tế, phương pháp này có thể được xem là một trong những cách thức triển khai của đề tài trí tuệ nhân tạo, xem máy tính như là một cố vấn mạnh mẽ cho con người.

Sự phát triển của phương pháp nhóm bao gồm sự tổng hợp ý tưởng từ nhiều lĩnh vực khoa học khác nhau: khái niệm "hộp đen" trong điều khiển học, nguyên lý lựa chọn di truyền liên tiếp của các đặc trưng theo cặp, các định lý bất toàn của Godel và nguyên tắc "tự do lựa chọn quyết định" của Gabor,[6] sự không chính xác của Adhémar và nguyên lý bổ sung ngoại vi của Beer.[7]

Phương pháp nhóm trong xử lý dữ liệu là phương pháp ban đầu được dùng để giải các bài toán đi tìm cấu trúc và tham số cho các mô hình học trên dữ liệu thử nghiệm trong điều kiện "không chắc chắn".[8] Các bài toán dạng này thường nảy sinh khi con người xây dựng một mô hình toán học tìm cách xấp xỉ các mẫu chưa được mô hình tiếp xúc thuộc về đối tượng hoặc một quy trình đang được nghiên cứu.[9] Các mô hình này tìm cách tận dụng các thông tin tồn tại ngầm định trong dữ liệu. Phương pháp này khác với các phương pháp khác ở việc tích cực áp dụng các nguyên tắc: tự động hóa việc xây dựng mô hình, các quyết định không mang tính kết luận, lựa chọn nhất quán tuân theo các tiêu chuẩn được quy định trước để tìm ra các mô hình tối ưu. Phương pháp thực hiện một quy trình đa lớp có chức năng khởi tạo tự động các cấu trúc mô hình, mỗi cấu trúc này là một cá thể, mô phỏng theo quy trình tiến hóa và chọn lọc tự nhiên kết hợp với việc chọn lọc đặc trưng tốt thông qua so sánh theo cặp, phương pháp sẽ sinh ra từng mô hình ứng với mỗi bộ đặc trưng được lựa chọn, tiến hành tối ưu hóa và so sánh hiệu quả. Quy trình này hiện vẫn được sử dụng trong các mạng học sâu.[10] Để có thể so sánh và chọn ra được các mô hình tối ưu, chúng ta đánh giá hiệu năng của các mô hình cá thể trên hai hoặc nhiều tập con được trích ra từ bộ dữ liệu. Điều này giúp tránh các giả định ban đầu có thể không chính xác. Việc phân chia bộ dữ liệu ban đầu thành nhiều mẫu kiểm thử đã ngầm tạo ra các tình huống "không chắc chắn" khác nhau trong quá trình xây dựng tự động mô hình tối ưu.

Vào đầu những năm 1980, Ivakhnenko phát hiện ra sự tương đồng một cách tự nhiên giữa hai bài toán: bài toán xây dựng mô hình cho dữ liệu nhiễu và bài toán truyền tín hiệu đi qua kênh có nhiễu.[11] Khám phá này đã đặt nền móng cho lý thuyết về mô hình không ảnh hưởng bởi nhiễu.[12] Kết quả chính của lý thuyết cho rằng độ phức tạp của mô hình tối ưu phụ thuộc vào mức độ không chắc chắn của dữ liệu huấn luyện: mức độ này càng cao (có nhiều nhiễu) - thì mô hình tối ưu phải càng đơn giản (với ít tham số ước tính hơn nhằm đảm bảo tính tổng quát). Điều này đã đánh dấu sự khởi đầu cho việc phát triển lý thuyết nhóm như một phương pháp quy nạp tự động nhằm đáp ứng độ phức tạp của mô hình với mức độ thông tin trong tập dữ liệu mờ. Từ đây, phương pháp nhóm được xem như một kỹ thuật ban đầu để trích xuất thông tin từ dữ liệu thực nghiệm.

Kết quả

[sửa | sửa mã nguồn]

Cùng với phương pháp nhóm trong xử lý dữ liệu, Ivakhnenko cũng đã thực hiện rất nhiều nghiên cứu khác và đạt được những kết quả sau:

  • Principle of construction of self-organizing deep learning networks (Nguyên lý xây dựng mạng học sâu tự tổ chức).[13]
  • Theory of models self-organization according to experimental data (Lý thuyết về mô hình tự tổ chức dựa trên dữ liệu thực nghiệm).[14]
  • Method of control with forecast optimization (Phương pháp điều khiển với tối ưu hóa dự báo).[15]
  • New principles of automatic control of speed for AC and asynchronous electric motors (Nguyên lý mới về tự động điều khiển tốc độ cho động cơ điện xoay chiều không đồng bộ).[16]
  • (Lý thuyết về các hệ thống bất biến để điều khiển thích ứng có bù các nhiễu đo được).[17] Ông đã phát triển nguyên tắc đo nhiễu gián tiếp, được gọi là "ngã ba vi sai" được sử dụng sau này trong thực tế.
  • Principle of combined control (Nguyên lý điều khiển kết hợp (với phản hồi tiêu cực cho cách thức kiểm soát các biến và phản hồi tích cực cho các thức kiểm soát nhiễu)).[18] Một số hệ thống kiểu này để điều khiển tốc độ tự động cho động cơ điện đã được triển khai trong thực tế. Điều này chứng tỏ tính khả thi của những điều kiện bất biến trong hệ thống điều khiển kết hợp, một hệ thống đã kết hợp được ưu điểm của kiểu hệ thống khép kín để điều khiển theo độ lệch (độ chính xác cao) và kiểu hệ thống mở (đảm bảo hiệu suất).
  • The non-searching extreme regulators on the basis of situations recognition ("Các bộ điều chỉnh cực đại không tìm kiếm" dựa trên cơ sở nhận biết tình huống).[19]
  • Principle of self-learning pattern recognition (Nguyên lý nhận dạng mẫu tự học). Được minh họa lần đầu trong hệ thống nhận thức mang tên "Alpha",[9] được xây dựng dưới sự dẫn dắt của Ivakhnenko.
  • Basis for the construction of cybernetic prediction devices (Cơ sở để xây dựng các thiết bị dự báo điều khiển học).[20]
  • Noise-immune principles of robust modelling for data with noises. (Nguyên lý miễn nhiễm với nhiễu cho phương pháp mô hình hóa mạnh mẽ cho dữ liệu có nhiễu).[21]
  • Design of multilayered neural networks with active neurons, where each neuron is an algorithm (Thiết kế mạng nơ-ron đa lớp với mỗi nơ-ron là một thuật toán).

Ivakhnenko cũng được biết đến với những khám phá trong lý thuyết bất biến và lý thuyết về hệ thống điều khiển tự động kết hợp, hoạt động trên nguyên lý bù đắp các dạng nhiễu đo được. Ông đã xây dựng các thiết bị và phương pháp điều khiển thích ứng các hệ thống có bộ khuếch đại từ tính và động cơ.

Ông là tác giả của chuyên khảo đầu tiên của Liên Xô về điều khiển học kỹ thuật [19] được xuất bản trên toàn thế giới bằng bảy thứ tiếng.[22] Trong nghiên cứu của ông, sự phát triển cao hơn của các cho các lý thuyết điều khiển kết hợp gắn liền với việc thực nghiệm các phương pháp tự tổ chức tiến hóa, nhận dạng và dự báo trong các hệ thống điều khiển.

Trong những năm gần đây, phương pháp nhóm trong xử lý dữ liệu đã được phát triển thành một phương pháp mô hình hóa quy nạp, thực hiện các quy trình phức tạp và dự báo hệ thống. Các ý tưởng của ông hiện được tận dụng trong các mô hình mạng học sâu.[23] Hiệu quả của phương pháp đã nhiều lần được chứng minh trong các bài toán thực tế phức tạp về sinh thái, khí tượng, kinh tế và công nghệ, làm gia tăng sự phổ biến của phương pháp này trong cộng đồng khoa học quốc tế.[24] Song song với đó, các thuật toán tiến hóa tự tổ chức trong bài toán phân cụm nhận dạng mẫu được ra đời.[25] Những tiến bộ trong việc trừ tượng và mô hình hóa các quy trình của môi trường và kinh tế được đề cập trong các chuyên khảo và đầu sách tương ứng,[26][27][28][29]. Khảo sát các thuật toán sử dụng phương pháp nhóm đa lớp hồi tiếp trong xử lý dữ liệu cũng được mô tả trong các xuất bản của ông.[30][31]

Trường khoa học

[sửa | sửa mã nguồn]

Từ năm 1963 đến năm 1989, Ivakhnenko giữ vai trò biên tập tại tạp chí khoa học chuyên ngành "Avtomatika" (sau đổi tên thành "Các bài toán trong quản lý và khoa học máy tính"), tạp chí này đã đóng một vai trò quan trọng trong sự hình thành và phát triển của trường về Mô hình quy nạp Ukraine. Trong suốt khoảng thời gian này tạp chí đã được biên dịch và tái bản tại Hoa Kỳ với tên gọi "Điều khiển tự động Liên Xô" (sau đổi tên thành "Tạp chí Khoa học Tự động hóa và Thông tin").

Bên cạnh sự đổi mới liên tục trong lĩnh vực của mình kể từ năm 1945, Ivakhnenko vẫn tích cực duy trì sự nghiệp giảng dạy, ban đầu với vai trò Trợ lý Giáo sư tại Khoa Cơ học Lý thuyết và sau đó là khoa Hệ thống Điều khiển. Từ năm 1960, với tư cách là Giáo sư Khoa Điều khiển Kỹ thuật tại Học viện Bách khoa Kyiv, ông đã đóng góp các bài giảng của mình cho trường và hội sinh viên, cũng như giám sát công trình của nhiều nghiên cứu sinh. Năm 1958-1964, ông là người tổ chức "Hội nghị về tính bất biến" toàn liên bang tại Kiev, nơi sự phát triển của lý thuyết hệ thống điều khiển bất biến được khôi phục sau khi lệnh cấm bị dỡ bỏ.[32]

Lòng nhiệt huyết không ngừng nghỉ của ông đã giúp hơn 220 nhà khoa học trẻ chuẩn bị và bảo vệ thành công luận án tiến sĩ. Dưới sự hướng dẫn của ông tại Viện Bách khoa Kyiv và Viện Điều khiển học, gần 30 sinh viên của ông đã bảo vệ thành công luận án sau tiến sĩ của mình. Trường khoa học Ivakhnenko đã và đang là cái nôi của các nhà khoa học trình độ cao. Các học trò của ông có thể kể đến như V.M.Kuntsevych, V.I.Kostyuk, V.I.Ivanenko, V.I.Vasiliev, A.A.Pavlov và một số nhân tố xuất sắc khác sau này đã thành lập các trường khoa học của riêng mình. Ivakhnenko là tấm gương sáng cho giới học thuật với trực giác khoa học mạnh mẽ và có tính tiên phong. Cho đến những ngày cuối đời, ông vẫn tiếp tục làm việc và tích cực đề xuất thêm nhiều ý tưởng và kết quả khoa học.

Giải thưởng và danh hiệu

[sửa | sửa mã nguồn]

Ivakhnenko là Nhà khoa học danh dự của Liên Xô (1972), hai lần đoạt Giải thưởng Nhà nước (1991, 1997) cho các công trình về lý thuyết hệ thống tự động bất biến và bộ ấn phẩm trong lĩnh vực Trí tuệ nhân tạo. Ông là tác giả của 40 đầu sách và hơn 500 bài báo khoa học. Ông là tiến sĩ danh dự của Đại học Kỹ thuật Quốc gia "KPI" (2003) và Đại học Bách khoa Lviv (2005). Ông cũng là ủy viên tại Viện Hàn lâm Khoa học Liên Xô (1961) và Viện sĩ tại Viện Hàn lâm Khoa học Quốc gia Ukraine (2003).

Những công trình được chọn lọc

[sửa | sửa mã nguồn]

Nguồn tham khảo

[sửa | sửa mã nguồn]
  1. ^ Schmidhuber, Jurgen. “Critique of Paper by "Deep Learning Conspiracy". (Nature 521 p 436)” (bằng tiếng Anh). Truy cập ngày 26 tháng 12 năm 2019.
  2. ^ Бобрищев, К.В. (2002). Отчий Край (bằng tiếng Ukraina). Полтава: Дивосвіт. tr. 284–293. ISBN 978-966-95846-9-4.
  3. ^ Madala, H.R.; Ivakhnenko, A.G. (1994). Inductive Learning Algorithms for Complex Systems Modeling (PDF). Boca Raton: CRC Press. ISBN 978-0849344381.
  4. ^ Ivakhnenko, A.G. (1968). “The Group Method of Data Handling - a Rival of the Method of Stochastic Approximation”. Soviet Automatic Control. 13 (3): 43–55.
  5. ^ Madala, H.R.; Ivakhnenko, A.G. (1994). Inductive Learning Algorithms for Complex Systems Modeling (PDF). Boca Raton: CRC Press. ISBN 978-0849344381.
  6. ^ Gabor, D. (1971). Perspectives of Planing. Organization of Economic Cooperation and Development. London: Imp.Coll.
  7. ^ Beer, S. (1959). Cybernetics and Management. London: English Univ. Press.
  8. ^ Ivakhnenko, A.G.; Stepashko, V.S. (1985). Pomekhoustojchivost' Modelirovanija (Noise Immunity of Modeling) (PDF). Kyiv: Naukova Dumka.
  9. ^ a b Ivakhnenko, A.G.; Lapa, V.G. (1967). Cybernetics and Forecasting Techniques . American Elsevier. ISBN 978-0444000200.
  10. ^ Takao, S.; Kondo, S.; Ueno, J.; Kondo, T. (2017). “Deep feedback GMDH-type neural network and its application to medical image analysis of MRI brain images”. Artificial Life and Robotics. 23 (2): 161–172. doi:10.1007/s10015-017-0410-1.
  11. ^ Ivahnenko, A.G. (1982). Inductive Method of Models Self-organisation for Complex Systems (PDF) (bằng tiếng Nga). Kyiv: Naukova Dumka.
  12. ^ Ivakhnenko, A.G.; Stepashko, V.S. (1985). Pomekhoustojchivost' Modelirovanija (Noise Immunity of Modeling) (PDF). Kyiv: Naukova Dumka.
  13. ^ Madala, H.R.; Ivakhnenko, A.G. (1994). Inductive Learning Algorithms for Complex Systems Modeling (PDF). Boca Raton: CRC Press. ISBN 978-0849344381.
  14. ^ Ivakhnenko, A.G.; Yurachkovsky, Yu.P. (1986). Modelirovanie Slozhnykh Sistem po Exsperimentalnym Dannym (Modelling of Complex Systems on Experimental Data). M: Radio i Svyaz.
  15. ^ Ivakhnenko, A.G.; Müller, J.A. (1985). Self-Organisation of Forecasting Models (PDF) (bằng tiếng Nga). Kyiv: Tehnika.
  16. ^ Ivakhnenko, A.G. (1953). Automatic Control of Velocity of Asynchronous Motors with Moderate Power. Kiev: Izd.AN USSR.
  17. ^ Ivakhnenko, A.G. (1954). Theory of Combined Automatic Control of Electric Motors. Kiev: Izd.KPI.
  18. ^ Ivakhnenko, A.G. (1954). Electroautomatika. Kiev: Gostekhizdat.
  19. ^ a b Ivakhnenko, A.G. (1959). Tekhnicheskaya Kibernetika. Kiev: Gostechizdat USSR.
  20. ^ Ivakhnenko, A.G. (1969). Self-learning systems of recognition and automatic control. Kyiv: Tehnika.
  21. ^ Ivakhnenko, A.G.; Stepashko, V.S. (1985). Pomekhoustojchivost' Modelirovanija (Noise Immunity of Modeling) (PDF). Kyiv: Naukova Dumka.
  22. ^ Ivachnenko, A.G. (1962). Techniche kybernetik. Berlin: Verlag Technik.
  23. ^ Schmidhuber, J. (tháng 1 năm 2015). “Deep Learning in Neural Networks: An Overview” (PDF). Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. Truy cập ngày 26 tháng 12 năm 2019.
  24. ^ Farlow, S.J. biên tập (1984). Self-organizing Methods in Modeling: GMDH Type Algorithms . Marcel Dekker Inc. ISBN 978-0824771614. Truy cập ngày 26 tháng 12 năm 2019.
  25. ^ Ivahnenko, A.G.; Zaychenko, Yu.P.; Dimitrov, V.D. (1976). Decision Making on the basis of Self-Organisation. M: Sov.Radio.
  26. ^ Ivahnenko, A.G. (1975). Long-term Forecasting and Complex Systems Control (PDF) (bằng tiếng Nga). Kyiv: Tehnika.
  27. ^ Ivahnenko, A.G. (1982). Inductive Method of Models Self-organisation for Complex Systems (PDF) (bằng tiếng Nga). Kyiv: Naukova Dumka.
  28. ^ Ivakhnenko, A.G.; Müller, J.A. (1985). Self-Organisation of Forecasting Models (PDF) (bằng tiếng Nga). Kyiv: Tehnika.
  29. ^ Ivachnenko, A.G.; Müller, J.A. (1984). Selbstorganisation von Vorhersagemodellen. Berlin: Veb Verlag Technik.
  30. ^ Ivakhnenko, A.G.; Yurachkovsky, Yu.P. (1986). Modelirovanie Slozhnykh Sistem po Exsperimentalnym Dannym (Modelling of Complex Systems on Experimental Data). M: Radio i Svyaz.
  31. ^ Madala, H.R.; Ivakhnenko, A.G. (1994). Inductive Learning Algorithms for Complex Systems Modeling (PDF). Boca Raton: CRC Press. ISBN 978-0849344381.
  32. ^ “Nauka i Promyshlennost' (Science and Industry)”. Pravda. Communist Party of the USSR. 16 tháng 5 năm 1941.

Liên kết ngoài

[sửa | sửa mã nguồn]
Lấy từ “https://vi.wikipedia.org/w/index.php?title=Alexey_Ivakhnenko&oldid=71544239”