非線性系統(tǒng)學(xué)習(xí)控制理論的發(fā)展與展望

1、非線性系統(tǒng)學(xué)習(xí)控制理論的發(fā)展與展望謝振東謝勝利劉永清摘要：論述了學(xué)習(xí)控制的基本理論問題，給出了學(xué)習(xí)與學(xué)習(xí)控制系統(tǒng)的基本定義，著重討論了學(xué)習(xí)控制方法產(chǎn)生的歷史背景、目前非線性系統(tǒng)學(xué)習(xí)控制的研究狀況，提出了一些有待繼續(xù)研究的問題.關(guān)鍵詞：非線性系統(tǒng)； 學(xué)習(xí)控制； 發(fā)展與展望文獻(xiàn)標(biāo)識碼：ADevelopment and Expectationfor Learning Control Theory of Nonlinear SystemsXIE Zhendong，XIE Shengli and LIU Yongqing（Depatrment of Automatic Control Engineeri

2、ng, South China University of TechnologyAbstract：In this paper, the problem for the basic theory of learning control is discussed. After giving the basic definition of learning and learning control, we mainly discuss the background of learning control and the research status for learning control of

3、nonlinear systems, and put forward some problems need to be researched.Key words：nonlinear systems; learning control; development and expectation1非線性系統(tǒng)學(xué)習(xí)控制的研究背景(Research background for learning control theory of nonlinear systems)1.1引言(Introduction)對于高速運(yùn)動機(jī)械手的控制，Uchiyama提出一個(gè)思想1：不斷重復(fù)一個(gè)軌線的控制嘗試，并以此修正控制律

4、，能達(dá)到較好的控制效果.日本學(xué)者Arimoto2等人根據(jù)這種思想于1984年針對機(jī)器人系統(tǒng)的控制研究，提出了迭代學(xué)習(xí)控制這一新穎方法.這種控制方法只是利用控制系統(tǒng)先前的控制經(jīng)驗(yàn)，根據(jù)測量系統(tǒng)的實(shí)際輸出信號和期望信號來尋求一個(gè)理想的輸入，使被控對象產(chǎn)生期望的運(yùn)動.而“尋找”的過程就是學(xué)習(xí)的過程，在學(xué)習(xí)的過程中，只需要測量系統(tǒng)的輸出信號和期望信號，不象適應(yīng)控制那樣，對系統(tǒng)要進(jìn)行復(fù)雜的參數(shù)估計(jì)3，4，也不象一般控制方法那樣，不能簡化被控對象的動力學(xué)描述.特別是在一類具有較強(qiáng)的非線性耦合和較高的位置重復(fù)精度的動力學(xué)系統(tǒng)(如工業(yè)機(jī)器人、數(shù)控機(jī)床等)中，學(xué)習(xí)控制有著很好的應(yīng)用，如T.Sugie5,M.Ka

5、tic6,H.Park7的工作.迭代學(xué)習(xí)控制方法提出后，受到了控制界的廣泛關(guān)注，人們不僅針對各種機(jī)器人系統(tǒng)的跟蹤控制提出了相應(yīng)的有效算法8,9，而且這個(gè)方法也被應(yīng)用到非線性系統(tǒng)的魯棒控制上1012，最近，在離散系統(tǒng)11，1315、分布參數(shù)系統(tǒng)及廣義系統(tǒng)上也有了相應(yīng)的應(yīng)用1619.迭代學(xué)習(xí)控制已成了“智能控制”的一個(gè)重要組成部分，并逐步發(fā)展成為控制理論中的一個(gè)新的發(fā)展方向.1.2學(xué)習(xí)與學(xué)習(xí)控制系統(tǒng)的定義(Definition of learning and learning control)20給出學(xué)習(xí)控制系統(tǒng)和自學(xué)習(xí)控制系統(tǒng)的定義：一個(gè)開放性系統(tǒng)，如果能夠通過對環(huán)境與系統(tǒng)自身的學(xué)習(xí)獲得經(jīng)驗(yàn)，并

6、在運(yùn)用此經(jīng)驗(yàn)于系統(tǒng)的控制之后，能夠基于人機(jī)交互的性能評價(jià)器(有人監(jiān)督)，使系統(tǒng)的某個(gè)預(yù)先要求的性能指標(biāo)得到改善，則稱此系統(tǒng)為學(xué)習(xí)控制系統(tǒng)(Learning Control System);否則，如果性能評價(jià)器在無人參與(無人監(jiān)督或再勵(lì))的情況下完全自動實(shí)現(xiàn)，則稱此系統(tǒng)為自學(xué)習(xí)控制系統(tǒng)(Self-Learning Control System).在文獻(xiàn)21中，對學(xué)習(xí)控制用數(shù)學(xué)語言簡單描述為：在有限的時(shí)間域0,T內(nèi)，給出被控對象期望的響應(yīng)yd(t),t0，T，尋求某種給定的uk(t),t0，T，使其響應(yīng)yk(t),t0,T，在某種意義上比y0(t)有所改善，其中k為尋求次數(shù)，這一尋求過程稱為學(xué)習(xí)控

7、制過程.如果k時(shí)，yk(t)yd(t)，則稱為學(xué)習(xí)控制過程收斂.2研究現(xiàn)狀及存在的問題(Status and problems)迭代學(xué)習(xí)控制系統(tǒng)雖有了較大的發(fā)展，但也還相應(yīng)地存在一些問題，在此，我們將較全面地總結(jié)國內(nèi)外有關(guān)研究資料，同時(shí)也提出這些研究中所存在的不足.2.1研究現(xiàn)狀(Status). 國外的發(fā)展對于非線性系統(tǒng)，Greg等人(1992)11、Kuc等人(1992)22、Gary(1995)23、Ahn等人(1993)24、Pasquale(1994)25、Sugie等人(1991)5進(jìn)行了各種討論，都對其給定算法的收斂性進(jìn)行了論述，而Bien(1989)、Amann(1996)26

8、、Hwang(1991)8等分別對離散系統(tǒng)進(jìn)行了研究，并給出了一些高階的學(xué)習(xí)算法；針對不確定系統(tǒng)Danwei等人(1995)10、Chien(1996)27、Sun(1997)28及Lee(1995)29也給出了相應(yīng)的討論；關(guān)于在機(jī)器人系統(tǒng)的跟蹤控制上，Dusk(1995)6、Danwei(1995)30及Sadao等人(1988)31分別獲得了一些相應(yīng)的結(jié)果；此外,Park(1996)7對不確定機(jī)器人系統(tǒng)進(jìn)行了學(xué)習(xí)控制與適應(yīng)控制的結(jié)合研究，而Jang等人(1995)14和Amann(1996)32分別對反饋控制進(jìn)行了討論. 國內(nèi)動態(tài)林輝、王林33針對一類非線性系統(tǒng)采用閉環(huán)P型學(xué)習(xí)率討論了其收

9、斂性；曾南、應(yīng)行仁34對于一個(gè)未知的非線性連續(xù)系統(tǒng)或離散系統(tǒng)，改進(jìn)了開環(huán)迭代學(xué)習(xí)的收斂條件，并提出閉環(huán)迭代學(xué)習(xí)算法，其結(jié)果說明了閉環(huán)算法在收斂條件、速度和抗干擾能力上都優(yōu)于開環(huán)算法.他們認(rèn)為，在實(shí)際操作中總會遇上干擾，有輸入振動，輸出擾動等，如果要求每次重復(fù)都精確回到相同的位置是不可能的，它的偏差也可以示為一種擾動，開環(huán)控制抑制干擾能力較差，而閉環(huán)迭代學(xué)習(xí)控制在操作過程中既用到過去的經(jīng)驗(yàn)，又根據(jù)現(xiàn)行觀察進(jìn)行調(diào)整；孫明軒，萬伯任35針對受擾非線性系統(tǒng)討論了N階PI型開閉環(huán)迭代學(xué)習(xí)控制，結(jié)果表明了高階算法在輸出跟蹤和干擾抑制方面的有效性；皮道映，孫優(yōu)賢36針對離散非線性系統(tǒng)提出了開閉環(huán)P型迭代學(xué)習(xí)

10、控制律，他們認(rèn)為，開環(huán)迭代學(xué)習(xí)控制律的性能要比閉環(huán)的差，主要原因在于開環(huán)迭代律只利用了系統(tǒng)前次運(yùn)行的信息，而閉環(huán)迭代律在利用當(dāng)前運(yùn)行信息改善控制性能的同時(shí)，舍棄了系統(tǒng)前次的運(yùn)行的信息，因此，提出新的開閉環(huán)迭代律，它能同時(shí)利用系統(tǒng)前次運(yùn)行和當(dāng)次運(yùn)行的信息，將能進(jìn)一步改善控制性能； 皮道映，孫優(yōu)賢37對于一類參數(shù)未知的非線性系統(tǒng)在有限的時(shí)域上的精確軌跡跟蹤問題，提出了一種開閉環(huán)PI型迭代學(xué)習(xí)控制策略，給出了其收斂的充要條件，它可同時(shí)用于判定開環(huán)和閉環(huán)PI型迭代學(xué)習(xí)控制的收斂性；謝振東、謝勝利、劉永清13討論了P型學(xué)習(xí)控制算法在線性離散系統(tǒng)和非線性離散系統(tǒng)中的收斂性；謝勝利、樊曉平、韋崗38；謝勝利

11、、謝振東、韋崗39也分別針對離散系統(tǒng)進(jìn)行了討論；任雪梅，高為炳40則提出了任意初始狀態(tài)下的學(xué)習(xí)控制方法，此方法包括兩種學(xué)習(xí)，即同時(shí)進(jìn)行系統(tǒng)的輸入和初始狀態(tài)的學(xué)習(xí)，因此，在學(xué)習(xí)開始時(shí)對系統(tǒng)的初始狀態(tài)無要求，即不需要假設(shè)在每次循環(huán)過程中系統(tǒng)的初始狀態(tài)和期望跟蹤軌跡的初始狀態(tài)都相等.此學(xué)習(xí)方法在一定程度上可以解決任意初始狀態(tài)下的學(xué)習(xí)控制系統(tǒng)的跟蹤問題；對于連續(xù)非線性系統(tǒng)史忠科41提出了一般性的迭代學(xué)習(xí)控制方法，給出了PID型學(xué)習(xí)控制算法的收斂條件，該方法可以逼近任意軌線；謝勝利、張劍、韋崗42及謝勝利、田森平43針對一類不確定非線性系統(tǒng)的學(xué)習(xí)控制進(jìn)行了探討，他們的跟蹤結(jié)果既不依賴于理想控制，也不依賴

12、初始狀態(tài).目前，對于分布參數(shù)系統(tǒng)和廣義系統(tǒng)的迭代學(xué)習(xí)控制研究遠(yuǎn)不及連續(xù)非線性系統(tǒng)和離散系統(tǒng)的迭代學(xué)習(xí)控制研究.謝勝利、謝振東、韋崗、劉永清等人將迭代學(xué)習(xí)控制方法用于分布參數(shù)系統(tǒng)和廣義系統(tǒng)的目標(biāo)跟蹤控制上.對于分布參數(shù)系統(tǒng)的目標(biāo)跟蹤問題，謝振東、劉永清16給出了一種二階P-型學(xué)習(xí)算法，并對該算法的收斂性進(jìn)行了分析，獲得了系統(tǒng)在相應(yīng)空間中目標(biāo)跟蹤的結(jié)果.謝振東、謝勝利、韋崗17對非線性分布參數(shù)系統(tǒng)進(jìn)行了研究，不僅獲得了在L2(),W1,2()空間中的跟蹤結(jié)果，而且還獲得了在×0，T上的一致跟蹤結(jié)果.并且，他們的方法對被控對象的建模要求很低，僅僅是一些定性的限制；而謝振東、謝勝利44針對相

13、應(yīng)的不確定分布參數(shù)系統(tǒng)進(jìn)行了研究，獲得了跟蹤控制相應(yīng)的結(jié)果.對于廣義系統(tǒng)的狀態(tài)跟蹤問題，謝勝利、樊曉平、韋崗18，謝勝利、謝振東、劉永清19，也采用了學(xué)習(xí)控制的方法，給出了相應(yīng)的學(xué)習(xí)控制算法，并對學(xué)習(xí)算法的收斂性和狀態(tài)跟蹤的可能性進(jìn)行了分析.最近，謝勝利、謝振東、韋崗45及謝振東、田傳俊46將他們得到的新算法用于終端受限機(jī)器人跟蹤控制上，獲得了較理想的結(jié)果，大大地改進(jìn)了Danwei(1995)30、Soh(1995)10等人的工作，其控制算法的收斂性不依賴于理想力、理想運(yùn)動及初始運(yùn)動等數(shù)據(jù).在文獻(xiàn)47中，還就一類不滿足收斂性條件的退化系統(tǒng)進(jìn)行了探討，因?yàn)樵谶@種情況下，通常的學(xué)習(xí)控制方法遇到困難

14、，對此，他們給出了一種新的方法吸收流形方法，通過構(gòu)造一個(gè)相應(yīng)于所給系統(tǒng)穩(wěn)定而吸引的流形，且在構(gòu)造的同時(shí)設(shè)計(jì)出學(xué)習(xí)控制序列，以使完成對所給期望目標(biāo)的跟蹤.2.2存在的問題(The existing problems)由于迭代學(xué)習(xí)控制方法產(chǎn)生不久，其基本理論還遠(yuǎn)未形成，學(xué)習(xí)控制要發(fā)展成為一種具有完整理論基礎(chǔ)的控制方法，并且更好地應(yīng)用于實(shí)際工程中，還需要人們投入相當(dāng)?shù)木蜁r(shí)間，進(jìn)行深入地研究.根據(jù)所查到的文獻(xiàn)資料表明，學(xué)習(xí)控制理論研究的成果不僅零散，而且在研究中還存在著這樣或那樣的不足，主要表現(xiàn)在以下幾個(gè)方面：. 學(xué)習(xí)控制不收斂，導(dǎo)致目標(biāo)跟蹤精度太差，例Danwei30、Soh10、Greg11等

15、. 學(xué)習(xí)控制算法不是全局而只是局部收斂，很大程度上依賴于初始輸入信號，如Tomohe12,Pasguale25等.而這在實(shí)際工程應(yīng)用中是很難把握的. 學(xué)習(xí)控制過程依賴于看起來似乎已知，但實(shí)際上是未知的理想輸入ud(t)的一些信息，而ud(t)正是我們學(xué)習(xí)控制所要“尋找”的對象，例Jang14、Kuc24、Ahn48等對機(jī)器人系統(tǒng)軌跡跟蹤控制的研究. 學(xué)習(xí)控制過程的收斂性依賴于非線性函數(shù)的Lipschitz常數(shù)，但該常數(shù)對一類不確定系統(tǒng)來說，只是定性條件，而不是定量條件. 在學(xué)習(xí)控制過程中，都要求每次學(xué)習(xí)過程要經(jīng)過相同的初始狀態(tài)，而在有些實(shí)際工程的運(yùn)用中，每次都會存在一定的誤差，不可能完全一樣.

16、就目前而言，學(xué)習(xí)控制方法一般都要求在學(xué)習(xí)控制的過程中，尋找“學(xué)習(xí)矩陣”.而這些“學(xué)習(xí)矩陣”要滿足一些必要的收斂條件，在系統(tǒng)不滿足目前的一般收斂條件的情況下能否利用這一方法，需要哪樣的技術(shù)處理及新的改進(jìn)措施.另外，如何充分利用控制系統(tǒng)先前經(jīng)驗(yàn)的所有信息，以及這些信息利用與學(xué)習(xí)控制過程收斂的關(guān)系；學(xué)習(xí)控制方法與目前較成熟的適應(yīng)控制方法的區(qū)別與聯(lián)系是什么，如何將這一方法與適應(yīng)控制方法結(jié)合起來，使得對系統(tǒng)的參數(shù)辯識和跟蹤控制同時(shí)進(jìn)行.以上諸多問題都是學(xué)習(xí)控制能真正發(fā)展成為控制理論中既具有堅(jiān)實(shí)理論基礎(chǔ)，又具有廣泛應(yīng)用前景的新方向而需要解決的問題.3學(xué)習(xí)控制理論的展望(Expectation of the

17、 learning control theory)學(xué)習(xí)控制在理論上所要研究的系統(tǒng)包括：不確定線性系統(tǒng)、分布參數(shù)系統(tǒng)、離散時(shí)間系統(tǒng)及2-D離散系統(tǒng)、廣義系統(tǒng)和它們相應(yīng)的滯后系統(tǒng)；而跟蹤控制的形式包括調(diào)節(jié)跟蹤、輸入輸出和狀態(tài)跟蹤；初始誤差形式包括零初始誤差、非零初始誤差，而非零初始誤差里又分下面二種情況：每次學(xué)習(xí)時(shí)有相同的初始值和有不同初始值.此外，要尋求系統(tǒng)退化情況(即不滿足一般收斂性條件)下的研究方法，及學(xué)習(xí)控制與適應(yīng)控制的差別與聯(lián)系.目前，迭代學(xué)習(xí)控制方法在分布參數(shù)系統(tǒng)上的應(yīng)用僅僅開始，由于其系統(tǒng)的復(fù)雜性及收斂性的多樣性，無論是在基本概念上，還是在方法技巧上都有待發(fā)展，此外，對于廣義系統(tǒng)的研

18、究，除了文獻(xiàn)18，19以外，目前國內(nèi)外沒有其他任何結(jié)果在應(yīng)用上如何將迭代學(xué)習(xí)控制方法更有效地從機(jī)器人系統(tǒng)擴(kuò)展到其他實(shí)際工程中(如最近電子加油記數(shù)器的應(yīng)用).就以由常微分方程定義的集中參數(shù)系統(tǒng)(包括線性和非線性系統(tǒng))為主要研究對來說，第一，尋求新的算法和研究手段，使學(xué)習(xí)控制過程全局收斂(即與初始輸入信號無關(guān))且不依賴于理想輸入信號，這樣保證結(jié)果在應(yīng)用于實(shí)際工程時(shí)的可實(shí)現(xiàn)性；第二，如何充分利用控制系統(tǒng)過程先前控制經(jīng)驗(yàn)的所有信息，以及這些信息利用與學(xué)習(xí)控制過程收斂的關(guān)系，這樣為實(shí)際設(shè)計(jì)提供更多的可靠信息；第三，當(dāng)系統(tǒng)處于退化情況下時(shí)，如何進(jìn)行學(xué)習(xí)控制設(shè)計(jì)，分析能或不能的原因；第四，研究非零初始誤差的情況，因?yàn)樵谟行?shí)際應(yīng)用中，每次學(xué)習(xí)控制的初始值不可能完全一樣，相應(yīng)地如何將以