交叉口智能信號(hào)控制.ppt

交叉口智能信號(hào)控制 指導(dǎo)教師 徐良杰教授 小組成員 安樹科 鄒權(quán) 韓冬成 現(xiàn)代道路交通管理理論及應(yīng)用 THEMAINCONTENTS 交叉口智能信號(hào)控制 單路口智能信號(hào)控制 隨著經(jīng)濟(jì)的快速發(fā)展 人民生活水平的不斷提高 社會(huì)對(duì)城市交通提出了更高的要求 制約城市道路通行能力的瓶頸 道路交叉口 也越來越受到人們的重視 提高交叉口通行能力和降低延誤的最有效的方法之一就是交通信號(hào)控制 信號(hào)控制研究范圍涉及相位分配的確定 性能函數(shù)的選取 控制參數(shù)的確定和配時(shí)方案的生成及配套的硬件設(shè)備選取等多個(gè)領(lǐng)域 1 發(fā)展歷程 2 交通信號(hào)控制系統(tǒng)的分類 定時(shí)式脫機(jī)系統(tǒng) 自適應(yīng)控制系統(tǒng) 智能控制系統(tǒng) 點(diǎn)控方式 線控方式 面控方式 3 信號(hào)控制方法應(yīng)用現(xiàn)狀 目前 在全球范圍廣泛采用的交通信號(hào)控制系統(tǒng)包括澳大利亞的SCATS系統(tǒng)和英國的SCOOT系統(tǒng) SCATS屬于方案選擇式控制系統(tǒng) 每個(gè)交叉口配時(shí)方案根據(jù)子系統(tǒng)的整體需要進(jìn)行選擇 現(xiàn)在上海運(yùn)行著該系統(tǒng) SCOOT屬于方案生成式實(shí)時(shí)自適應(yīng)控制系統(tǒng) 采用小步長(zhǎng)漸進(jìn)尋優(yōu)的方法 連續(xù)實(shí)時(shí)地調(diào)整綠信比 周期和時(shí)差3個(gè)參數(shù) 北京已引進(jìn)該系統(tǒng) 國內(nèi)其他城市交通控制系統(tǒng)應(yīng)用情況 1 單路口智能信號(hào)控制 定時(shí)控制 根據(jù)以往觀測(cè)到的交通需求 按預(yù)先設(shè)定的配時(shí)方案進(jìn)行控制 因此它對(duì)交通需求的隨機(jī)變化是無法響應(yīng)的 感應(yīng)控制方法缺陷 感應(yīng)控制只能檢測(cè)是否有車輛到達(dá)而不關(guān)心有多少輛車到達(dá) 因此 它無法真正響應(yīng)各相位的交通需求 也就不能使車輛的總延誤最小 例如 設(shè)某相位最短綠時(shí)為10s 最大綠時(shí)為40s 單位綠延時(shí)為5s 則在5s綠延時(shí)結(jié)束前 如果只有一輛車到達(dá) 仍須給出5s的單位綠延時(shí) 極端情況下重復(fù)上述過程直到最大綠時(shí) 共放行了11輛車 而在此期間 下一相位車道卻有15輛車等待綠燈 很顯然總的車輛延誤沒有達(dá)到最小 1 單路口兩相位的模糊控制 1977年 Pappis等人設(shè)計(jì)了一種單路口兩相位模糊邏輯控制器 計(jì)算機(jī)仿真結(jié)果證實(shí)了該方法的有效性 這是最早將模糊邏輯用于交通控制的例子 下面從延誤模型 模糊算法和模糊控制幾方面進(jìn)行介紹 1 延誤模型 考慮兩相位控制的十字路口 東西向?yàn)橐粋€(gè)相位 南北向?yàn)橐粋€(gè)相位 假定各方向到達(dá)的車輛是隨機(jī)的 且到達(dá)的車輛數(shù)服從均勻分布 兩個(gè)方向的飽和流量均為3600veh h 無轉(zhuǎn)向車流 設(shè)則紅燈相位開始后第n s 內(nèi)的車輛排隊(duì)長(zhǎng)度為式中 p表示前一個(gè)綠燈期間未清完的車輛數(shù) 則紅燈期間排隊(duì)車輛總的等待時(shí)間為 如果在第n s 內(nèi)有一輛車到達(dá)否則 令s為飽和流量 則綠燈相位開始后第n s 內(nèi) 未清完的車輛排隊(duì)長(zhǎng)度為式中為前一個(gè)紅燈期間等候的車輛數(shù) 上式括號(hào)里的數(shù)為正時(shí) z取1 否則z為0 則綠燈期間車輛總的等待時(shí)間為因此 一個(gè)周期內(nèi) 一個(gè)方向上的車輛總延誤為 有效紅燈時(shí)間R s 內(nèi)的延誤 有效綠燈時(shí)間R s 內(nèi)的延誤平均每輛車的延誤模型為 2 模糊算法 該算法主要控制綠燈的延時(shí)時(shí)間 分別在綠燈的第7s 17s 27s 37s和47s實(shí)施控制 在路口停車線前S m 處設(shè)置車輛檢測(cè)器 若測(cè)得車輛的速度為 則其從檢測(cè)器到臨界點(diǎn)所花費(fèi)的時(shí)間為例如 南北方向綠燈持續(xù)到第17s準(zhǔn)備實(shí)施控制時(shí) 設(shè)在下一個(gè)10s中 相繼每一個(gè)時(shí)間單位1s橫穿臨界點(diǎn) 南北方向 的車輛數(shù)與等候的車輛數(shù) 東西方向 已由檢測(cè)器得到 分別為設(shè)準(zhǔn)備實(shí)施控制時(shí)已有5輛車等候 東西方向 則下一個(gè)10s開始后各秒到達(dá)和等候的車輛累積數(shù)分別為 引入以下模糊變量 T表示 時(shí)間 的模糊輸入變量 其取值為 很短 短 中等 等 A表示 到達(dá)數(shù) 的模糊輸入變量 此處指到達(dá)正在通行的車道上的車輛數(shù) 其取值為 很多 極少 等 Q表示 等候車輛數(shù) 的模糊輸入變量 其取值為 任意 很少 等 E表示 延長(zhǎng)時(shí)間 的模糊輸入變量 時(shí)間A和延長(zhǎng)時(shí)間E的賦值表 到達(dá)數(shù)A的賦值表 等候車輛數(shù)Q的賦值表 引入兩種新的運(yùn)算規(guī)則 設(shè)為實(shí)軸上的模糊子集 是其隸屬度函數(shù)且是使達(dá)到最大的中的元素 則和為定義在U上的模糊集 且有很明顯模糊集 任意 any 在整個(gè)論域上都為1 3 模糊控制 下面根據(jù)一些具體數(shù)據(jù)說明如何進(jìn)行模糊控制 以第2次控制 即在綠燈第27s時(shí) 為例 并設(shè)即考慮下一個(gè)10s的第8s 即在以后的8s中 如現(xiàn)在的信號(hào)燈不變 則有4輛車通過臨界點(diǎn) 即在即在以后的8s中 如現(xiàn)在的信號(hào)燈不變 則有5輛車等候 即信號(hào)燈的當(dāng)前狀態(tài)再保持8s 根據(jù)第二次控制中的第1條規(guī)則 我們有 類似地求得其余4條控制規(guī)則的隸屬度分別為 按照上述方法 分別取 則可得到控制決策表 如下表所示 由于 延長(zhǎng)10s 所對(duì)應(yīng)的隸屬度0 8為最大 故決定控制器應(yīng)保持當(dāng)前狀態(tài)10s不變 每次控制均按上述過程進(jìn)行 如果模糊決策后要延長(zhǎng)的時(shí)間小于10s 則系統(tǒng)將在延時(shí)結(jié)束后進(jìn)行狀態(tài)轉(zhuǎn)換 然后在下一個(gè)相位進(jìn)行模糊推理 如果表最后一行所有的值均小于0 5 則不進(jìn)行延時(shí) 系統(tǒng)的狀態(tài) 即相位 要立刻轉(zhuǎn)換 如果表中的最后一行有兩個(gè)或兩個(gè)以上相同的最大值 則取更長(zhǎng)的那個(gè)延長(zhǎng)時(shí)間 模糊邏輯控制器與傳統(tǒng)控制器的性能比較 2 單路口的神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)控制 模糊控制規(guī)則一經(jīng)確定就不再改變 即不具備實(shí)時(shí)學(xué)習(xí)功能 這樣一來 系統(tǒng)的信號(hào)控制效果完全依賴于控制規(guī)則的合理性和遍歷性 這對(duì)于交通狀況復(fù)雜的路口 特別是多相位路口 是很難做到的 針對(duì)單路口多相位信號(hào)控制方式 提出了一種具有實(shí)時(shí)學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)信號(hào)控制方法 1 單路口的神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)控制 在車流量大和車流復(fù)雜的情況下 傳統(tǒng)信號(hào)控制方法很難實(shí)施有效的控制 但一個(gè)經(jīng)驗(yàn)豐富的交通警察卻能應(yīng)付自如 這說明可模擬交通警察思維的智能控制方法在復(fù)雜路口的信號(hào)控制方面有著廣泛的應(yīng)用前景 設(shè)所研究的平面交叉路口為一個(gè)十字形交叉路口 其中 東西南北4個(gè)進(jìn)口均具有左轉(zhuǎn) 直行和右轉(zhuǎn)條車道 2 單路口的神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)控制 交通警察交通指揮的過程 首先將通行權(quán)交給某一方向 在此期間他將不斷評(píng)價(jià)目前的交通狀況1 如果通行方向的大部分車輛已疏散 而另一個(gè)方向車輛數(shù)增多 他會(huì)把通行權(quán)交給另一個(gè)方向 2 如果各方向的車輛數(shù)均比較多 則通行時(shí)間較長(zhǎng) 3 如果各方向的車輛數(shù)均比較少 則通行時(shí)間較短 具有在線自學(xué)習(xí)功能的智能控制方案結(jié)構(gòu)圖 3 控制算法 1 評(píng)價(jià)準(zhǔn)則 評(píng)價(jià)準(zhǔn)則環(huán)節(jié)的作用是評(píng)價(jià)一個(gè)評(píng)價(jià)周期內(nèi) 假設(shè)由6個(gè)信號(hào)周期組成 某一信號(hào)配時(shí)方法的控制效果 并由此評(píng)價(jià)準(zhǔn)則修正信號(hào)周期和各相位的綠信比 設(shè)為第i個(gè)信號(hào)周期結(jié)束時(shí)的總排隊(duì)長(zhǎng)度 為第i個(gè)信號(hào)周期內(nèi)第j個(gè)相位所有方向達(dá)到的車輛總數(shù) 為第i個(gè)信號(hào)周期內(nèi)第j個(gè)相位中所有方向放行的車輛總數(shù) 為第i個(gè)周期結(jié)束時(shí)第j個(gè)相位所有方向車流排隊(duì)長(zhǎng)度之和 為一個(gè)評(píng)價(jià)周期內(nèi) 各信號(hào)周期結(jié)束時(shí)的總排隊(duì)長(zhǎng)度的平均值 為一個(gè)評(píng)價(jià)周期內(nèi) 各信號(hào)周期結(jié)束時(shí)第j個(gè)相位中所有方向車流的排隊(duì)長(zhǎng)度的平均值 則有式中 當(dāng)括號(hào)內(nèi)的數(shù)小于0時(shí) z 0 否則z 1 且有定義將分為大 較大 中 小和很小5檔 對(duì)應(yīng)的周期增量分別為10s 7s 5s 0s和 5s 則為即為下一個(gè)評(píng)價(jià)周期內(nèi)將要采用的新信號(hào)周期長(zhǎng)度 然后計(jì)算最后計(jì)算j 1 2 3 4 4 神經(jīng)網(wǎng)絡(luò)在該信號(hào)控制系統(tǒng)中 兩個(gè)神經(jīng)網(wǎng)絡(luò)作為控制器處于系統(tǒng)的底層 任何時(shí)刻只有一個(gè)在工作 而另一個(gè)則根據(jù)需要 由評(píng)價(jià)準(zhǔn)則確定 處于學(xué)習(xí)或空閑狀態(tài) 輸入 輸出 C和 學(xué)習(xí)樣本和訓(xùn)練方式 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)樣本分兩個(gè)階段獲取 第一 在網(wǎng)絡(luò)運(yùn)行前 先將交警的指揮經(jīng)驗(yàn)用規(guī)則的形式表示出來 然后用這些準(zhǔn)則來訓(xùn)練兩個(gè)神經(jīng)網(wǎng)絡(luò) 訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)即可作為信號(hào)控制器投入運(yùn)行 由于控制信號(hào)是4相位的 信號(hào)控制規(guī)則的獲取比較困難 且控制規(guī)則也往往不具備遍歷性 因而此時(shí)的神經(jīng)網(wǎng)絡(luò)性能還不是最優(yōu)的 還需要在運(yùn)行過程中逐步進(jìn)行優(yōu)化 第二 在系統(tǒng)運(yùn)行過程中 每隔一個(gè)評(píng)價(jià)周期 6個(gè)信號(hào)周期 按照前面所述的方法計(jì)算一次輸入 輸出 訓(xùn)練處于空閑狀態(tài)的神經(jīng)網(wǎng)絡(luò) 如此重復(fù) 一個(gè)神經(jīng)網(wǎng)絡(luò)投入運(yùn)行 一個(gè)學(xué)習(xí) 隨著時(shí)間的推移 訓(xùn)練樣本將會(huì)越來越多 網(wǎng)絡(luò)訓(xùn)練也將會(huì)越來越困難 為避免出現(xiàn) 樣本爆炸 問題 采取了所謂的 樣本截?cái)?法即事先規(guī)定訓(xùn)練樣本的規(guī)模 如300個(gè) 可根據(jù)需要任意設(shè)定 然后按照 順序移位 的方式用新樣本逐個(gè)淘汰舊樣本 神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)控制方法 簡(jiǎn)稱方法1 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)交警控制經(jīng)驗(yàn)方法 簡(jiǎn)稱方法2 控制效果比較 2 基于智能體的信號(hào)交叉口控制 基于智能體的信號(hào)交叉口控制 交通信號(hào)控制系統(tǒng)在物理位置和控制邏輯上分散于動(dòng)態(tài)變化的網(wǎng)絡(luò)交通環(huán)境 將每個(gè)路口的交通信號(hào)控制器看做一個(gè)異質(zhì)的智能體 非常適合采用 無模型 自學(xué)習(xí) 數(shù)據(jù)驅(qū)動(dòng) 的多智能體強(qiáng)化學(xué)習(xí)方法建模與描述 自Thorpe于1997年首次將強(qiáng)化學(xué)習(xí) reinforcementlearning RL 方法應(yīng)用于交通信號(hào)最優(yōu)化控制以來 多智能體強(qiáng)化學(xué)習(xí) multi agentreinforcementlearning MARL 在區(qū)域交通自適應(yīng)控制領(lǐng)域迅速發(fā)展并已有實(shí)際應(yīng)用 多智能體強(qiáng)化學(xué)習(xí) 智能體它們單獨(dú)的和環(huán)境進(jìn)行交互 在一種情況下它們各自優(yōu)化自己的目標(biāo) 但這些目標(biāo)之間有約束 另一種情況下 它們聯(lián)合起來優(yōu)化一個(gè)主要的目標(biāo)方程 根據(jù)具體的情況會(huì)有不同的變化 絕大多數(shù)研究以假設(shè)的靜態(tài)隨機(jī)環(huán)境為研究對(duì)象 采用完全孤立或部分狀態(tài)合作的協(xié)調(diào)機(jī)制進(jìn)行本地路口的最優(yōu)化控制 這制約了網(wǎng)絡(luò)交通控制系統(tǒng)的整體效益 近年來 基于動(dòng)作聯(lián)動(dòng)的MARL控制方法發(fā)展迅速 其以聯(lián)動(dòng)協(xié)同的方式逼近全局最優(yōu)的控制策略 同時(shí) 算法的驗(yàn)證也由假設(shè)的交通網(wǎng)絡(luò)向現(xiàn)實(shí)的交通網(wǎng)絡(luò)發(fā)展 MARL控制的演化發(fā)展 1 MARL控制系統(tǒng)的優(yōu)勢(shì) 從控制理論來看 MARL控制可根據(jù)控制效果的反饋信息自主學(xué)習(xí)并優(yōu)化策略知識(shí) 是一種真正的閉環(huán)反饋控制 從控制范圍來看 其可精確推理多個(gè)路口間的最優(yōu)聯(lián)合動(dòng)作 豐富了區(qū)域交通協(xié)調(diào)控制的內(nèi)容及形式 從控制實(shí)時(shí)性來看 它沒有復(fù)雜的模型優(yōu)化模塊 采用秒級(jí)的即時(shí)決策 可實(shí)時(shí)響應(yīng)時(shí)變交通流的變化 從系統(tǒng)可拓展性來看 分散式MARL控制具有統(tǒng)一的結(jié)構(gòu)模型 可針對(duì)特定路網(wǎng)結(jié)構(gòu)和交通流特性進(jìn)行相應(yīng)改造 從系統(tǒng)兼容性來看 MARL控制本身僅需要系統(tǒng)的輸入和輸出數(shù)據(jù) 對(duì)數(shù)據(jù)具體采集的技術(shù)和形式無要求 交通信號(hào)RL智能體的標(biāo)準(zhǔn)模型如圖1所示 每個(gè)路口的交通信號(hào)機(jī)被抽象為一個(gè)智能體 控制對(duì)象為道路交通網(wǎng)絡(luò)上時(shí)變交通流 RL智能體與被控對(duì)象在閉環(huán)系統(tǒng)中不斷進(jìn)行交互 通過觀察交通環(huán)境的實(shí)時(shí)狀態(tài) 提取信號(hào)控制所需的交通狀態(tài)信息和反饋獎(jiǎng)勵(lì)信息 選擇相應(yīng)的行為動(dòng)作并執(zhí)行 進(jìn)而跟蹤評(píng)測(cè)所選擇動(dòng)作的控制效果 以累積回報(bào)收益最大化為目標(biāo) 優(yōu)化控制策略直至收斂到 狀態(tài)和動(dòng)作 的最優(yōu)概率映射 因而 RL智能體將控制系統(tǒng)的優(yōu)化過程按照時(shí)間進(jìn)程劃分為狀態(tài)相互聯(lián)系的多個(gè)階段 并在每個(gè)階段根據(jù)當(dāng)前狀態(tài)進(jìn)行最優(yōu)決策 這是典型的馬爾可夫決策過程 Markovdecisionprocess MDPs 2 RL控制標(biāo)準(zhǔn)模型 根據(jù)RL智能體學(xué)習(xí)頻率及優(yōu)化參數(shù)的不同 交通信號(hào)RL優(yōu)化技術(shù)分為周期式和非周期式控制 CyclicorAcyclic 兩種類型 其主要技術(shù)特征如表1所示 3 RL控制優(yōu)化技術(shù) 在相位結(jié)構(gòu)和相位順序固定的前提下 周期式RL控制以 周期 綠信比和相位差 作為控制方案的配時(shí)參數(shù) 每隔當(dāng)前周期的整數(shù)倍時(shí)間間隔 采用RL算法對(duì)這些參數(shù)進(jìn)行優(yōu)化調(diào)整 以響應(yīng)路口交通需求波動(dòng) 這種優(yōu)化技術(shù)的控制方案結(jié)構(gòu)固定 配時(shí)參數(shù)更新具有滯后性 并通過相位差技術(shù)實(shí)現(xiàn)走廊方向的信號(hào)協(xié)調(diào) 是一種響應(yīng)式 responsive 自適應(yīng)交通控制 1 固定周期式RL控制方法 非周期式RL控制遵循感應(yīng)信號(hào)控制的邏輯框架 在滿足交通控制基本約束的前提下 根據(jù)時(shí)變交通流的波動(dòng) 每隔單位延長(zhǎng)時(shí)間 采用RL算法對(duì)相位結(jié)構(gòu) 相位順序或綠燈時(shí)長(zhǎng)進(jìn)行優(yōu)化 以實(shí)時(shí)響應(yīng)交通需求的變化 這種優(yōu)化技術(shù)摒棄了傳統(tǒng)協(xié)調(diào)控制中周期和相位差的概念 由實(shí)際交通流即時(shí)決策相位方案及相位時(shí)長(zhǎng) 并通過多個(gè)路口信號(hào)燈的聯(lián)動(dòng)實(shí)現(xiàn)區(qū)域交通協(xié)調(diào)控制 以盡可能保證車隊(duì)連續(xù)通行 是一種實(shí)時(shí) real time 自適應(yīng)交通控制 2 非周期式RL控制方法 交通網(wǎng)絡(luò)MARL控制是單路口RL控制向隨機(jī)博弈 stochasticgame SG 環(huán)境下區(qū)域交通網(wǎng)絡(luò)的擴(kuò)展 以期通過多個(gè)路口RL智能體間的聯(lián)動(dòng)協(xié)調(diào) 逼近網(wǎng)絡(luò)交通流的最優(yōu)均衡策略 由于區(qū)域內(nèi)全部RL智能體同時(shí)學(xué)習(xí)和同時(shí)決策 每一個(gè)RL智能體都面臨移動(dòng)目標(biāo)學(xué)習(xí)問題 moving targetlearningproblem 即本地智能體的最優(yōu)策略將隨著區(qū)域內(nèi)其他智能體策略的變化而變化 4 交通網(wǎng)絡(luò)MARL控制 通過構(gòu)建多路口間信號(hào)的聯(lián)動(dòng)協(xié)調(diào)機(jī)制 采用基于協(xié)調(diào)的MARL進(jìn)行系統(tǒng)的分散決策與優(yōu)化 根據(jù)智能體間交通狀態(tài)和信號(hào)動(dòng)作的協(xié)調(diào)水平 交通網(wǎng)絡(luò)MARL控制可分為三類 完全獨(dú)立的多智能體強(qiáng)化學(xué)習(xí)控制 totallyindependentMARL 部分狀態(tài)合作的多智能體強(qiáng)化學(xué)習(xí)控制 partiallystatecooperationMARL 和動(dòng)作聯(lián)動(dòng)的多智能體強(qiáng)化學(xué)習(xí)控制 joint actionMARL 此方法假設(shè)路口處于靜態(tài)隨機(jī)的交通環(huán)境 即每個(gè)RL智能體的決策僅受路口本地狀態(tài)和本地動(dòng)作的影響 只須通過在式 1 的更新規(guī)則中增加智能體的索引下標(biāo) 將單智能體RL控制方法直接拓展并應(yīng)用到多個(gè)路口即可 其基本形式如下 1 完全孤立的MARL控制 部分狀態(tài)合作的MARL控制通過智能體間的點(diǎn)對(duì)點(diǎn)通信 獲得上 下游路口的交通數(shù)據(jù) 并以此拓展本地RL智能體的交通狀態(tài)的感知空間 構(gòu)造了部分狀態(tài)聯(lián)合的值函數(shù) 提高其對(duì)動(dòng)態(tài)隨機(jī)環(huán)境的觀察能力 其基本形式如下 2 部分狀態(tài)合作的MARL控制 為同時(shí)克服MARL控制的同時(shí)學(xué)習(xí)挑戰(zhàn)和決策挑戰(zhàn) 動(dòng)作聯(lián)動(dòng)的MARL控制將式 1 中單智能體的狀態(tài)和動(dòng)作分別替換為動(dòng)態(tài)隨機(jī)環(huán)境下的聯(lián)合狀態(tài)和聯(lián)合動(dòng)作 并在每一個(gè)博弈對(duì)策階段 估計(jì)均衡策略的值函數(shù) 實(shí)現(xiàn)多個(gè)智能體間的同時(shí)對(duì)策 如此反復(fù)迭代逼近最優(yōu)策略 以此尋找隨機(jī)環(huán)境下系統(tǒng)的唯一均衡 其基本形式如下 3 動(dòng)作聯(lián)動(dòng)的MARL控制 5 基于智能體的信號(hào)交叉口控制研究現(xiàn)狀 城市交通信號(hào)控制系統(tǒng)具有典型的分布式特征 且在時(shí)變的復(fù)雜交通網(wǎng)絡(luò)環(huán)境下 僅憑局部路口的優(yōu)化不能表征整體網(wǎng)絡(luò)的性能 在交換關(guān)聯(lián)路口信息的基礎(chǔ)上 仍需要設(shè)計(jì)路口間精細(xì)的協(xié)調(diào)機(jī)制 采用聯(lián)合的配時(shí)策略提升整體交通網(wǎng)絡(luò)的控制效益 智能體技術(shù)的自治性 協(xié)作性和交互性符合分布式交通信號(hào)自適應(yīng)控制的內(nèi)在需求 這體現(xiàn)在 智能體 路口信號(hào)控制器 可以感知周圍環(huán)境并及時(shí)響應(yīng)環(huán)境變化 且在沒有人或其他因素的直接干預(yù)下 智能體能夠自發(fā)的根據(jù)目標(biāo)和環(huán)境的要求主動(dòng)做出規(guī)劃 實(shí)現(xiàn)交通控制的自動(dòng)化 同時(shí) 通過各分布式路口智能體的相互協(xié)作 構(gòu)建多智能體控制系統(tǒng) multiagentsystem 以實(shí)現(xiàn)全局路網(wǎng)的控制目標(biāo) 本部分從兩方面綜述智能體技術(shù)在城市交通信號(hào)控制系統(tǒng)及其關(guān)聯(lián)領(lǐng)域中的應(yīng)用 包括 基于智能體的交通控制系統(tǒng)架構(gòu)研究 基于智能體的交通信號(hào)控制方法研究 1 基于智能體的交通控制系統(tǒng)構(gòu)架及平臺(tái) 傳統(tǒng)的城市交通控制模型多采用集中式架構(gòu) SCATS系統(tǒng) TUC系統(tǒng)及SCOOT系統(tǒng) 子區(qū)內(nèi)部分集中 當(dāng)路口規(guī)模擴(kuò)大時(shí) 集中式的控制系統(tǒng)不能滿足大量交通數(shù)據(jù)的通信傳輸和控制策略的實(shí)時(shí)優(yōu)化 且系統(tǒng)維護(hù)難度大 PRODYN系統(tǒng) OPAC系統(tǒng)和RHODES系統(tǒng)采用分散式架構(gòu) 有效均衡了集中式交通控制模型的通信需求和計(jì)算荷載 但這類系統(tǒng)采用交通模型預(yù)測(cè)路口環(huán)境演化 且不具備自學(xué)習(xí)能力 在高飽和度等復(fù)雜交通條件下控制效果差 多智能體系統(tǒng) 又稱分布式軟件平臺(tái) 支持和管理智能體的運(yùn)行 智能體可分為靜態(tài)智能體和移動(dòng)智能體 相應(yīng)地 多智能體系統(tǒng)分為靜態(tài)智能體系統(tǒng)和移動(dòng)智能體系統(tǒng) 各個(gè)智能體模塊作用于智能體網(wǎng)絡(luò)系統(tǒng)的每個(gè)節(jié)點(diǎn) 為使智能體和智能體系統(tǒng)可在異構(gòu)的管理平臺(tái)上相互操作 智能體的設(shè)計(jì)應(yīng)當(dāng)符合智能體的通用標(biāo)準(zhǔn) 近年來 應(yīng)用智能體技術(shù)實(shí)現(xiàn)全息交通數(shù)據(jù)環(huán)境下交通運(yùn)輸系統(tǒng)的優(yōu)化成為研究和應(yīng)用的熱點(diǎn)之一 但是 只是少數(shù)學(xué)者研究 采用智能體技術(shù)開發(fā)的控制系統(tǒng)構(gòu)架可分為分層式 網(wǎng)絡(luò)式和混合式 種 分層式結(jié)構(gòu)將整個(gè)系統(tǒng)分解成若干個(gè)子系統(tǒng) 各子系統(tǒng)彼此之間的交互較弱 網(wǎng)絡(luò)式結(jié)構(gòu)是一種完全分散的智能體系統(tǒng) 各智能體之間相互通信且獨(dú)立進(jìn)行決策 因而 各分布式的智能體僅考慮局部效益 不能從全局的角度預(yù)測(cè)整個(gè)網(wǎng)絡(luò)狀態(tài) 混合式結(jié)構(gòu)正是結(jié)合了分層式和網(wǎng)絡(luò)式的特征進(jìn)行設(shè)計(jì) INTRYS和TRYSA2系統(tǒng)Hernandez比較了城市智能交通管理系統(tǒng)的兩種結(jié)構(gòu) 集中分層式和分散網(wǎng)絡(luò)式 分別提出了INTRYS和TRYSA2兩個(gè)系統(tǒng) 并應(yīng)用于相同城市交通網(wǎng)絡(luò)的管理 INTRYS通過分層式結(jié)構(gòu)對(duì)智能體進(jìn)行協(xié)調(diào)管理 而TRYSA2則采用網(wǎng)絡(luò)分散式協(xié)調(diào) 分析結(jié)果表明 網(wǎng)絡(luò)式結(jié)構(gòu)具有高同步 可重用及可拓展性好等特性 但對(duì)具有高復(fù)雜度的協(xié)調(diào)任務(wù) 分層式結(jié)構(gòu)則優(yōu)于網(wǎng)絡(luò)式 這是因?yàn)榉謱邮浇Y(jié)構(gòu)搜索關(guān)聯(lián)智能體進(jìn)行計(jì)算的速度更快 多數(shù)基于智能體技術(shù)開發(fā)的應(yīng)用系統(tǒng)只關(guān)注由靜態(tài)智能體組成的分布式多智能體系統(tǒng) 為了驗(yàn)證移動(dòng)智能體技術(shù)在智能交通系統(tǒng)中應(yīng)用的潛力 Chen在提出的多智能體系統(tǒng)中集成了移動(dòng)智能體 用以提高既有系統(tǒng)大范圍交通控制與管理的靈活性及自適應(yīng)性 并開發(fā)了一個(gè)符合IEEE的FIPA標(biāo)準(zhǔn)的移動(dòng)智能體系統(tǒng)Mobile C 將其應(yīng)用于交通的管理和檢檢 與靜態(tài)智能體相比 移動(dòng)智能體具有從網(wǎng)絡(luò)中一個(gè)系統(tǒng)轉(zhuǎn)移到另一個(gè)系統(tǒng)的能力 具有減小網(wǎng)絡(luò)負(fù)載 支持?jǐn)嚅_控制 支持異構(gòu)環(huán)境 動(dòng)態(tài)生成組件等功能 因而 系統(tǒng)可在運(yùn)行過程中實(shí)時(shí)地動(dòng)態(tài)更新任務(wù)的代碼及算法 并采用移動(dòng)智能體技術(shù)將其發(fā)送到目標(biāo)子系統(tǒng)中執(zhí)行 研究表明智能體的快速移動(dòng)特性為解決大范圍交通控制與管理的挑戰(zhàn)帶來了新的機(jī)遇 為實(shí)時(shí)遠(yuǎn)程交互 卸載數(shù)據(jù)荷載 跨平臺(tái)操作以及定制化服務(wù)等帶來了新的解決方案 移動(dòng)智能體系統(tǒng)Mobile C Wang等提出的一個(gè)基于智能體的網(wǎng)絡(luò)級(jí)交通管理系統(tǒng)ADAPTS 該系統(tǒng)將一個(gè)復(fù)雜的網(wǎng)絡(luò)控制算法分解成多個(gè)以任務(wù)為導(dǎo)向的控制智能體 實(shí)現(xiàn)網(wǎng)絡(luò)級(jí)的自適應(yīng)交通信號(hào)控制 ADAPTS采用了 級(jí)的分層式結(jié)構(gòu) 最高層負(fù)責(zé)規(guī)劃和推理控制智能體的任務(wù)序列 中間層負(fù)責(zé)協(xié)調(diào)和分派控制智能體 最底層則實(shí)現(xiàn)各控制智能體的運(yùn)行 系統(tǒng)采用移動(dòng)智能體技術(shù)實(shí)現(xiàn)各個(gè)控制智能體 實(shí)現(xiàn)控制智能體在遠(yuǎn)程交通控制中心至現(xiàn)場(chǎng)交通控制器以及現(xiàn)場(chǎng)控制器之間的靈活轉(zhuǎn)移 以響應(yīng)不同交通交件下交通需求變化 有效提升了智能交能控制系統(tǒng)的靈活性 ADAPTS系統(tǒng) TBMCS系統(tǒng) Katwijk開發(fā)了一個(gè)面向道路交通管理的多智能體系統(tǒng)測(cè)試平臺(tái)TBMCS 其支持在不同策略及條件下對(duì)多智能體系統(tǒng)系統(tǒng)性能進(jìn)行測(cè)試和檢驗(yàn) 從而加快基于多智能體應(yīng)用系統(tǒng)的原型設(shè)計(jì)與開發(fā) 由智能體模型 環(huán)境模型以及通信模型組成 且通信模塊符合 標(biāo)準(zhǔn) 分別模擬智能體的智能決策 環(huán)境狀態(tài)表達(dá)和協(xié)同交互 城市化和機(jī)動(dòng)化進(jìn)程的加快 交通擁堵 交通安全和污染惡化等問題已成為世界各大城市共同面對(duì)的挑戰(zhàn) 傳統(tǒng)集中式交通控制系統(tǒng)依懶于預(yù)測(cè)模型的精度 且無法處理時(shí)變交通流的不確定性 國內(nèi)外許多學(xué)者開始應(yīng)用智能體技術(shù)探尋大范圍交通控制的智能解決方案 包括城市交通控制 urbantrafficcontrol UTC 模型 交叉口信號(hào)控制 路徑誘導(dǎo)與 的集成系統(tǒng)以及分布式交通數(shù)據(jù)管理 下表中列出了智能體技術(shù)在道路交通信號(hào)控制中的代表性研究 2 基于智能體的交通信號(hào)控制方法 智能體技術(shù)在道路交通信號(hào)控制系統(tǒng)中應(yīng)用 智能體技術(shù)在道路交通信號(hào)控制系統(tǒng)中應(yīng)用 總結(jié) 城市交通網(wǎng)絡(luò)環(huán)境具有典型的動(dòng)態(tài)性和隨機(jī)性 在不能完全獲取交通系統(tǒng)狀態(tài)信息 不能完全理解系統(tǒng)內(nèi)部機(jī)理 不能建立被控對(duì)象精確模型的條件下 基于MARL的交通信號(hào)控制方法僅利用控制過程的輸入和輸出數(shù)據(jù) 自主尋找隱含的控制知