分類
發燒車訊

面試官:換人!他連 TCP 這幾個參數都不懂

每日一句英語學習,每天進步一點點:

前言

TCP 性能的提升不僅考察 TCP 的理論知識,還考察了對於操作系統提供的內核參數的理解與應用。

TCP 協議是由操作系統實現,所以操作系統提供了不少調節 TCP 的參數。

Linux TCP 參數

如何正確有效的使用這些參數,來提高 TCP 性能是一個不那麼簡單事情。我們需要針對 TCP 每個階段的問題來對症下藥,而不是病急亂投醫。

接下來,將以三個角度來闡述提升 TCP 的策略,分別是:

  • TCP 三次握手的性能提升;
  • TCP 四次揮手的性能提升;
  • TCP 數據傳輸的性能提升;

本節提綱

正文

01 TCP 三次握手的性能提升

TCP 是面向連接的、可靠的、雙向傳輸的傳輸層通信協議,所以在傳輸數據之前需要經過三次握手才能建立連接。

三次握手與數據傳輸

那麼,三次握手的過程在一個 HTTP 請求的平均時間佔比 10% 以上,在網絡狀態不佳、高併發或者遭遇 SYN 攻擊等場景中,如果不能有效正確的調節三次握手中的參數,就會對性能產生很多的影響。

如何正確有效的使用這些參數,來提高 TCP 三次握手的性能,這就需要理解「三次握手的狀態變遷」,這樣當出現問題時,先用 netstat 命令查看是哪個握手階段出現了問題,再來對症下藥,而不是病急亂投醫。

TCP 三次握手的狀態變遷

客戶端和服務端都可以針對三次握手優化性能。主動發起連接的客戶端優化相對簡單些,而服務端需要監聽端口,屬於被動連接方,其間保持許多的中間狀態,優化方法相對複雜一些。

所以,客戶端(主動發起連接方)和服務端(被動連接方)優化的方式是不同的,接下來分別針對客戶端和服務端優化。

客戶端優化

三次握手建立連接的首要目的是「同步序列號」。

只有同步了序列號才有可靠傳輸,TCP 許多特性都依賴於序列號實現,比如流量控制、丟包重傳等,這也是三次握手中的報文稱為 SYN 的原因,SYN 的全稱就叫 Synchronize Sequence Numbers(同步序列號)。

TCP 頭部

SYN_SENT 狀態的優化

客戶端作為主動發起連接方,首先它將發送 SYN 包,於是客戶端的連接就會處於 SYN_SENT 狀態。

客戶端在等待服務端回復的 ACK 報文,正常情況下,服務器會在幾毫秒內返回 SYN+ACK ,但如果客戶端長時間沒有收到 SYN+ACK 報文,則會重發 SYN 包,重發的次數由 tcp_syn_retries 參數控制,默認是 5 次:

通常,第一次超時重傳是在 1 秒后,第二次超時重傳是在 2 秒,第三次超時重傳是在 4 秒后,第四次超時重傳是在 8 秒后,第五次是在超時重傳 16 秒后。沒錯,每次超時的時間是上一次的 2 倍

當第五次超時重傳后,會繼續等待 32 秒,如果仍然服務端沒有回應 ACK,客戶端就會終止三次握手。

所以,總耗時是 1+2+4+8+16+32=63 秒,大約 1 分鐘左右。

SYN 超時重傳

你可以根據網絡的穩定性和目標服務器的繁忙程度修改 SYN 的重傳次數,調整客戶端的三次握手時間上限。比如內網中通訊時,就可以適當調低重試次數,儘快把錯誤暴露給應用程序。

服務端優化

當服務端收到 SYN 包后,服務端會立馬回復 SYN+ACK 包,表明確認收到了客戶端的序列號,同時也把自己的序列號發給對方。

此時,服務端出現了新連接,狀態是 SYN_RCV。在這個狀態下,Linux 內核就會建立一個「半連接隊列」來維護「未完成」的握手信息,當半連接隊列溢出后,服務端就無法再建立新的連接。

半連接隊列與全連接隊列

SYN 攻擊,攻擊的是就是這個半連接隊列。

如何查看由於 SYN 半連接隊列已滿,而被丟棄連接的情況?

我們可以通過該 netstat -s 命令給出的統計結果中, 可以得到由於半連接隊列已滿,引發的失敗次數:

上面輸出的數值是累計值,表示共有多少個 TCP 連接因為半連接隊列溢出而被丟棄。隔幾秒執行幾次,如果有上升的趨勢,說明當前存在半連接隊列溢出的現象

如何調整 SYN 半連接隊列大小?

要想增大半連接隊列,不能只單純增大 tcp_max_syn_backlog 的值,還需一同增大 somaxconn 和 backlog,也就是增大 accept 隊列。否則,只單純增大 tcp_max_syn_backlog 是無效的。

增大 tcp_max_syn_backlog 和 somaxconn 的方法是修改 Linux 內核參數:

增大 backlog 的方式,每個 Web 服務都不同,比如 Nginx 增大 backlog 的方法如下:

最後,改變了如上這些參數后,要重啟 Nginx 服務,因為 SYN 半連接隊列和 accept 隊列都是在 listen() 初始化的。

如果 SYN 半連接隊列已滿,只能丟棄連接嗎?

並不是這樣,開啟 syncookies 功能就可以在不使用 SYN 半連接隊列的情況下成功建立連接

syncookies 的工作原理:服務器根據當前狀態計算出一個值,放在己方發出的 SYN+ACK 報文中發出,當客戶端返回 ACK 報文時,取出該值驗證,如果合法,就認為連接建立成功,如下圖所示。

開啟 syncookies 功能

syncookies 參數主要有以下三個值:

  • 0 值,表示關閉該功能;
  • 1 值,表示僅當 SYN 半連接隊列放不下時,再啟用它;
  • 2 值,表示無條件開啟功能;

那麼在應對 SYN 攻擊時,只需要設置為 1 即可:

SYN_RCV 狀態的優化

當客戶端接收到服務器發來的 SYN+ACK 報文後,就會回復 ACK 給服務器,同時客戶端連接狀態從 SYN_SENT 轉換為 ESTABLISHED,表示連接建立成功。

服務器端連接成功建立的時間還要再往後,等到服務端收到客戶端的 ACK 后,服務端的連接狀態才變為 ESTABLISHED。

如果服務器沒有收到 ACK,就會重發 SYN+ACK 報文,同時一直處於 SYN_RCV 狀態。

當網絡繁忙、不穩定時,報文丟失就會變嚴重,此時應該調大重發次數。反之則可以調小重發次數。修改重發次數的方法是,調整 tcp_synack_retries 參數

tcp_synack_retries 的默認重試次數是 5 次,與客戶端重傳 SYN 類似,它的重傳會經歷 1、2、4、8、16 秒,最後一次重傳後會繼續等待 32 秒,如果服務端仍然沒有收到 ACK,才會關閉連接,故共需要等待 63 秒。

服務器收到 ACK 后連接建立成功,此時,內核會把連接從半連接隊列移除,然後創建新的完全的連接,並將其添加到 accept 隊列,等待進程調用 accept 函數時把連接取出來。

如果進程不能及時地調用 accept 函數,就會造成 accept 隊列(也稱全連接隊列)溢出,最終導致建立好的 TCP 連接被丟棄。

accept 隊列溢出

accept 隊列已滿,只能丟棄連接嗎?

丟棄連接只是 Linux 的默認行為,我們還可以選擇向客戶端發送 RST 複位報文,告訴客戶端連接已經建立失敗。打開這一功能需要將 tcp_abort_on_overflow 參數設置為 1。

tcp_abort_on_overflow 共有兩個值分別是 0 和 1,其分別表示:

  • 0 :如果 accept 隊列滿了,那麼 server 扔掉 client 發過來的 ack ;
  • 1 :如果 accept 隊列滿了,server 發送一個 RST 包給 client,表示廢掉這個握手過程和這個連接;

如果要想知道客戶端連接不上服務端,是不是服務端 TCP 全連接隊列滿的原因,那麼可以把 tcp_abort_on_overflow 設置為 1,這時如果在客戶端異常中可以看到很多 connection reset by peer 的錯誤,那麼就可以證明是由於服務端 TCP 全連接隊列溢出的問題。

通常情況下,應當把 tcp_abort_on_overflow 設置為 0,因為這樣更有利於應對突發流量。

舉個例子,當 accept 隊列滿導致服務器丟掉了 ACK,與此同時,客戶端的連接狀態卻是 ESTABLISHED,客戶端進程就在建立好的連接上發送請求。只要服務器沒有為請求回復 ACK,客戶端的請求就會被多次「重發」。如果服務器上的進程只是短暫的繁忙造成 accept 隊列滿,那麼當 accept 隊列有空位時,再次接收到的請求報文由於含有 ACK,仍然會觸發服務器端成功建立連接。

tcp_abort_on_overflow 為 0 可以應對突發流量

所以,tcp_abort_on_overflow 設為 0 可以提高連接建立的成功率,只有你非常肯定 TCP 全連接隊列會長期溢出時,才能設置為 1 以儘快通知客戶端。

如何調整 accept 隊列的長度呢?

accept 隊列的長度取決於 somaxconn 和 backlog 之間的最小值,也就是 min(somaxconn, backlog),其中:

  • somaxconn 是 Linux 內核的參數,默認值是 128,可以通過 net.core.somaxconn 來設置其值;
  • backlog 是 listen(int sockfd, int backlog) 函數中的 backlog 大小;

Tomcat、Nginx、Apache 常見的 Web 服務的 backlog 默認值都是 511。

如何查看服務端進程 accept 隊列的長度?

可以通過 ss -ltn 命令查看:

  • Recv-Q:當前 accept 隊列的大小,也就是當前已完成三次握手並等待服務端 accept() 的 TCP 連接;
  • Send-Q:accept 隊列最大長度,上面的輸出結果說明監聽 8088 端口的 TCP 服務,accept 隊列的最大長度為 128;

如何查看由於 accept 連接隊列已滿,而被丟棄的連接?

當超過了 accept 連接隊列,服務端則會丟掉後續進來的 TCP 連接,丟掉的 TCP 連接的個數會被統計起來,我們可以使用 netstat -s 命令來查看:

上面看到的 41150 times ,表示 accept 隊列溢出的次數,注意這個是累計值。可以隔幾秒鐘執行下,如果這個数字一直在增加的話,說明 accept 連接隊列偶爾滿了。

如果持續不斷地有連接因為 accept 隊列溢出被丟棄,就應該調大 backlog 以及 somaxconn 參數。

如何繞過三次握手?

以上我們只是在對三次握手的過程進行優化,接下來我們看看如何繞過三次握手發送數據。

三次握手建立連接造成的後果就是,HTTP 請求必須在一個 RTT(從客戶端到服務器一個往返的時間)后才能發送。

常規 HTTP 請求

在 Linux 3.7 內核版本之後,提供了 TCP Fast Open 功能,這個功能可以減少 TCP 連接建立的時延。

接下來說說,TCP Fast Open 功能的工作方式。

開啟 TCP Fast Open 功能

在客戶端首次建立連接時的過程:

  1. 客戶端發送 SYN 報文,該報文包含 Fast Open 選項,且該選項的 Cookie 為空,這表明客戶端請求 Fast Open Cookie;
  2. 支持 TCP Fast Open 的服務器生成 Cookie,並將其置於 SYN-ACK 數據包中的 Fast Open 選項以發回客戶端;
  3. 客戶端收到 SYN-ACK 后,本地緩存 Fast Open 選項中的 Cookie。

所以,第一次發起 HTTP GET 請求的時候,還是需要正常的三次握手流程。

之後,如果客戶端再次向服務器建立連接時的過程:

  1. 客戶端發送 SYN 報文,該報文包含「數據」(對於非 TFO 的普通 TCP 握手過程,SYN 報文中不包含「數據」)以及此前記錄的 Cookie;
  2. 支持 TCP Fast Open 的服務器會對收到 Cookie 進行校驗:如果 Cookie 有效,服務器將在 SYN-ACK 報文中對 SYN 和「數據」進行確認,服務器隨後將「數據」遞送至相應的應用程序;如果 Cookie 無效,服務器將丟棄 SYN 報文中包含的「數據」,且其隨後發出的 SYN-ACK 報文將只確認 SYN 的對應序列號;
  3. 如果服務器接受了 SYN 報文中的「數據」,服務器可在握手完成之前發送「數據」,這就減少了握手帶來的 1 個 RTT 的時間消耗
  4. 客戶端將發送 ACK 確認服務器發回的 SYN 以及「數據」,但如果客戶端在初始的 SYN 報文中發送的「數據」沒有被確認,則客戶端將重新發送「數據」;
  5. 此後的 TCP 連接的數據傳輸過程和非 TFO 的正常情況一致。

所以,之後發起 HTTP GET 請求的時候,可以繞過三次握手,這就減少了握手帶來的 1 個 RTT 的時間消耗。

開啟了 TFO 功能,cookie 的值是存放到 TCP option 字段里的:

TCP option 字段 – TFO

注:客戶端在請求並存儲了 Fast Open Cookie 之後,可以不斷重複 TCP Fast Open 直至服務器認為 Cookie 無效(通常為過期)。

Linux 下怎麼打開 TCP Fast Open 功能呢?

在 Linux 系統中,可以通過設置 tcp_fastopn 內核參數,來打開 Fast Open 功能

tcp_fastopn 各個值的意義:

  • 0 關閉
  • 1 作為客戶端使用 Fast Open 功能
  • 2 作為服務端使用 Fast Open 功能
  • 3 無論作為客戶端還是服務器,都可以使用 Fast Open 功能

TCP Fast Open 功能需要客戶端和服務端同時支持,才有效果。

小結

本小結主要介紹了關於優化 TCP 三次握手的幾個 TCP 參數。

三次握手優化策略

客戶端的優化

當客戶端發起 SYN 包時,可以通過 tcp_syn_retries 控制其重傳的次數。

服務端的優化

當服務端 SYN 半連接隊列溢出后,會導致後續連接被丟棄,可以通過 netstat -s 觀察半連接隊列溢出的情況,如果 SYN 半連接隊列溢出情況比較嚴重,可以通過 tcp_max_syn_backlog、somaxconn、backlog 參數來調整 SYN 半連接隊列的大小。

服務端回復 SYN+ACK 的重傳次數由 tcp_synack_retries 參數控制。如果遭受 SYN 攻擊,應把 tcp_syncookies 參數設置為 1,表示僅在 SYN 隊列滿后開啟 syncookie 功能,可以保證正常的連接成功建立。

服務端收到客戶端返回的 ACK,會把連接移入 accpet 隊列,等待進行調用 accpet() 函數取出連接。

可以通過 ss -lnt 查看服務端進程的 accept 隊列長度,如果 accept 隊列溢出,系統默認丟棄 ACK,如果可以把 tcp_abort_on_overflow 設置為 1 ,表示用 RST 通知客戶端連接建立失敗。

如果 accpet 隊列溢出嚴重,可以通過 listen 函數的 backlog 參數和 somaxconn 系統參數提高隊列大小,accept 隊列長度取決於 min(backlog, somaxconn)。

繞過三次握手

TCP Fast Open 功能可以繞過三次握手,使得 HTTP 請求減少了 1 個 RTT 的時間,Linux 下可以通過 tcp_fastopen 開啟該功能,同時必須保證服務端和客戶端同時支持。

02 TCP 四次揮手的性能提升

接下來,我們一起看看針對 TCP 四次揮手關不連接時,如何優化性能。

在開始之前,我們得先了解四次揮手狀態變遷的過程。

客戶端和服務端雙方都可以主動斷開連接,通常先關閉連接的一方稱為主動方,后關閉連接的一方稱為被動方。

客戶端主動關閉

可以看到,四次揮手過程只涉及了兩種報文,分別是 FIN 和 ACK

  • FIN 就是結束連接的意思,誰發出 FIN 報文,就表示它將不會再發送任何數據,關閉這一方向上的傳輸通道;
  • ACK 就是確認的意思,用來通知對方:你方的發送通道已經關閉;

四次揮手的過程:

  • 當主動方關閉連接時,會發送 FIN 報文,此時發送方的 TCP 連接將從 ESTABLISHED 變成 FIN_WAIT1。
  • 當被動方收到 FIN 報文後,內核會自動回復 ACK 報文,連接狀態將從 ESTABLISHED 變成 CLOSE_WAIT,表示被動方在等待進程調用 close 函數關閉連接。
  • 當主動方收到這個 ACK 后,連接狀態由 FIN_WAIT1 變為 FIN_WAIT2,也就是表示主動方的發送通道就關閉了
  • 當被動方進入 CLOSE_WAIT 時,被動方還會繼續處理數據,等到進程的 read 函數返回 0 后,應用程序就會調用 close 函數,進而觸發內核發送 FIN 報文,此時被動方的連接狀態變為 LAST_ACK。
  • 當主動方收到這個 FIN 報文後,內核會回復 ACK 報文給被動方,同時主動方的連接狀態由 FIN_WAIT2 變為 TIME_WAIT,在 Linux 系統下大約等待 1 分鐘后,TIME_WAIT 狀態的連接才會徹底關閉
  • 當被動方收到最後的 ACK 報文後,被動方的連接就會關閉

你可以看到,每個方向都需要一個 FIN 和一個 ACK,因此通常被稱為四次揮手

這裏一點需要注意是:主動關閉連接的,才有 TIME_WAIT 狀態。

主動關閉方和被動關閉方優化的思路也不同,接下來分別說說如何優化他們。

主動方的優化

關閉的連接的方式通常有兩種,分別是 RST 報文關閉和 FIN 報文關閉。

如果進程異常退出了,內核就會發送 RST 報文來關閉,它可以不走四次揮手流程,是一個暴力關閉連接的方式。

安全關閉連接的方式必須通過四次揮手,它由進程調用 closeshutdown 函數發起 FIN 報文(shutdown 參數須傳入 SHUT_WR 或者 SHUT_RDWR 才會發送 FIN)。

調用 close 函數 和 shutdown 函數有什麼區別?

調用了 close 函數意味着完全斷開連接,完全斷開不僅指無法傳輸數據,而且也不能發送數據。 此時,調用了 close 函數的一方的連接叫做「孤兒連接」,如果你用 netstat -p 命令,會發現連接對應的進程名為空。

使用 close 函數關閉連接是不優雅的。於是,就出現了一種優雅關閉連接的 shutdown 函數,它可以控制只關閉一個方向的連接

第二個參數決定斷開連接的方式,主要有以下三種方式:

  • SHUT_RD(0):關閉連接的「讀」這個方向,如果接收緩衝區有已接收的數據,則將會被丟棄,並且後續再收到新的數據,會對數據進行 ACK,然後悄悄地丟棄。也就是說,對端還是會接收到 ACK,在這種情況下根本不知道數據已經被丟棄了。
  • SHUT_WR(1):關閉連接的「寫」這個方向,這就是常被稱為「半關閉」的連接。如果發送緩衝區還有未發送的數據,將被立即發送出去,併發送一個 FIN 報文給對端。
  • SHUT_RDWR(2):相當於 SHUT_RD 和 SHUT_WR 操作各一次,關閉套接字的讀和寫兩個方向

close 和 shutdown 函數都可以關閉連接,但這兩種方式關閉的連接,不只功能上有差異,控制它們的 Linux 參數也不相同。

FIN_WAIT1 狀態的優化

主動方發送 FIN 報文後,連接就處於 FIN_WAIT1 狀態,正常情況下,如果能及時收到被動方的 ACK,則會很快變為 FIN_WAIT2 狀態。

但是當遲遲收不到對方返回的 ACK 時,連接就會一直處於 FIN_WAIT1 狀態。此時,內核會定時重發 FIN 報文,其中重發次數由 tcp_orphan_retries 參數控制(注意,orphan 雖然是孤兒的意思,該參數卻不只對孤兒連接有效,事實上,它對所有 FIN_WAIT1 狀態下的連接都有效),默認值是 0。

你可能會好奇,這 0 表示幾次?實際上當為 0 時,特指 8 次,從下面的內核源碼可知:

如果 FIN_WAIT1 狀態連接很多,我們就需要考慮降低 tcp_orphan_retries 的值,當重傳次數超過 tcp_orphan_retries 時,連接就會直接關閉掉。

對於普遍正常情況時,調低 tcp_orphan_retries 就已經可以了。如果遇到惡意攻擊,FIN 報文根本無法發送出去,這由 TCP 兩個特性導致的:

  • 首先,TCP 必須保證報文是有序發送的,FIN 報文也不例外,當發送緩衝區還有數據沒有發送時,FIN 報文也不能提前發送。
  • 其次,TCP 有流量控制功能,當接收方接收窗口為 0 時,發送方就不能再發送數據。所以,當攻擊者下載大文件時,就可以通過接收窗口設為 0 ,這就會使得 FIN 報文都無法發送出去,那麼連接會一直處於 FIN_WAIT1 狀態。

解決這種問題的方法,是調整 tcp_max_orphans 參數,它定義了「孤兒連接」的最大數量

當進程調用了 close 函數關閉連接,此時連接就會是「孤兒連接」,因為它無法在發送和接收數據。Linux 系統為了防止孤兒連接過多,導致系統資源長時間被佔用,就提供了 tcp_max_orphans 參數。如果孤兒連接數量大於它,新增的孤兒連接將不再走四次揮手,而是直接發送 RST 複位報文強制關閉。

FIN_WAIT2 狀態的優化

當主動方收到 ACK 報文後,會處於 FIN_WAIT2 狀態,就表示主動方的發送通道已經關閉,接下來將等待對方發送 FIN 報文,關閉對方的發送通道。

這時,如果連接是用 shutdown 函數關閉的,連接可以一直處於 FIN_WAIT2 狀態,因為它可能還可以發送或接收數據。但對於 close 函數關閉的孤兒連接,由於無法在發送和接收數據,所以這個狀態不可以持續太久,而 tcp_fin_timeout 控制了這個狀態下連接的持續時長,默認值是 60 秒:

它意味着對於孤兒連接(調用 close 關閉的連接),如果在 60 秒后還沒有收到 FIN 報文,連接就會直接關閉。

這個 60 秒不是隨便決定的,它與 TIME_WAIT 狀態持續的時間是相同的,後面我們在來說說為什麼是 60 秒。

TIME_WAIT 狀態的優化

TIME_WAIT 是主動方四次揮手的最後一個狀態,也是最常遇見的狀態。

當收到被動方發來的 FIN 報文後,主動方會立刻回復 ACK,表示確認對方的發送通道已經關閉,接着就處於 TIME_WAIT 狀態。在 Linux 系統,TIME_WAIT 狀態會持續 60 秒后才會進入關閉狀態。

TIME_WAIT 狀態的連接,在主動方看來確實快已經關閉了。然後,被動方沒有收到 ACK 報文前,還是處於 LAST_ACK 狀態。如果這個 ACK 報文沒有到達被動方,被動方就會重發 FIN 報文。重發次數仍然由前面介紹過的 tcp_orphan_retries 參數控制。

TIME-WAIT 的狀態尤其重要,主要是兩個原因:

  • 防止具有相同「四元組」的「舊」數據包被收到;
  • 保證「被動關閉連接」的一方能被正確的關閉,即保證最後的 ACK 能讓被動關閉方接收,從而幫助其正常關閉;

原因一:防止舊連接的數據包

TIME-WAIT 的一個作用是防止收到歷史數據,從而導致數據錯亂的問題。

假設 TIME-WAIT 沒有等待時間或時間過短,被延遲的數據包抵達後會發生什麼呢?

接收到歷史數據的異常

  • 如上圖黃色框框服務端在關閉連接之前發送的 SEQ = 301 報文,被網絡延遲了。
  • 這時有相同端口的 TCP 連接被複用后,被延遲的 SEQ = 301 抵達了客戶端,那麼客戶端是有可能正常接收這個過期的報文,這就會產生數據錯亂等嚴重的問題。

所以,TCP 就設計出了這麼一個機制,經過 2MSL 這個時間,足以讓兩個方向上的數據包都被丟棄,使得原來連接的數據包在網絡中都自然消失,再出現的數據包一定都是新建立連接所產生的。

原因二:保證連接正確關閉

TIME-WAIT 的另外一個作用是等待足夠的時間以確保最後的 ACK 能讓被動關閉方接收,從而幫助其正常關閉。

假設 TIME-WAIT 沒有等待時間或時間過短,斷開連接會造成什麼問題呢?

沒有確保正常斷開的異常

  • 如上圖紅色框框客戶端四次揮手的最後一個 ACK 報文如果在網絡中被丟失了,此時如果客戶端 TIME-WAIT 過短或沒有,則就直接進入了 CLOSE 狀態了,那麼服務端則會一直處在 LASE-ACK 狀態。
  • 當客戶端發起建立連接的 SYN 請求報文後,服務端會發送 RST 報文給客戶端,連接建立的過程就會被終止。

我們再回過頭來看看,為什麼 TIME_WAIT 狀態要保持 60 秒呢?這與孤兒連接 FIN_WAIT2 狀態默認保留 60 秒的原理是一樣的,因為這兩個狀態都需要保持 2MSL 時長。MSL 全稱是 Maximum Segment Lifetime,它定義了一個報文在網絡中的最長生存時間(報文每經過一次路由器的轉發,IP 頭部的 TTL 字段就會減 1,減到 0 時報文就被丟棄,這就限制了報文的最長存活時間)。

為什麼是 2 MSL 的時長呢?這其實是相當於至少允許報文丟失一次。比如,若 ACK 在一個 MSL 內丟失,這樣被動方重發的 FIN 會在第 2 個 MSL 內到達,TIME_WAIT 狀態的連接可以應對。

為什麼不是 4 或者 8 MSL 的時長呢?你可以想象一個丟包率達到百分之一的糟糕網絡,連續兩次丟包的概率只有萬分之一,這個概率實在是太小了,忽略它比解決它更具性價比。

因此,TIME_WAIT 和 FIN_WAIT2 狀態的最大時長都是 2 MSL,由於在 Linux 系統中,MSL 的值固定為 30 秒,所以它們都是 60 秒。

雖然 TIME_WAIT 狀態有存在的必要,但它畢竟會消耗系統資源。如果發起連接一方的 TIME_WAIT 狀態過多,佔滿了所有端口資源,則會導致無法創建新連接。

  • 客戶端受端口資源限制:如果客戶端 TIME_WAIT 過多,就會導致端口資源被佔用,因為端口就65536個,被佔滿就會導致無法創建新的連接;
  • 服務端受系統資源限制:由於一個 四元組表示TCP連接,理論上服務端可以建立很多連接,服務端確實只監聽一個端口 但是會把連接扔給處理線程,所以理論上監聽的端口可以繼續監聽。但是線程池處理不了那麼多一直不斷的連接了。所以當服務端出現大量 TIME_WAIT 時,系統資源被佔滿時,會導致處理不過來新的連接;

另外,Linux 提供了 tcp_max_tw_buckets 參數,當 TIME_WAIT 的連接數量超過該參數時,新關閉的連接就不再經歷 TIME_WAIT 而直接關閉:

當服務器的併發連接增多時,相應地,同時處於 TIME_WAIT 狀態的連接數量也會變多,此時就應當調大 tcp_max_tw_buckets 參數,減少不同連接間數據錯亂的概率。

tcp_max_tw_buckets 也不是越大越好,畢竟內存和端口都是有限的。

有一種方式可以在建立新連接時,復用處於 TIME_WAIT 狀態的連接,那就是打開 tcp_tw_reuse 參數。但是需要注意,該參數是只用於客戶端(建立連接的發起方),因為是在調用 connect() 時起作用的,而對於服務端(被動連接方)是沒有用的。

tcp_tw_reuse 從協議角度理解是安全可控的,可以復用處於 TIME_WAIT 的端口為新的連接所用。

什麼是協議角度理解的安全可控呢?主要有兩點:

  • 只適用於連接發起方,也就是 C/S 模型中的客戶端;
  • 對應的 TIME_WAIT 狀態的連接創建時間超過 1 秒才可以被複用。

使用這個選項,還有一個前提,需要打開對 TCP 時間戳的支持(對方也要打開 ):

由於引入了時間戳,它能帶來了些好處:

  • 我們在前面提到的 2MSL 問題就不復存在了,因為重複的數據包會因為時間戳過期被自然丟棄;
  • 同時,它還可以防止序列號繞回,也是因為重複的數據包會由於時間戳過期被自然丟棄;

時間戳是在 TCP 的選擇字段里定義的,開啟了時間戳功能,在 TCP 報文傳輸的時候會帶上發送報文的時間戳。

TCP option 字段 – 時間戳

我們來看看開啟了 tcp_tw_reuse 功能,如果四次揮手中的最後一次 ACK 在網絡中丟失了,會發生什麼?

四次揮手中的最後一次 ACK 在網絡中丟失

上圖的流程:

  • 四次揮手中的最後一次 ACK 在網絡中丟失了,服務端一直處於 LAST_ACK 狀態;
  • 客戶端由於開啟了 tcp_tw_reuse 功能,客戶再次發起新連接的時候,會復用超過 1 秒后的 time_wait 狀態的連接。但客戶端新發的 SYN 包會被忽略(由於時間戳),因為服務端比較了客戶端的上一個報文與 SYN 報文的時間戳,過期的報文就會被服務端丟棄
  • 服務端 FIN 報文遲遲沒有收到四次揮手的最後一次 ACK,於是超時重發了 FIN 報文給客戶端;
  • 處於 SYN_SENT 狀態的客戶,由於收到了 FIN 報文,則會回 RST 給服務端,於是服務端就離開了 LAST_ACK 狀態;
  • 最初的客戶端 SYN 報文超時重發了( 1 秒鐘后),此時就與服務端能正確的三次握手了。

所以大家都會說開啟了 tcp_tw_reuse,可以在復用了 time_wait 狀態的 1 秒過後成功建立連接,這 1 秒主要是花費在 SYN 包重傳。

另外,老版本的 Linux 還提供了 tcp_tw_recycle 參數,但是當開啟了它,就有兩個坑:

  • Linux 會加快客戶端和服務端 TIME_WAIT 狀態的時間,也就是它會使得 TIME_WAIT 狀態會小於 60 秒,很容易導致數據錯亂;
  • 另外,Linux 會丟棄所有來自遠端時間戳小於上次記錄的時間戳(由同一個遠端發送的)的任何數據包。就是說要使用該選項,則必須保證數據包的時間戳是單調遞增的。那麼,問題在於,此處的時間戳並不是我們通常意義上面的絕對時間,而是一個相對時間。很多情況下,我們是沒法保證時間戳單調遞增的,比如使用了 NAT、LVS 等情況;

所以,不建議設置為 1 ,在 Linux 4.12 版本后,Linux 內核直接取消了這一參數,建議關閉它:

另外,我們可以在程序中設置 socket 選項,來設置調用 close 關閉連接行為。

如果 l_onoff 為非 0, 且 l_linger 值為 0,那麼調用 close 后,會立該發送一個 RST 標誌給對端,該 TCP 連接將跳過四次揮手,也就跳過了 TIME_WAIT 狀態,直接關閉。

但這為跨越 TIME_WAIT 狀態提供了一個可能,不過是一個非常危險的行為,不值得提倡。

被動方的優化

當被動方收到 FIN 報文時,內核會自動回復 ACK,同時連接處於 CLOSE_WAIT 狀態,顧名思義,它表示等待應用進程調用 close 函數關閉連接。

內核沒有權利替代進程去關閉連接,因為如果主動方是通過 shutdown 關閉連接,那麼它就是想在半關閉連接上接收數據或發送數據。因此,Linux 並沒有限制 CLOSE_WAIT 狀態的持續時間。

當然,大多數應用程序並不使用 shutdown 函數關閉連接。所以,當你用 netstat 命令發現大量 CLOSE_WAIT 狀態。就需要排查你的應用程序,因為可能因為應用程序出現了 Bug,read 函數返回 0 時,沒有調用 close 函數。

處於 CLOSE_WAIT 狀態時,調用了 close 函數,內核就會發出 FIN 報文關閉發送通道,同時連接進入 LAST_ACK 狀態,等待主動方返回 ACK 來確認連接關閉。

如果遲遲收不到這個 ACK,內核就會重發 FIN 報文,重發次數仍然由 tcp_orphan_retries 參數控制,這與主動方重發 FIN 報文的優化策略一致。

還有一點我們需要注意的,如果被動方迅速調用 close 函數,那麼被動方的 ACK 和 FIN 有可能在一個報文中發送,這樣看起來,四次揮手會變成三次揮手,這隻是一種特殊情況,不用在意。

如果連接雙方同時關閉連接,會怎麼樣?

由於 TCP 是雙全工的協議,所以是會出現兩方同時關閉連接的現象,也就是同時發送了 FIN 報文。

此時,上面介紹的優化策略仍然適用。兩方發送 FIN 報文時,都認為自己是主動方,所以都進入了 FIN_WAIT1 狀態,FIN 報文的重發次數仍由 tcp_orphan_retries 參數控制。

同時關閉

接下來,雙方在等待 ACK 報文的過程中,都等來了 FIN 報文。這是一種新情況,所以連接會進入一種叫做 CLOSING 的新狀態,它替代了 FIN_WAIT2 狀態。接着,雙方內核回復 ACK 確認對方發送通道的關閉后,進入 TIME_WAIT 狀態,等待 2MSL 的時間后,連接自動關閉。

小結

針對 TCP 四次揮手的優化,我們需要根據主動方和被動方四次揮手狀態變化來調整系統 TCP 內核參數。

四次揮手的優化策略

主動方的優化

主動發起 FIN 報文斷開連接的一方,如果遲遲沒收到對方的 ACK 回復,則會重傳 FIN 報文,重傳的次數由 tcp_orphan_retries 參數決定。

當主動方收到 ACK 報文後,連接就進入 FIN_WAIT2 狀態,根據關閉的方式不同,優化的方式也不同:

  • 如果這是 close 函數關閉的連接,那麼它就是孤兒連接。如果 tcp_fin_timeout 秒內沒有收到對方的 FIN 報文,連接就直接關閉。同時,為了應對孤兒連接佔用太多的資源,tcp_max_orphans 定義了最大孤兒連接的數量,超過時連接就會直接釋放。
  • 反之是 shutdown 函數關閉的連接,則不受此參數限制;

當主動方接收到 FIN 報文,並返回 ACK 后,主動方的連接進入 TIME_WAIT 狀態。這一狀態會持續 1 分鐘,為了防止 TIME_WAIT 狀態佔用太多的資源,tcp_max_tw_buckets 定義了最大數量,超過時連接也會直接釋放。

當 TIME_WAIT 狀態過多時,還可以通過設置 tcp_tw_reusetcp_timestamps 為 1 ,將 TIME_WAIT 狀態的端口復用於作為客戶端的新連接,注意該參數只適用於客戶端。

被動方的優化

被動關閉的連接方應對非常簡單,它在回復 ACK 后就進入了 CLOSE_WAIT 狀態,等待進程調用 close 函數關閉連接。因此,出現大量 CLOSE_WAIT 狀態的連接時,應當從應用程序中找問題。

當被動方發送 FIN 報文後,連接就進入 LAST_ACK 狀態,在未等到 ACK 時,會在 tcp_orphan_retries 參數的控制下重發 FIN 報文。

03 TCP 傳輸數據的性能提升

在前面介紹的是三次握手和四次揮手的優化策略,接下來主要介紹的是 TCP 傳輸數據時的優化策略。

TCP 連接是由內核維護的,內核會為每個連接建立內存緩衝區:

  • 如果連接的內存配置過小,就無法充分使用網絡帶寬,TCP 傳輸效率就會降低;
  • 如果連接的內存配置過大,很容易把服務器資源耗盡,這樣就會導致新連接無法建立;

因此,我們必須理解 Linux 下 TCP 內存的用途,才能正確地配置內存大小。

滑動窗口是如何影響傳輸速度的?

TCP 會保證每一個報文都能夠抵達對方,它的機制是這樣:報文發出去后,必須接收到對方返回的確認報文 ACK,如果遲遲未收到,就會超時重發該報文,直到收到對方的 ACK 為止。

所以,TCP 報文發出去后,並不會立馬從內存中刪除,因為重傳時還需要用到它。

由於 TCP 是內核維護的,所以報文存放在內核緩衝區。如果連接非常多,我們可以通過 free 命令觀察到 buff/cache 內存是會增大。

如果 TCP 是每發送一個數據,都要進行一次確認應答。當上一個數據包收到了應答了, 再發送下一個。這個模式就有點像我和你面對面聊天,你一句我一句,但這種方式的缺點是效率比較低的。

按數據包進行確認應答

所以,這樣的傳輸方式有一個缺點:數據包的往返時間越長,通信的效率就越低

要解決這一問題不難,并行批量發送報文,再批量確認報文即刻。

并行處理

然而,這引出了另一個問題,發送方可以隨心所欲的發送報文嗎?當然這不現實,我們還得考慮接收方的處理能力。

當接收方硬件不如發送方,或者系統繁忙、資源緊張時,是無法瞬間處理這麼多報文的。於是,這些報文只能被丟掉,使得網絡效率非常低。

為了解決這種現象發生,TCP 提供一種機制可以讓「發送方」根據「接收方」的實際接收能力控制發送的數據量,這就是滑動窗口的由來。

接收方根據它的緩衝區,可以計算出後續能夠接收多少字節的報文,這個数字叫做接收窗口。當內核接收到報文時,必須用緩衝區存放它們,這樣剩餘緩衝區空間變小,接收窗口也就變小了;當進程調用 read 函數后,數據被讀入了用戶空間,內核緩衝區就被清空,這意味着主機可以接收更多的報文,接收窗口就會變大。

因此,接收窗口並不是恆定不變的,接收方會把當前可接收的大小放在 TCP 報文頭部中的窗口字段,這樣就可以起到窗口大小通知的作用。

發送方的窗口等價於接收方的窗口嗎?如果不考慮擁塞控制,發送方的窗口大小「約等於」接收方的窗口大小,因為窗口通知報文在網絡傳輸是存在時延的,所以是約等於的關係。

TCP 頭部

從上圖中可以看到,窗口字段只有 2 個字節,因此它最多能表達 65535 字節大小的窗口,也就是 64KB 大小。

這個窗口大小最大值,在當今高速網絡下,很明顯是不夠用的。所以後續有了擴充窗口的方法:在 TCP 選項(option)字段定義了窗口擴大因子,用於擴大 TCP 通告窗口,其值大小是 2^14,這樣就使 TCP 的窗口大小從 16 位擴大為 30 位(2^16 * 2^ 14 = 2^30),所以此時窗口的最大值可以達到 1GB。

TCP option 選項 – 窗口擴展

Linux 中打開這一功能,需要把 tcp_window_scaling 配置設為 1(默認打開):

要使用窗口擴大選項,通訊雙方必須在各自的 SYN 報文中發送這個選項:

  • 主動建立連接的一方在 SYN 報文中發送這個選項;
  • 而被動建立連接的一方只有在收到帶窗口擴大選項的 SYN 報文之後才能發送這個選項。

這樣看來,只要進程能及時地調用 read 函數讀取數據,並且接收緩衝區配置得足夠大,那麼接收窗口就可以無限地放大,發送方也就無限地提升發送速度。

這是不可能的,因為網絡的傳輸能力是有限的,當發送方依據發送窗口,發送超過網絡處理能力的報文時,路由器會直接丟棄這些報文。因此,緩衝區的內存並不是越大越好。

如果確定最大傳輸速度?

在前面我們知道了 TCP 的傳輸速度,受制於發送窗口與接收窗口,以及網絡設備傳輸能力。其中,窗口大小由內核緩衝區大小決定。如果緩衝區與網絡傳輸能力匹配,那麼緩衝區的利用率就達到了最大化。

問題來了,如何計算網絡的傳輸能力呢?

相信大家都知道網絡是有「帶寬」限制的,帶寬描述的是網絡傳輸能力,它與內核緩衝區的計量單位不同:

  • 帶寬是單位時間內的流量,表達是「速度」,比如常見的帶寬 100 MB/s;
  • 緩衝區單位是字節,當網絡速度乘以時間才能得到字節數;

這裏需要說一個概念,就是帶寬時延積,它決定網絡中飛行報文的大小,它的計算方式:

比如最大帶寬是 100 MB/s,網絡時延(RTT)是 10ms 時,意味着客戶端到服務端的網絡一共可以存放 100MB/s * 0.01s = 1MB 的字節。

這個 1MB 是帶寬和時延的乘積,所以它就叫「帶寬時延積」(縮寫為 BDP,Bandwidth Delay Product)。同時,這 1MB 也表示「飛行中」的 TCP 報文大小,它們就在網絡線路、路由器等網絡設備上。如果飛行報文超過了 1 MB,就會導致網絡過載,容易丟包。

由於發送緩衝區大小決定了發送窗口的上限,而發送窗口又決定了「已發送未確認」的飛行報文的上限。因此,發送緩衝區不能超過「帶寬時延積」。

發送緩衝區與帶寬時延積的關係:

  • 如果發送緩衝區「超過」帶寬時延積,超出的部分就沒辦法有效的網絡傳輸,同時導致網絡過載,容易丟包;
  • 如果發送緩衝區「小於」帶寬時延積,就不能很好的發揮出網絡的傳輸效率。

所以,發送緩衝區的大小最好是往帶寬時延積靠近。

怎樣調整緩衝區大小?

在 Linux 中發送緩衝區和接收緩衝都是可以用參數調節的。設置完后,Linux 會根據你設置的緩衝區進行動態調節

調節發送緩衝區範圍

先來看看發送緩衝區,它的範圍通過 tcp_wmem 參數配置;

上面三個数字單位都是字節,它們分別表示:

  • 第一個數值是動態範圍的最小值,4096 byte = 4K;
  • 第二個數值是初始默認值,87380 byte ≈ 86K;
  • 第三個數值是動態範圍的最大值,4194304 byte = 4096K(4M);

發送緩衝區是自行調節的,當發送方發送的數據被確認后,並且沒有新的數據要發送,就會把發送緩衝區的內存釋放掉。

調節接收緩衝區範圍

而接收緩衝區的調整就比較複雜一些,先來看看設置接收緩衝區範圍的 tcp_rmem 參數:

上面三個数字單位都是字節,它們分別表示:

  • 第一個數值是動態範圍的最小值,表示即使在內存壓力下也可以保證的最小接收緩衝區大小,4096 byte = 4K;
  • 第二個數值是初始默認值,87380 byte ≈ 86K;
  • 第三個數值是動態範圍的最大值,6291456 byte = 6144K(6M);

接收緩衝區可以根據系統空閑內存的大小來調節接收窗口:

  • 如果系統的空閑內存很多,就可以自動把緩衝區增大一些,這樣傳給對方的接收窗口也會變大,因而提升發送方發送的傳輸數據數量;
  • 反正,如果系統的內存很緊張,就會減少緩衝區,這雖然會降低傳輸效率,可以保證更多的併發連接正常工作;

發送緩衝區的調節功能是自動開啟的,而接收緩衝區則需要配置 tcp_moderate_rcvbuf 為 1 來開啟調節功能

調節 TCP 內存範圍

接收緩衝區調節時,怎麼知道當前內存是否緊張或充分呢?這是通過 tcp_mem 配置完成的:

上面三個数字單位不是字節,而是「頁面大小」,1 頁表示 4KB,它們分別表示:

  • 當 TCP 內存小於第 1 個值時,不需要進行自動調節;
  • 在第 1 和第 2 個值之間時,內核開始調節接收緩衝區的大小;
  • 大於第 3 個值時,內核不再為 TCP 分配新內存,此時新連接是無法建立的;

一般情況下這些值是在系統啟動時根據系統內存數量計算得到的。根據當前 tcp_mem 最大內存頁面數是 177120,當內存為 (177120 * 4) / 1024K ≈ 692M 時,系統將無法為新的 TCP 連接分配內存,即 TCP 連接將被拒絕。

根據實際場景調節的策略

在高併發服務器中,為了兼顧網速與大量的併發連接,我們應當保證緩衝區的動態調整的最大值達到帶寬時延積,而最小值保持默認的 4K 不變即可。而對於內存緊張的服務而言,調低默認值是提高併發的有效手段。

同時,如果這是網絡 IO 型服務器,那麼,調大 tcp_mem 的上限可以讓 TCP 連接使用更多的系統內存,這有利於提升併發能力。需要注意的是,tcp_wmem 和 tcp_rmem 的單位是字節,而 tcp_mem 的單位是頁面大小。而且,千萬不要在 socket 上直接設置 SO_SNDBUF 或者 SO_RCVBUF,這樣會關閉緩衝區的動態調整功能。

小結

本節針對 TCP 優化數據傳輸的方式,做了一些介紹。

數據傳輸的優化策略

TCP 可靠性是通過 ACK 確認報文實現的,又依賴滑動窗口提升了發送速度也兼顧了接收方的處理能力。

可是,默認的滑動窗口最大值只有 64 KB,不滿足當今的高速網絡的要求,要想要想提升發送速度必須提升滑動窗口的上限,在 Linux 下是通過設置 tcp_window_scaling 為 1 做到的,此時最大值可高達 1GB。

滑動窗口定義了網絡中飛行報文的最大字節數,當它超過帶寬時延積時,網絡過載,就會發生丟包。而當它小於帶寬時延積時,就無法充分利用網絡帶寬。因此,滑動窗口的設置,必須參考帶寬時延積。

內核緩衝區決定了滑動窗口的上限,緩衝區可分為:發送緩衝區 tcp_wmem 和接收緩衝區 tcp_rmem。

Linux 會對緩衝區動態調節,我們應該把緩衝區的上限設置為帶寬時延積。發送緩衝區的調節功能是自動打開的,而接收緩衝區需要把 tcp_moderate_rcvbuf 設置為 1 來開啟。其中,調節的依據是 TCP 內存範圍 tcp_mem。

但需要注意的是,如果程序中的 socket 設置 SO_SNDBUF 和 SO_RCVBUF,則會關閉緩衝區的動態整功能,所以不建議在程序設置它倆,而是交給內核自動調整比較好。

有效配置這些參數后,既能夠最大程度地保持併發性,也能讓資源充裕時連接傳輸速度達到最大值。

巨人的肩膀

[1] 系統性能調優必知必會.陶輝.極客時間.

[2] 網絡編程實戰專欄.盛延敏.極客時間.

[3] http://www.blogjava.net/yongboy/archive/2013/04/11/397677.html

[4] http://blog.itpub.net/31559359/viewspace-2284113/

[5] https://blog.51cto.com/professor/1909022

[6] https://vincent.bernat.ch/en/blog/2014-tcp-time-wait-state-linux

嘮嗑嘮嗑

跟大家說個沉痛的事情。

我想大部分小夥伴都發現了,最近公眾號改版,訂閱號里的信息流不再是以時間順序了,而是以推薦算法方式显示順序。

這對小林這種「周更」的作者,真的一次重重打擊,非常的不友好。

因為長時間沒發文,公眾號可能會把推薦的權重降低,這就會導致很多讀者,會收不到我的「最新」的推文,如此下去,那小林文章不就無人問津了?(抱頭痛哭 …)

另外,小林更文時間長的原因,不是因為偷懶。

而是為了把知識點「寫的更清楚,畫的更清晰」,所以這必然會花費更多更長的時間。

如果你認可和喜歡小林的文章,不想錯過文章的第一時間推送,可以動動你的小手手,給小林公眾號一個「星標」。

平時沒事,就讓「小林coding」靜靜地躺在你的訂閱號底部,但是你要知道它在這其間並非無所事事,而是在努力地準備着更好的內容,等準備好了,它自然會「蹦出」在你面前。

小林是專為大家圖解的工具人,Goodbye,我們下次見!

讀者問答

讀者問:“小林,請教個問題,somaxconn和backlog是不是都是指的是accept隊列?然後somaxconn是內核參數,backlog是通過系統調用間隔地修改somaxconn,比如Linux中listen()函數?”

兩者取最小值才是 accpet 隊列。

讀者問:“小林,還有個問題要請教下,“如果 accept 隊列滿了,那麼 server 扔掉 client 發過來的 ack”,也就是說該TCP連接還是位於半連接隊列中,沒有丟棄嗎?”

  1. 當 accept 隊列滿了,後續新進來的syn包都會被丟失
  2. 我文章的突發流量例子是,那個連接進來的時候 accept 隊列還沒滿,但是在第三次握手的時候,accept 隊列突然滿了,就會導致 ack 被丟棄,就一直處於半連接隊列。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※台北網頁設計公司全省服務真心推薦

※想知道最厲害的網頁設計公司"嚨底家"!

※推薦評價好的iphone維修中心

網頁設計最專業,超強功能平台可客製化

※別再煩惱如何寫文案,掌握八大原則!

分類
發燒車訊

CSS3動畫基礎

目錄

編寫頁面
transition元素過渡屬性
貝塞爾曲線
transform元素變換

  • translate平移
  • scale縮放
  • rotate旋轉
  • skew傾斜
  • matrix矩陣變換
  • perspective景深
  • transform-origin變換原點

animation 和 keyframs(更精細的動畫)

編寫頁面

記事本或SublimeText或vscode編寫html:

<html>

<div id="box"></div>

<style>
#box {
    background-color: rgb(246, 96, 78); /*背景色*/
    width: 100px; /*寬度*/
    height: 100px; /*長度*/
    position: relative; /*位置*/
    border-radius: 15px; /*加點圓角*/
}

</style>

</html>

加上鼠標懸浮的效果:

<html>

<div id="box"></div>

<style>
#box {
    background-color: rgb(246, 96, 78); /*背景色*/
    width: 100px; /*寬度*/
    height: 100px; /*長度*/
    position: relative; /*位置*/
    border-radius: 15px; /*加點圓角*/
}

/*鼠標懸浮后的樣式*/
#box:hover {
    /*向下偏移50px*/
    top: 50px;
}
</style>

</html>

效果圖如下:

瀏覽器只渲染出“box”的初始狀態, 和鼠標懸浮后的狀態”top: 50px;”, 效果較為生硬,可以使用”transition”屬性豐富視覺效果。

transition元素過渡屬性

  transition譯作“過渡”,在css3中,transition屬性用來設置元素過渡效果。
  transition包含4個子屬性,分別為:

屬性 說明 默認值
property 設置給元素的那個方面添加過渡效果,比如元素的”width”和”height”均發生改變時,可以指定該屬性為”width“,那麼元素的”width”的變動才有過渡效果。”all“表示所有變動都加上過渡效果。 all
duration 設置過渡效果的持續時間,至少要給transition設置這個子屬性,否則transition屬性就沒意義了。 0s
timing-function 過渡函數,該屬性決定元素的過渡效果與時間的關係。 ease
delay delay即為“延遲”,表示該元素在加載后多久才開始過渡效果 0s

這幾個元素的順序如下:

transition: property duration timing-function delay;

修改上面的“#box”樣式:

#box {
    background-color: rgb(246, 96, 78); /*背景色*/
    width: 100px; /*寬度*/
    height: 100px; /*長度*/
    position: relative; /*位置*/
    border-radius: 15px; /*加點圓角*/
    /*設置過渡效果 持續1秒,延遲500毫秒才開始*/
    transition: 1s 500ms; /*等價於 transition: all 1s ease 500ms */
    /*兼容webkit內核*/
    -webkit-transition: 1s 500ms;
}

transition屬性加在”#box”元素上,表示該元素變換時按設置的效果進行變換。

修改文件后可以發現過渡效果並沒有生效,這是因為”#box”沒有設置”top”,只是在鼠標懸浮后才出現”top”屬性,即解析器沒有找到“top”過渡的“初始狀態”,“過渡”就應該包含元素的初始狀態和最終狀態。

給”#box”加上”top: 0;”:

#box {
    background-color: rgb(246, 96, 78); /*背景色*/
    top: 0;
    width: 100px; /*寬度*/
    height: 100px; /*長度*/
    position: relative; /*位置*/
    border-radius: 15px; /*加點圓角*/
    /*設置過渡效果 持續1秒,延遲500毫秒才開始*/
    transition: 1s 500ms; /*等價於 transition: all 1s ease 500ms */
    /*兼容webkit內核*/
    -webkit-transition: 1s 500ms;
}

效果如下:

關於timing-function,還可以選擇”linear”(線性效果)、”ease-in”(漸進)等,想實現更好玩的效果,可以藉助“貝塞爾曲線函數”。

關於transition屬性——菜鳥教程傳送門

貝塞爾曲線

貝塞爾曲線百度百科
關於貝塞爾曲線,有很多資料,不再贅述。

貝塞爾曲線可視化
這是一個貝塞爾曲線函數可視化的一個網站,用這個網站可以直觀地生成合適的動畫加速度函數。

  如上是網站的界面,函數的參數分別為坐標繫上紅球的x軸坐標、y軸坐標和藍綠球的x軸坐標和y軸坐標。坐標系橫軸為時間,縱軸為動畫的 progress, 直譯過來是進程、進展的意思,映射到平移上就是指移動的點到原點的偏移量。曲線的斜率,反映的是動畫的加速度。
  動圖中兩個方塊是自定義動畫與線性動畫的對比。自定義動畫後面具有彈跳的效果,在左上角坐標繫上表現為後段往下的凹陷。動畫的整體效果是元素離原點的距離越來越遠,到後段反而離近一點點,然後又遠離,直至到達終點。

選擇合適的函數“cubic-bezier(.37,1.44,.57,.77)”設置到”#box”元素中:

#box {
    background-color: rgb(246, 96, 78); /*背景色*/
    top: 0;
    width: 100px; /*寬度*/
    height: 100px; /*長度*/
    position: relative; /*位置*/
    border-radius: 15px; /*加點圓角*/
    transition: 1s cubic-bezier(.37,1.44,.57,.77) 500ms; 
    /*兼容webkit內核*/
    -webkit-transition: 1s cubic-bezier(.37,1.44,.57,.77) 500ms;
}

效果如圖:

transform元素變換

  以上提及的動畫效果都是給元素設置初始狀態和最終狀態,然後讓瀏覽器自動渲染的,這種叫“補間動畫”,即定義初始和結束狀態,瀏覽器自動計算並補充“中間的狀態”最後渲染出來,“補間動畫”在flash,AE之類的軟件都可以看到。
  上面例子是已經知道了”box”的初始狀態”top: 0;”了,那萬一有的需求是一開始不知道“box”的位置呢,那該如何使得”box”向下移動?那就是”transform”屬性的功勞了。
  ”transform”就是“改變形態”的意思,就是“汽車人變形”里的“變形”,通過“transform”屬性可以改變元素的狀態。
  transform包含很多的變換效果,一一介紹。

translate平移

translate是“轉變,轉為”的意思,在css3中,translate是transform的子屬性,用來平移元素。
translate包含如下幾種使用方法:

名稱 描述 示例
translateX(x) 表示水平移動,x為負是往左,為正則向右移動 transform: translateX(10px)
transform: translateX(-15%)
translateY(y) 豎直移動,y為負向上,為正向下 同上
translateZ(z) 需配合“perspective()”使用,perspective()用來定義“景深”。z為負時是遠離用戶(屏幕),正是接近用戶 transform: perspective(500px) translateZ(200px)
translate(x, y) 二維平面的移動,是最前面兩個的結合 簡單
translate(x, y, z) 三維空間的移動,最前面三個的結合 同上

把上面的html改成如下,效果一樣:

#box {
    background-color: rgb(246, 96, 78); /*背景色*/
    width: 100px; /*寬度*/
    height: 100px; /*長度*/
    position: relative; /*位置*/
    border-radius: 15px; /*加點圓角*/
    transition: 1s cubic-bezier(.37,1.44,.57,.77) 500ms; 
    /*兼容webkit內核*/
    -webkit-transition: 1s cubic-bezier(.37,1.44,.57,.77) 500ms;
}

/*鼠標懸浮后的樣式*/
#box:hover {
    /*向下偏移50px*/
    transform: translateY(50px);
    /*兼容webkit*/
    -webkit-transform: translateY(50px);
}

scale縮放

scale就是縮放的意思,對元素進行縮放變換。包含:

  • scaleX(x)
  • scaleY(y)
  • scaleZ(z)
  • scale(x, y)
  • scale3d(x, y, z)

用法與translate一致,只是參數是表示縮放的倍數,“1”表示原來的一倍(不放大不縮小),“0.5”縮小到原來一半,“2”變為原來兩倍。

transform: scale(.5);

rotate旋轉

旋轉變換,包含:

  • rotate(angle): 最簡單的旋轉變換,angle為負逆時針,為正是順時針
  • rotateX(angle): 繞着X軸旋轉
  • rotateY(angle): 繞Y軸旋轉
  • rotaleZ(angle): 繞Z軸旋轉
  • rotate3d(x,y,z,angle): 這個複雜一點,是在空間直角坐標系(x,y,z)中選擇一個點,然後該點與原點(0,0,0)連成一條線,然後元素繞該線旋轉。
    1. rotate3d(1,0,0,180deg)等價於rotateX(180deg)
    2. rotate3d(0,1,0,180deg)等價於rotateY(180deg)
    3. rotate3d(0,0,1,180deg)等價於rotateZ(180deg)
transform: rotate(180deg);

skew傾斜

傾斜變換,包含:

  • skewX(angle): 相對X軸傾斜,X軸方向上不變,Y軸旋轉angle度。
  • skewY(angle): 相對Y軸傾斜,同上。
  • skew(x-angle, y-angle): 結合起來。

skew不太好理解,結合例子來看:
一、

transform: skewX(45deg);

可以看到“測試字樣”在X軸上沒有變化,向著Y軸方向旋轉45度。

二、

transform: skewY(45deg);

在Y軸方向上沒變,”box”的豎邊仍與Y軸平行,橫邊則向著X軸方向旋轉45度。

三、

transform: skew(45deg,45deg);

skew不好理解,這裏貼出兩篇文章:

  • css3 2d skew()方法用法理解
  • css3中的skew(skewX,skewY)用法

matrix矩陣變換

矩陣變換,包含:

  • matrix(n,n,n,n,n,n)
  • matrix3d(n,n,n,n,n,n,n,n,n,n,n,n,n,n,n,n,n)

其它的變換都可以由矩陣變換獲得,這是線性代數的知識,學的都還給老師了…….

對CSS3中的transform:Matrix()矩陣的一些理解

perspective景深

用於定義景深,與上面提到的3d變換配合使用,景深就是元素離眼睛(屏幕)的距離,在電腦上,圖形通過變換來讓我們眼睛看到的圖形產生距離感,大概就是近大遠小之類的。

transform: perspective(500px) rotate3d(1, 0, 0, 45deg);

transform-origin

transfor-origin屬性用來設置元素變換的基點。默認的,rotate繞元素中點旋轉,如果想讓元素繞左上角旋轉,可以把transform-origin設置為:

transform-orgin: 0% 0%;

示例:

#box {
    background-color: rgb(246, 96, 78); /*背景色*/
    width: 100px; /*寬度*/
    height: 100px; /*長度*/
    position: relative; /*位置*/
    border-radius: 15px; /*加點圓角*/
    transition: 1s cubic-bezier(.37,1.44,.57,.77) 500ms; /*過渡效果*/
    transform-origin: 0% 0%;/*設置動畫的基點*/
    /*兼容webkit內核*/
    -webkit-transition: 1s cubic-bezier(.37,1.44,.57,.77) 500ms;
    -webkit-transform-origin: 0% 0%;

}

/*鼠標懸浮后的樣式*/
#box:hover {
    transform: rotate(45deg);
    /*兼容webkit*/
    -webkit-transform: rotate(45deg);
}

注意,”transform-origin”屬性是放在”#box”上而不是”#box:hover”

animation和keyframes(更精細的動畫)

  上面提到的動畫均為補間動畫,自定義初始和結束的狀態,由瀏覽器計算渲染中間狀態。這些初始和結束的關鍵狀態,可以稱為“關鍵幀”,即“keyframes”。如果我們想實現更為精細的動畫效果,想在元素變換的“過程中”也加上特定的“狀態”,即插入“關鍵幀”,可以通過 “keyframes” 和 “animation” 屬性實現。
  animation包含8個子屬性:

名稱 描述
name keyframe的名稱
duration 持續時間
timing-function 速度曲線
delay 延遲多久才開始
iteration-count 播放的次數,一整個動畫流程為一次
direction 是否在播放完后再反向播放
fill-mode 動畫不播放時的樣式
play-state 動畫的狀態,正在運行還是暫停

keyframe的定義如下:

@keyframes name{
    percentage1 {state1}
    percentage2 {state2}
}

/*兼容webkit*/
@-webkit-keyframes name{
    percentage1 {state1}
    percentage2 {state2}
}

name 是關鍵幀的名稱
percentage 是動畫周期的時刻百分比,即整個動畫周期的第百分之幾的時刻,50%表示播放到一半,30%表示動畫播放到百分之30.
state 是該時刻的元素狀態,如“top: 10px”,此刻元素距離上方的距離。

修改html文件:

<html>

<div id="box" style="line-height: 100px; text-align: center;">測試</div>

<style>

/*關鍵幀*/
@keyframes test{
    0%,20%,50%,80%,100%{transform: translateX(0)}
    40%{transform: translateX(30px)}
    60%{transform: translateX(15px)}
}

/*兼容*/
@-webkit-keyframes test{
    0%,20%,50%,80%,100%{-webkit-transform: translateX(0)}
    40%{-webkit-transform: translateX(30px)}
    60%{-webkit-transform: translateX(15px)}
}

#box {
    background-color: rgb(246, 96, 78); /*背景色*/
    width: 100px; /*寬度*/
    height: 100px; /*長度*/
    position: relative; /*位置*/
    border-radius: 15px; /*加點圓角*/
    transition: 1s linear 500ms; /*過渡效果*/
    -webkit-transition: 1s linear 500ms; /*過渡效果,兼容webkit內核*/
}

/*鼠標懸浮后的樣式*/
#box:hover {
    animation:test 1s 0s ease both; /*綁定關鍵幀*/
    -webkit-animation: test 1s 0s ease both; /*兼容*/
}
</style>

</html>

效果:

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!

※教你寫出一流的銷售文案?

※超省錢租車方案

※回頭車貨運收費標準

分類
發燒車訊

20萬大空間/高顏值轎車 媳婦喜歡丈母娘滿意

國內消費者最關心的乘坐空間,2805mm軸距的起亞表現的很好,以175cm的體驗者為例,前後排可活的一拳的頭部空間,後排頭部空間超兩拳,提供了1。6T/2。0L/2。0T三種排量可供選擇,搭配6擋手自一體或者7擋雙離合變速箱,選擇性很強。

國人買東西都有一個共同的特點

就是大大大大大大大大大大大大

手機必須上大屏的

鑽戒要買大的

那車子當然是越大越好

前段時間一條火爆的廣告刷爆了朋友圈

致25歲還一無是處的本站聲明:網站內容來源於http://www.auto6s.com/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!

※綠能、環保無空污,成為電動車最新代名詞,目前市場使用率逐漸普及化

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

※教你寫出一流的銷售文案?

※別再煩惱如何寫文案,掌握八大原則!

分類
發燒車訊

碾壓日系的美式車才5.5L超低油耗 車主還有這些技巧

底盤離地間隙略微有點小,不太敢騎上馬路牙。隔音水平一般,如果走上一條爛路,與車內人員溝通基本上要靠喊。懸架的濾震能力一般,聲音聽起來比較脆。目前行駛里程與油耗:現在已經開了5680公里,百公里綜合油耗在5。5升左右。

前言

有一款美系小型車靜悄悄地爬到了小型車銷量榜的前列,它就是賽歐。這可能出乎很多人的意料,不過事實勝於雄辯。下面看看三位車主的說法,了解一下賽歐何德何能銷量可以越過飛度。

上汽通用雪佛蘭-賽歐

指導價:6.29-7.99萬

車主:555

購買車型:2016款 賽歐3 1.3L 手動舒適天窗版

裸車購買價:5.44萬

最滿意的點:空間很大,不會有壓抑感,而且有天窗顯得格外敞亮。天窗沒有一鍵關閉,可有效防止小孩誤操作導致夾傷。還有不少貼心提示,例如沒關大燈熄火的話,車子會滴滴聲提示;插着鑰匙開着駕駛座的車門也會滴滴聲提示。另外,這車開到120km/h也很穩,不會有發飄的感覺。

最不滿意的點:一擋和倒擋不太容易掛進去,吸入感不強。車窗的升降控制按鍵位於中控台下方,而且晚上沒有燈光提示,只能盲操,不符合人機工程學的設計。沒有中央扶手,感覺肘部欠缺了一點承托。

目前行駛里程與油耗:現在已經開了2600公里,百公里綜合油耗在6升左右。

車主:藝術家

購買車型:2015款 賽歐3 1.3L 手動理想版

裸車購買價:6.2萬

最滿意的點:乘坐空間比之前的愛麗舍大了不少,儲物空間也比較多。開機時,儀錶的各項自檢動作倍有范。喇叭的音質不錯,對得起這個價位。後排提供有安全座椅接口,使用也很便利。動力上感覺也很充足。

最不滿意的點:自動啟停並不好用,有點雞肋。底盤離地間隙略微有點小,不太敢騎上馬路牙。隔音水平一般,如果走上一條爛路,與車內人員溝通基本上要靠喊。懸架的濾震能力一般,聲音聽起來比較脆。

目前行駛里程與油耗:現在已經開了5680公里,百公里綜合油耗在5.5升左右。

車主:煎餅果子

購買車型:2015款 賽歐3 1.3L AMT理想版

裸車購買價:5.85萬

最滿意的點:AMT變速箱可以在手動與自動模式來回切換,既可以滿足駕駛樂趣,又能照顧日常所需。后尾廂的空間足夠大。帶有主副駕駛位的氣囊,還全系標配ABS和ESp,行車帶自動落鎖。方向盤的電動助力比較輕盈,沒有搶手的感覺。日常駕駛的時候,車子沒有明顯頓挫感。

最不滿意的點:後排座椅無法放倒,想放些長的物品也不可以。胎噪明顯,輪拱處缺乏隔音。后懸架偏硬,影響後排乘客的乘坐感受。后尾廂無法遙控開啟,很不方便。後輪剎車為鼓剎,顯得很廉價。後排頭枕為一體式,無法根據實際需要調節高度。

目前行駛里程與油耗:現在已經開了1700公里,百公里綜合油耗為6.2L。

編者總結:

賽歐的銷量之所以如此好,全憑其低廉的價格與良好的品質。相比起飛度動輒7、8萬的售價,賽歐顯得更為親民。不過,手動擋車型日常使用會比較麻煩。而AMT車型又會有明顯的動力中斷,所以想選擇賽歐作為家用車需要好好想想是否能接受它的這些缺點。本站聲明:網站內容來源於http://www.auto6s.com/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

台北網頁設計公司這麼多該如何選擇?

※智慧手機時代的來臨,RWD網頁設計為架站首選

※評比南投搬家公司費用收費行情懶人包大公開

※回頭車貨運收費標準

網頁設計最專業,超強功能平台可客製化

※別再煩惱如何寫文案,掌握八大原則!

分類
發燒車訊

LeetCode 75,90%的人想不出最佳解的簡單題

本文始發於個人公眾號:TechFlow,原創不易,求個關注

今天是LeetCode專題的44篇文章,我們一起來看下LeetCode的75題,顏色排序 Sort Colors。

這題的官方難度是Medium,通過率是45%,點贊2955,反對209(國際版數據),從這份數據上我們大概能看得出來,這題的難度不大,並且點贊遠遠高於反對,說明題目的質量很不錯。事實上也的確如此,這題足夠簡單也足夠有趣,值得一做。

題意

給定一個n個元素的數組,數組當中的每一個元素表示一個顏色。一共有紅白藍三種顏色,分別用0,1和2來表示。要求將這些顏色按照大小進行排序,返回排序之後的結果。

要求不能調用排序庫sort來解決問題。

桶排序

看完題目應該感受到了,如果沒有不能使用sort的限制,這題毫無難度。即使加上了限制難度也不大,我們既然不能調用sort,難道還不能自己寫個sort嗎?Python寫個快排也才幾行而已。

自己寫sort當然是可以的,顯然這是下下策。因為元素只有3個值,互相之間的大小關係也就只有那麼幾種,排序完全沒有必要。比較容易想到,我們可以統計一下這三個數值出現的次數,幾個0幾個1幾個2,我們再把這些數拼在一起,還原之前的數據不就可以了嗎?

這樣的確可行,但實際上這也是一種排序方案,叫做基數排序,也稱為桶排序,還有些地方稱為小學生排序(大概是小學生都能懂的意思吧)。基數排序的思想非常簡單,我們創建一個數組,用它的每一位來表示某個元素是否在原數組當中出現過。出現過則+1,沒出現過則一直是0。我們標記完原數組之後,再遍歷一遍標記的數組,由於下標天然有序,所以我們就可以得到排序之後的結果了。

如果你還有些迷糊也沒有關係,我們把代碼寫出來就明白了,由於這題讓我們提供一個inplace的方法,所以我們在最後的時候需要對nums當中的元素重新賦值。

class Solution:
    def sortColors(self, nums: List[int]) -> None:
        """  Do not return anything, modify nums in-place instead.  """
        bucket = [0 for _ in range(3)]
        for i in nums:
            bucket[i] += 1

        ret = []
        for i in range(3):
            ret += [i] * bucket[i]

        nums[:] = ret[:]

和排序相比,我們只是遍歷了兩次數據,第一次是遍歷了原數組獲得了其中0,1和2的數量,第二次是將獲得的數據重新填充回原數組當中。相比於快排或者是其他一些排序算法的耗時,桶排序只遍歷了兩次數組,明顯要快得多。但遺憾的是這並不是最佳的方法,題目當中明確說了,還有隻需要遍歷一次原數組的方法。

two pointers

在我們介紹具體的算法之前,我們先來分析一下問題。既然顏色只有三種,那麼當我們排完序之後,整個數組會被分成三個部分,頭部是0,中間是1,尾部是2。

我們可以用一個區間來收縮1的範圍,假設我們當前區間的首尾元素分別是l和r。當我們讀到0的時候,我們就將它和l交換,然後將l向後移動一位。當我們讀到2的時候,則將它和r進行交換,將r向左移動一位。也就是說我們保證l和r之間的元素只有1。

我們之前曾經介紹過這種維護一個區間的做法,雖然都是維護了一個區間,但是操作上是有一些區別的。之前介紹的two pointers算法,也叫做尺取法,本質上是通過移動區間的右側邊界來容納新的元素,通過移動左邊界彈出數據的方式來維護區間內所有元素的合法性。而當前的做法中,一開始獲得的就是一個非法的區間,我們通過元素的遍歷以及區間的移動,最後讓它變得合法。兩者的思路上有一些細微的差別,但形式是一樣的,就是通過移動左右兩側的邊界來維護或者是達到合法。

class Solution:
    def sortColors(self, nums: List[int]) -> None:
        """  Do not return anything, modify nums in-place instead.  """
        l, r = 0, len(nums)-1
        i = 0
        while i < len(nums):
            if i > r:
                break
   # 如果遇到0,則和左邊交換
            if nums[i] == 0:
                nums[l], nums[i] = nums[i], nums[l]
                l += 1
            # 如果遇到2,則和右邊交換
            # 交換之後i需要-1,因為可能換來一個0
            elif nums[i] == 2:
                nums[r], nums[i] = nums[i], nums[r]
                r -= 1
                continue
            i += 1

這種方法我們雖然只遍歷了數組一次,但是由於交換的次數過多,整體運行的速度比上面的方法還要慢。所以遍歷兩次數組並不一定就比只遍歷一次要差,畢竟兩者都是的算法,相差的只是一個常數。遍歷的次數只是構成常數的部分之一。

除了這個方法之外,我們還有其他維護區間的方法。

維護區間

接下來要說的方法非常巧妙,我個人覺得甚至要比上面的方法還有巧妙。

我們來假想一下這麼一個場景,假設我們不是在原數組上操作數據,而是從其中讀出數據放到新的數組當中。我們先不去想應該怎麼擺放這個問題,我們就來假設我們原數組當中的數據已經放好了若干個,那麼這個時候的新數組會是什麼樣?顯然,應該是排好序的,前面若干個0,中間若干個1,最後若干個2。

那麼問題來了,假設這個時候我們讀到一個0,那麼應該怎麼放呢?為了簡化敘述我們把它畫成圖:

我們假設藍色部分是0,綠色部分是1,粉色部分是2。a是0最右側的下標,b是1部分最右側的下標,c是2部分最右側的下標。那麼這個時候,當我們需要放入一個0的時候,應該怎麼辦?

我們結合圖很容易想明白,我們需要把0放在a+1的位置,那麼我們需要把後面1和2的部分都往右側移動一格,讓出一格位置出來放0。我們移動數組顯然帶來的開銷會過於大,實際上沒有必要移動整個部分,只需要移動頭尾元素即可。比如1的部分左側被0佔掉了一格,那麼為了保持長度不變,右側也需要延伸一格。同理,2的部分右側也需要延伸一格。那麼整個操作用代碼來表示就是:nums[a+1] = 0,nums[b+1] = 1, nums[c+1] = 2。

假設我們讀入的數是1,那麼我們需要把b延長一個單位,但是這樣帶來的後果是2的部分被侵佔,所以需要將2也延長,補上被1侵佔的一個單位。如果讀到的是2,那麼直接延長2即可,因為2後面沒有其他顏色了。

假設我們有一個空白的數組,我們可以這麼操作,但其實我們沒有必要專門創建一個數組,我們完全可以用原數組自己填充自己。因為我們從原數組上讀取的數和擺放的數是一樣的,我們直接把数字擺放在原數組的頭部,佔用之前讀取的數即可。

光說可能還有些迷糊,看下代碼馬上就清楚了:

class Solution:
    def sortColors(self, nums: List[int]) -> None:
        """  Do not return anything, modify nums in-place instead.  """
        # 記錄0,1和2的末尾位置
        zero, one, two = -1, -1, -1
        n = len(nums)
        for i in range(n):
            # 如果擺放0
            # 那麼1和2都往後平移一位,讓一個位置出來擺放0
            if nums[i] == 0:
                nums[two+1] = 2
                nums[one+1] = 1
                nums[zero+1] = 0
                zero += 1
                one += 1
                two += 1
            elif nums[i] == 1:
                nums[two+1] = 2
                nums[one+1] = 1
                one += 1
                two += 1
            else:
                nums[two+1] = 2
                two += 1

總結

到這裏,這道題的解法基本上都講完了。

相信大家也都看出來了,從難度上來說這題真的不難,相信大家都能想出解法來,但是要想到最優解還是有些困難的。一方面需要我們對題目有非常深入的理解,一方面也需要大量的思考。這類題目沒有固定的解法,需要我們根據題目的要求以及實際情況自行設計解法,這也是最考驗思維能力以及算法設計能力的問題,比考察某個算法會不會的問題要有意思得多。

希望大家都能從這題當中獲得樂趣,如果喜歡本文,可以的話,請點個關注,給我一點鼓勵,也方便獲取更多文章。

本文使用 mdnice 排版

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※台北網頁設計公司全省服務真心推薦

※想知道最厲害的網頁設計公司"嚨底家"!

※推薦評價好的iphone維修中心

網頁設計最專業,超強功能平台可客製化

※別再煩惱如何寫文案,掌握八大原則!

分類
發燒車訊

解Bug之路-記一次JVM堆外內存泄露Bug的查找

解Bug之路-記一次JVM堆外內存泄露Bug的查找

前言

JVM的堆外內存泄露的定位一直是個比較棘手的問題。此次的Bug查找從堆內內存的泄露反推出堆外內存,同時對物理內存的使用做了定量的分析,從而實錘了Bug的源頭。筆者將此Bug分析的過程寫成博客,以饗讀者。
由於物理內存定量分析部分用到了linux kernel虛擬內存管理的知識,讀者如果有興趣了解請看ulk3(《深入理解linux內核第三版》)

內存泄露Bug現場

一個線上穩定運行了三年的系統,從物理機遷移到docker環境后,運行了一段時間,突然被監控系統發出了某些實例不可用的報警。所幸有負載均衡,可以自動下掉節點,如下圖所示:

登錄到對應機器上后,發現由於內存佔用太大,觸發OOM,然後被linux系統本身給kill了。

應急措施

緊急在出問題的實例上再次啟動應用,啟動后,內存佔用正常,一切Okay。

奇怪現象

當前設置的最大堆內存是1792M,如下所示:

-Xmx1792m -Xms1792m -Xmn900m -XX:PermSi
ze=256m -XX:MaxPermSize=256m -server -Xss512k 

查看操作系統層面的監控,發現內存佔用情況如下圖所示:

上圖藍色的線表示總的內存使用量,發現一直漲到了4G后,超出了系統限制。
很明顯,有堆外內存泄露了。

查找線索

gc日誌

一般出現內存泄露,筆者立馬想到的就是查看當時的gc日誌。
本身應用所採用框架會定時打印出對應的gc日誌,遂查看,發現gc日誌一切正常。對應日誌如下:

查看了當天的所有gc日誌,發現內存始終會回落到170M左右,並無明顯的增加。要知道JVM進程本身佔用的內存可是接近4G(加上其它進程,例如日誌進程就已經到4G了),進一步確認是堆外內存導致。

排查代碼

打開線上服務對應對應代碼,查了一圈,發現沒有任何地方顯式利用堆外內存,其沒有依賴任何額外的native方法。關於網絡IO的代碼也是託管給Tomcat,很明顯,作為一個全世界廣泛流行的Web服務器,Tomcat不大可能有堆外內存泄露。

進一步查找

由於在代碼層面沒有發現堆外內存的痕迹,那就繼續找些其它的信息,希望能發現蛛絲馬跡。

Dump出JVM的Heap堆

由於線上出問題的Server已經被kill,還好有其它幾台,登上去發現它們也 佔用了很大的堆外內存,只是還沒有到觸發OOM的臨界點而已。於是就趕緊用jmap dump了兩台機器中應用JVM的堆情況,這兩台留做現場保留不動,然後將其它機器迅速重啟,以防同時被OOM導致服務不可用。
使用如下命令dump:

jmap -dump:format=b,file=heap.bin [pid]

使用MAT分析Heap文件

挑了一個heap文件進行分析,堆的使用情況如下圖所示:

一共用了200多M,和之前gc文件打印出來的170M相差不大,遠遠沒有到4G的程度。
不得不說MAT是個非常好用的工具,它可以提示你可能內存泄露的點:

這個cachedBnsClient類有12452個實例,佔用了整個堆的61.92%。
查看了另一個heap文件,發現也是同樣的情況。這個地方肯定有內存泄露,但是也佔用了130多M,和4G相差甚遠。

查看對應的代碼

系統中大部分對於CachedBnsClient的調用,都是通過註解Autowired的,這部分實例數很少。
唯一頻繁產生此類實例的代碼如下所示:

@Override
    public void fun() {
            BnsClient bnsClient = new CachedBnsClient();
          // do something
    		return  ;
	}

此CachedBnsClient僅僅在方法體內使用,並沒有逃逸到外面,再看此類本身

public class CachedBnsClient   {
    private ConcurrentHashMap<String, List<String>> authCache = new ConcurrentHashMap<String, List<String>>();
    private ConcurrentHashMap<String, List<URI>> validUriCache = new ConcurrentHashMap<String, List<URI>>();
    private ConcurrentHashMap<String, List<URI>> uriCache = new ConcurrentHashMap<String, List<URI>>();
	......
}

沒有任何static變量,同時也沒有往任何全局變量註冊自身。換言之,在類的成員(Member)中,是不可能出現內存泄露的。
當時只粗略的過了一過成員變量,回過頭來細想,還是漏了不少地方的。

更多信息

由於代碼排查下來,感覺這塊不應該出現內存泄露(但是事實確是如此的打臉)。這個類也沒有顯式用到堆外內存,而且只佔了130M,和4G比起來微不足道,還是先去追查主要矛盾再說。

使用jstack dump線程信息

現場信息越多,越能找出蛛絲馬跡。先用jstack把線程信息dump下來看下。
這一看,立馬發現了不同,除了正常的IO線程以及框架本身的一些守護線程外,竟然還多出來了12563多個線程。

"Thread-5" daemon prio=10 tid=0x00007fb79426e000 nid=0x7346 waiting on condition [0x00007fb7b5678000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
	at java.lang.Thread.sleep(Native Method)
	at com.xxxxx.CachedBnsClient$1.run(CachedBnsClient.java:62)

而且這些正好是運行再CachedBnsClient的run方法上面!這些特定線程的數量正好是12452個,和cachedBnsClient數量一致!

再次check對應代碼

原來剛才看CachedBnsClient代碼的時候遺漏掉了一個關鍵的點!

    public CachedBnsClient(BnsClient client) {
        super();
        this.backendClient = client;
        new Thread() {
            @Override
            public void run() {
                for (; ; ) {
                    refreshCache();
                    try {
                        Thread.sleep(60 * 1000);
                    } catch (InterruptedException e) {
                        logger.error("出錯", e);
                    }
                }
            }
            ......
        }.start();
    }

這段代碼是CachedBnsClient的構造函數,其在裏面創建了一個無限循環的線程,每隔60s啟動一次刷新一下裏面的緩存!

找到關鍵點

在看到12452個等待在CachedBnsClient.run的業務的一瞬間筆者就意識到,肯定是這邊的線程導致對外內存泄露了。下面就是根據線程大小計算其泄露內存量是不是確實能夠引起OOM了。

發現內存計算對不上

由於我們這邊設置的Xss是512K,即一個線程棧大小是512K,而由於線程共享其它MM單元(線程本地內存是是現在線程棧上的),所以實際線程堆外內存佔用數量也是512K。進行如下計算:

12563 * 512K = 6331M = 6.3G

整個環境一共4G,加上JVM堆內存1.8G(1792M),已經明顯的超過了4G。

(6.3G + 1.8G)=8.1G > 4G

如果按照此計算,應用應用早就被OOM了。

怎麼回事呢?

為了解決這個問題,筆者又思考了好久。如下所示:

Java線程底層實現

JVM的線程在linux上底層是調用NPTL(Native Posix Thread Library)來創建的,一個JVM線程就對應linux的lwp(輕量級進程,也是進程,只不過共享了mm_struct,用來實現線程),一個thread.start就相當於do_fork了一把。
其中,我們在JVM啟動時候設置了-Xss=512K(即線程棧大小),這512K中然後有8K是必須使用的,這8K是由進程的內核棧和thread_info公用的,放在兩塊連續的物理頁框上。如下圖所示:

眾所周知,一個進程(包括lwp)包括內核棧和用戶棧,內核棧+thread_info用了8K,那麼用戶態的棧可用內存就是:

512K-8K=504K

如下圖所示:

Linux實際物理內存映射

事實上linux對物理內存的使用非常的摳門,一開始只是分配了虛擬內存的線性區,並沒有分配實際的物理內存,只有推到最後使用的時候才分配具體的物理內存,即所謂的請求調頁。如下圖所示:

查看smaps進程內存使用信息

使用如下命令,查看

cat /proc/[pid]/smaps > smaps.txt

實際物理內存使用信息,如下所示:

7fa69a6d1000-7fa69a74f000 rwxp 00000000 00:00 0 
Size:                504 kB
Rss:                  92 kB
Pss:                  92 kB
Shared_Clean:          0 kB
Shared_Dirty:          0 kB
Private_Clean:         0 kB
Private_Dirty:        92 kB
Referenced:           92 kB
Anonymous:            92 kB
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB
MMUPageSize:           4 kB

7fa69a7d3000-7fa69a851000 rwxp 00000000 00:00 0 
Size:                504 kB
Rss:                 152 kB
Pss:                 152 kB
Shared_Clean:          0 kB
Shared_Dirty:          0 kB
Private_Clean:         0 kB
Private_Dirty:       152 kB
Referenced:          152 kB
Anonymous:           152 kB
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB
MMUPageSize:           4 kB

搜索下504KB,正好是12563個,對了12563個線程,其中Rss表示實際物理內存(含共享庫)92KB,Pss表示實際物理內存(按比例共享庫)92KB(由於沒有共享庫,所以Rss==Pss),以第一個7fa69a6d1000-7fa69a74f000線性區來看,其映射了92KB的空間,第二個映射了152KB的空間。如下圖所示:

挑出符合條件(即size是504K)的幾十組看了下,基本都在92K-152K之間,再加上內核棧8K

(92+152)/2+8K=130K,由於是估算,取整為128K,即反映此應用平均線程棧大小。

注意,實際內存有波動的原因是由於環境不同,從而走了不同的分支,導致棧上的增長不同。

重新進行內存計算

JVM一開始申請了

-Xmx1792m -Xms1792m

即1.8G的堆內內存,這裡是即時分配,一開始就用物理頁框填充。
12563個線程,每個線程棧平均大小128K,即:

128K * 12563=1570M=1.5G的對外內存

取個整數128K,就能反映出平均水平。再拿這個128K * 12563 =1570M = 1.5G,加上JVM的1.8G,就已經達到了3.3G,再加上kernel和日誌傳輸進程等使用的內存數量,確實已經接近了4G,這樣內存就對應上了!(注:用於定量內存計算的環境是一台內存用量將近4G,但還沒OOM的機器)

為什麼在物理機上沒有應用Down機

筆者登錄了原來物理機,應用還在跑,發現其同樣有堆外內存泄露的現象,其物理內存使用已經達到了5個多G!幸好物理機內存很大,而且此應用發布還比較頻繁,所以沒有被OOM。
Dump了物理機上應用的線程,

一共有28737個線程,其中28626個線程等待在CachedBnsClient上。 

同樣用smaps查看進程實際內存信息,其平均大小依舊為

128K,因為是同一應用的原因

繼續進行物理內存計算

1.8+(28737 * 128k)/1024K =(3.6+1.8)=5.4G

進一步驗證了我們的推理。

這麼多線程應用為什麼沒有卡頓

因為基本所有的線程都睡眠在

 Thread.sleep(60 * 1000);//一次睡眠60s

上。所以僅僅佔用了內存,實際佔用的CPU時間很少。

總結

查找Bug的時候,現場信息越多越好,同時定位Bug必須要有實質性的證據。例如內存泄露就要用你推測出的模型進行定量分析。在定量和實際對不上的時候,深挖下去,你會發現不一樣的風景!

公眾號

關注筆者公眾號,獲取更多乾貨文章:

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!

※教你寫出一流的銷售文案?

※超省錢租車方案

※回頭車貨運收費標準

分類
發燒車訊

Action的三種實現方式,struts.xml配置的詳細解釋及其簡單執行過程(二)

勿以惡小而為之,勿以善小而不為————————–劉備

勸諸君,多行善事積福報,莫作惡

上一章簡單介紹了Struts2的’兩個蝴蝶飛,你好’ (一),如果沒有看過,請觀看上一章

一 Action的三種實現方式

上一章開發的HelloAction和HelloAction2,並沒有繼承任何類或者實現任何接口,但是必須有一個execute() 方法,方法返回值是String類型。

這樣的代碼不容易理解,更並不能使人看得出這個類是干什麼的,甚至不能區分這個控制器類與普通的Java類有什麼區別,通常開發中不這樣做。

我們開發者在開發Struts2框架的時候,希望自己寫的這個Action類能夠具有易理解性,且已經支持某些功能,如參數接收,文件上傳等。

一.一 第一種實現方式(普通Java類,裏面只包含execute()方法)

package com.yjl.web.action;
import org.apache.log4j.Logger;
/**
* @author 兩個蝴蝶飛
* @version 創建時間:2018年8月23日 上午9:41:32
* @description 第一種實現方式,普通java類,
* 有一個execute()方法,也可以多寫幾個方法,用action中的標籤method來控制,可以正常訪問。
*/
public class Hello1Action {
	private static Logger logger=Logger.getLogger(Hello1Action.class);
	public String execute() {
		logger.info("兩個蝴蝶飛,web層你好");
		return "success";
	}
}

不具有開發時要求的規範性,且不支持某些struts2自身提供的功能。

方法名稱只有一個 execute()

一.二 第二種實現方式(實現Action接口)

package com.yjl.web.action;
import com.opensymphony.xwork2.Action;
/**
* @author 兩個蝴蝶飛
* @version 創建時間:2018年8月23日 上午10:54:03
* @description 第二種實現方式,實現Action接口,重寫裏面的execute()方法
* 有一個execute()方法和五個String類型的常量
*/
public class Hello2Action implements Action{
	@Override
	public String execute() throws Exception {
		return Action.SUCCESS;
		//return Action.ERROR;
		//return Action.LOGIN;
		//return Action.NONE;
		//return Action.INPUT;
	}
}

注意,Action接口是xwork2包下的接口。

實現了Action接口,使開發者能夠看出來這是一個Action,具有了一定程度上的開發規範,

但是實現了Action接口,所以必須要重寫execute()方法。

一般自己寫Action,構思好之後上來就直接add(), edit(), delete(). select() 這些業務方法,

每次都要重寫execute()方法,不太方便。 而且這種方式不具有struts2中某些功能,如驗證框架和國際化。

Action中接口中有五個常用的結果字符串(好多方法都返回success,error,login,input,none,故將其封裝了一下) .

這些字符串雖然是大寫,然而真實的值是全部小寫.

package com.opensymphony.xwork2;

public abstract interface Action
{
  public static final String SUCCESS = "success";
  public static final String NONE = "none";
  public static final String ERROR = "error";
  public static final String INPUT = "input";
  public static final String LOGIN = "login";
  
  public abstract String execute()
    throws Exception;
}

一.三 繼承ActionSupport類(官方推薦)

	package com.yjl.web.action;
	import com.opensymphony.xwork2.ActionSupport;
	/**
	* @author 兩個蝴蝶飛
	* @version 創建時間:2018年8月23日 上午11:04:20
	* @description 第三種方式,繼承ActionSupport類。
	* ActionSupport類實現了Action接口,也有Action中的五個常量.
	*/
	public class Hello3Action extends ActionSupport{
		public String list() {
			return "list";
		}
	}

繼承了ActionSupport類,不需要重新寫execute()方法,直接寫業務方法即可。

ActionSupport類,已經實現了 Action接口。 其具備Action中的五個常量,並且該類還實現了其他接口,

源代碼:

	public class ActionSupport implements Action, Validateable, ValidationAware, TextProvider, LocaleProvider, Serializable{
    ...
	public String execute() throws Exception
  	{
		//默認返回的是 success 字符串 
  		 return "success";
 	}
 	...
}

如驗證框架(Validateable,ValidationAware),國際化(LocaleProvider)。

以後開發中,使用 繼承 ActionSupport 類的形式。

二 配置文件 struts.xml中節點的詳細解釋

在src下有一個struts.xml的配置文件,它配置了開發者自己編寫實現的Action,是struts2框架的核心,不能改變文件名稱。(注意,是struts.xml,並不是struts2.xml,並沒有那個2)。

在struts.xml中,最上面是一個約束, 是一個根節點。

二.一 修改常量節點

在struts-core.jar核心包下,有一個包org.apache.struts2包下,有一個default.properties屬性文件,裏面記錄了很多常用的常量,

其中常見的有:

struts.i18n.encoding=UTF-8 
struts.multipart.maxSize=2097152
struts.action.extension=action,,
struts.enable.DynamicMethodInvocation = false
struts.devMode = false
struts.ui.theme=xhtml
struts.ognl.allowStaticMethodAccess=false

建議修改后的值為:

###國際化操作,編碼格式為UTF-8
struts.i18n.encoding=UTF-8
###上傳文件時最大的上傳大小,默認為2M. 根據項目情況具體填寫值,建議後面加兩個00
struts.multipart.maxSize=209715200
###struts的訪問後綴名, struts1框架默認的是 .do 
struts.action.extension=action,,
###struts是否可以訪問靜態方法
struts.enable.DynamicMethodInvocation =true
###struts是否是開發者模式
struts.devMode =true
###struts中ui標籤的主題,建議為simple
struts.ui.theme=simple
###ognl中是否可以訪問靜態方法,為true
struts.ognl.allowStaticMethodAccess=true

可以在struts.xml中進行相應的修改,如

 <!--修改國際化編碼 -->
<constant name="struts.i18n.encoding" value="UTF-8"></constant>
<!--修改是否為開發者模式 -->
<constant name="struts.devMode" value="true"></constant>

按照name,value值的形式進行填寫。

也可以在src下新建一個struts.properties,然後將這些值放置進去,struts也會自動struts.propeties中的常量值的。

也可以在web.xml中,在 中,以 局部參數的形式傳遞進去。

建議使用第一種方式,在struts.xml中用 ,畢竟這個文件常常打開,出錯了也容易發現。

二.二 分模塊開發

在實際的項目中,有很多的模塊,如果所有的配置都放在一個struts.xml,那麼一旦這個struts.xml被其他人誤操作導致了錯誤,那麼其他人的項目將無法運行的,當配置內容過多時,struts.xml的內容太長,不便於維護,所以最好是分模塊開發,一個模塊用一個配置文件,然後再利用 進行導入, 類似 於jsp中的 靜態包含一樣。

所以建議每一個模塊都寫一個模塊.xml,然後在struts.xml中引入即可。如有三個模塊 User模塊和Class,Course,那麼可以將User的配置放置在user.xml中,Class配置放置在class.xml中,course模塊放置在course.xml,在struts.xml中只需要

	<include file="user.xml"></include>
	<include file="class.xml"></include>
	<include file="course.xml"></include>

靜態包含即可。 注意,file的文件路徑引用是否輸入正確。

正確的位置引用,點擊ctrl+模塊.xml時,可以跳轉到相應的.xml文件中。如果沒有跳轉和反應,那說明位置引用錯誤,需要重新檢查一下。

二.三 包節點

在struts.xml配置文件中,最重要的節點就是package節點。 package,分包。 可以將action進行分包處理。

這樣每一個action或者每一組action用package進行隔開,便於維護,類似於java中package的概念。

二.三.一 <package> 節點的使用

<package name="hello" extends="struts-default" namespace="/">
        <!--具體的Action-->
</package>

package中name節點是package的名字,是獨一無二的,不能夠重複。 最好與模塊名相同或者起一個有意義的名稱。

extends節點表示繼承,即package之間可以相互的繼承,來避免重複化功能的編寫。 默認為struts-default。

struts-default中struts已經定義了很多功能,開發者自己寫的包只需要extends 這個包名struts-default,

就擁有了struts已經定義好的功能。 如攔截器功能,文件上傳功能。

用戶也可以自己繼承自己所寫的包 。如父包名為

那麼子包只需要 , 這樣child包不但擁有struts-default的功能,也擁有parent包中的特殊功能,這也是Java的多重繼承的體現。 所以package的name 要符合標識符的規範,具有可讀性。

namespace節點表示命名空間,以/開頭,默認是”/” 。是為了在訪問路徑和訪問請求url方面體現package的分包作用. package中的name是在配置文件中體現分包,namespace是在url中體現分包。 建議開發中,namespace的路徑名與name保持一致。 package中的namespace的值與子節點action中name的值,共同構成了完整的訪問請求路徑。

二.三.二 <package></package> 子節點<action></action>節點的使用

在Hello3Action中定義兩個方法,一個是list()查詢,一個是add()添加的方法。

package com.yjl.web.action;
import org.apache.log4j.Logger;
import com.opensymphony.xwork2.ActionSupport;
/**
* @author 兩個蝴蝶飛
* @version 創建時間:2018年8月23日 上午11:04:20
* @description 測試action標籤中method的方法訪問
*/
public class Hello3Action extends ActionSupport{
	private static final long serialVersionUID = 8737138848863458260L;
	Logger logger=Logger.getLogger(Hello3Action.class);
	public String list() {
		logger.info("執行list方法");
		return "list";
	}
	public String add() {
		logger.info("執行add方法");
		return "add";
	}
}

標籤,有三個基本的屬性,

	<action name="list" class="com.yjl.web.action.Hello3Action"
        method="list">

</action>

其中name為action的名字,表示區別一個package包下的不同的action。 其中這個name的值,不應該隨便取,應該是要訪問的方法名。

在瀏覽器客戶端請求的url為 /項目名/package的namespace名稱/action的name名稱.action;

class為要訪問的那個Action的全限定名稱,是class,用.(點)進行分隔。

其中,class 可以省略, 省略默認為 ActionSupport 類, 全限定名稱為: com.opensymphony.xwork2.ActionSupport
method為要訪問的那個方法名稱,類 extends ActionSupport 后,有很多很多的方法,如list(), add(), delete()等,那麼怎麼知道具體要訪問哪個方法呢? 用method這個屬性. method=”要方法的方法名” ,是方法名。

action還有一個節點是converter,表示所用的是哪一個類型轉換器。(後面會有相應的解釋)

很清楚, action 中的 class指定了訪問的是哪一個action, method 指定了訪問的是哪一個具體的方法, 利用了反射技術實現。

在本實例了有兩個方法,所以要進行寫兩個Action, 一個Action類中會有多個方法,難道要一個個配置多個Action嗎?

Struts2提供了一些簡單的方式

二.三.三 配置Action的三種形式

二.三.三.一 通過配置method的屬性完成

簡單舉例如下:

	<action name="list" class="com.yjl.web.action.Hello3Action"
		method="list">
			
	</action>
  <action name="add" class="com.yjl.web.action.Hello3Action"
		method="add">
            
    </action>

缺點: 有幾個方法,就要配置有幾個action,當方法過多時,不易維護。

二.三.三.二 通過配置 通配符完成。

簡單舉例如下:

	<action name="Hello3_*" class="com.yjl.web.action.Hello3Action"
		method="{1}">
			
		</action>

name的值為: 類簡寫名(去掉Action后)_* method中的值取第一個{1},從1開始,不是從0開始。

這樣訪問Hello3Action中的list方法,訪問路徑就是 Hello3_list

訪問Hello3Action中的add方法,訪問路徑就是Hello3_add

簡化了action的相關配置。

也有的人配置的更狠, 會配置成_, 即:

	<action name="*_*" class="com.yjl.web.action.{1}Action"
		method="{2}">
			
		</action>

User類中的list就是User_list, User類中的add就是User_add,

Class類中的list就是Class_list,Class類中的add就是Class_add

這樣雖說簡化了開發,但卻不利用 result 節點的維護 ,不建議這樣配置。

好多類的好多方法返回值,都寫在這一個action 下面,會亂。

二.三.三.三 動態方法訪問

不是用 * 通配符,而是用! 號。 即:

想訪問UserAction中list方法() 前端寫url為 userAction!list.action
想訪問UserAction中add方法() 前端寫url為 userAction!add.action
想訪問ClassAction中list方法() 前端寫url為 classAction!list.action
想訪問ClassAction中add方法() 前端寫url為 classAction!add.action

這樣訪問也特別的方便。

這樣的話, action中只需要配置name和class即可。 method已經由外部指定了,不需要寫method的值了。

需要先添加變量 struts.enable.DynamicMethodInvocation, 使其變成 true,開啟。

	<constant name="struts.enable.DynamicMethodInvocation" value="true"></constant>

如果是UserAction的話,配置應該是:

<action name="userAction" class="com.yjl.web.action.UserAction" >
			
</action>

ClassAction的話,配置應該是

<action name="classAction" class="com.yjl.web.action.ClassAction" >
			
</action>

二.三.四 action子節點result的配置

result表示結果,是對方法的返回值進行相應的分析。有兩個屬性,name和type

	<result name="success" type="dispatcher">/index.jsp</result>

其中name的值要與方法的返回值保持一致。

如 list方法返回值是return SUCCESS,那麼這個list方法的返回值對應的result的值就是 ,

如果返回是”hello”, 那麼這個name的返回值就是

如果在action中配置通配符, name=Hello3_*形式,method=”{1}”, 那麼為了簡化result的配置,可以將result配置成 name={1},

相應的.jsp,可以變成 /{1}.jsp。

但這樣必須保證Action中方法的名稱與返回值的名稱相同,並且與跳轉到的jsp的名稱也要相同, 這樣不太好。

result中type五種常見的形式, dispatcher(轉發到jsp),redirect(重定向到jsp), chain(轉發到另外一個方法),redirectAction(重定向到另外一個方法),stream(上傳和下載流)

其中dispathcer和redirect是跳轉到jsp,如果想要傳遞數據,用dispather,

如果不想傳遞數據,用redirect (dispathcer是轉發,redirect是重定向)

chain,redirectAction是跳轉到action的操作,一般用於這同一個類中兩個方法之間的跳轉,

如add()添加成功之後,需要跳轉到list()方法進行显示結果,這時就可以配置成:

	<result name="add" type="redirectAction">Hello3_list</result>

地址url也會相應的改變,如果是chain的話,地址欄是不會改變的。 chain是轉發到action, redirectAction是重定向到action.

也可以在不同包之間的action進行的跳轉 。

如 add 方法 想到跳轉到 /class 命名空間下的 Hello2Action 的 list 方法。

<result name="add" type="redirectAction">
	<!-- 要跳轉到哪一個命名空間,即哪一個包 -->
	<param name="namespace">/class</param>
	<!-- 要跳轉到哪一個Action 不加後綴 -->
	<param name="actionName">Hello2Action</param>
	<!-- 跳轉到哪一個方法 -->
	<param name="method">list</param>
	<!-- 可能要傳遞的參數. 用ognl表達式,根據情況添加 -->
	<param name="id">${id}</param>
</result>

通過 param 標籤來配置帶參還是不帶參。

二.四 全局結果頁面與局部結果頁面。

這個全局是相對於package來說的,是package中的全局,並不是所有的struts.xml中的全局,所以全局結果的節點位置應該放在package節點裏面,與action節點平行。 用 節點。

常用的全局結果頁面有兩種:

error錯誤頁面,頁面出錯了都显示這個頁面,

login 登錄頁面, 如果沒有登錄,輸入任何url都會跳轉到login頁面(認證時用)

noprivilege 沒有權限頁面,如果用戶沒有權限訪問了某一個頁面,會給出相應的提示(授權時用)

<global-results>
			<result name="error">/error/error.jsp</result>
			<result name="login">/login.jsp</result>
            <result name="noprivilege">/noprivilege.jsp</result>
</global-results>

當全局結果頁面與局部結果頁面發生衝突時,以局部結果頁面為準。

全局配置時:

<global-results>
			<result name="success">/successGlobal.jsp</result>
</global-results>

在該包下的某個action 的方法result 也返回了 success

	<result name='success'>success.jsp</result>

那麼,當邏輯視圖為 success時,最終將返回 success.jsp

二.五 配置跳轉頁面

在開發中,常常有這麼一種情況,

請求login.jsp 時,為 /login, 那麼就跳轉到 login.jsp 頁面,

語法為 register.jsp 時,為 /register, 那麼就跳轉到 register 頁面。

這個時候,配置 為:

	<action name="*">
			<result>/WEB-INF/content/{1}.jsp</result>
	</action>

將頁面放置在 content 文件夾下面,避免用戶直接訪問 jsp頁面。

注意,要將此 action 放置在最後, 當所有上面的action都不匹配時,才匹配這一個action.

三 Struts2的執行流程

當用戶在客戶端發送一個請求后,如常用的標準的http://localhost:8080/Struts_Hello/user/User_add.action時,

會經過前端控制器(StrutsPrepareAndExecuteFilter) 過濾器,執行一連串的過濾器鏈,然後根據user 找到了對應的package的namespape,進入到具體的package包下。 利用通配符的方式進行訪問,User_add會進行匹配相應的action,根據class和method找到是哪一個類的哪一個方法,在實例化類Action之前,會先執行攔截器。通過反射實例化類,運行方法, 方法運行成功之後,有一個返回值,這個返回值會與剛才action下的 中的name進行相應的匹配,匹配到哪一個,就執行哪一個result。 如果是diapatcher或者redirect,就显示到相應的.jsp頁面(帶有數據), 如果是chain或者redirectAction,那麼就去執行那一個方法,之後進行返回具體的視圖。

執行過程圖如下:

謝謝您的觀看!!!

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※帶您來了解什麼是 USB CONNECTOR  ?

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!

※綠能、環保無空污,成為電動車最新代名詞,目前市場使用率逐漸普及化

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

※教你寫出一流的銷售文案?

※別再煩惱如何寫文案,掌握八大原則!

分類
發燒車訊

除了FastJson,你也應該了解一下Jackson(二)

概覽

上一篇文章介紹了Jackson中的映射器ObjectMapper,以及如何使用它來實現Json與Java對象之間的序列化和反序列化,最後介紹了Jackson中一些序列化/反序列化的高級特性。而本文將會介紹Jackson中的一些常用的(序列化/反序列化)註解,並且通過示例來演示如何使用這些註解,從而來提高我們在處理Json上的工作效率。

序列化註解

@JsonAnyGetter

@JsonAnyGetter註解允許靈活地使用映射(鍵值對,如Map)字段作為標準屬性。

我們聲明如下Java類:

@Data
@Accessors(chain = true)
public static class ExtendableBean {
    public String name;
    private Map<String, String> properties;

    @JsonAnyGetter
    public Map<String, String> getProperties() {
        return properties;
    }
}

編寫測試代碼,測試@JsonAnyGetter:

@Test
public void testJsonAnyGetter() throws JsonProcessingException {
    ExtendableBean extendableBean = new ExtendableBean();
    Map<String, String> map = new HashMap<>();
    map.put("age", "13");
    extendableBean.setName("dxsn").setProperties(map);
    log.info(new ObjectMapper().writeValueAsString(extendableBean));
  	//打印:{"name":"dxsn","age":"13"}
    assertThat(new ObjectMapper().writeValueAsString(extendableBean)).contains("name");
    assertThat(new ObjectMapper().writeValueAsString(extendableBean)).contains("age");
}

如上,可以看properties屬性中的鍵值對(Map)被擴展到了ExtendableBean的Json對象中。

@JsonGetter

@JsonGetter註解是@JsonProperty註解的替代品,用來將一個方法標記為getter方法。

我們創建以下Java類

@Data
@AllArgsConstructor
@NoArgsConstructor
public static class MyBean {
    public int id;
    private String name;

    @JsonGetter("name")
    public String getTheName() {
        return name;
    }
}

如上,我們在類中聲明了一個getTheName()方法,並且使用@JsonGetter(“name”)修飾,此時,該方法將會被Jackson認作是name屬性的get方法。

編寫測試代碼:

@Test
public void testJsonGetter() throws JsonProcessingException {
    MyBean myBean = new MyBean(1, "dxsn");
    String jsonStr = new ObjectMapper().writeValueAsString(myBean);
    log.info(jsonStr);
    assertThat(jsonStr).contains("id");
    assertThat(jsonStr).contains("name");
}

可以看到,jackson將私有屬性name,也進行了序列化。

@JsonPropertyOrder

我們可以使用@JsonPropertyOrder註解來指定Java對象的屬性序列化順序。

@JsonPropertyOrder({"name", "id"})
//order by key's name
//@JsonPropertyOrder(alphabetic = true)
@Data
@Accessors(chain = true)
public static class MyOrderBean {
  public int id;
  public String name;
}

編寫測試代碼:

@Test
public void testJsonPropertyOrder1() throws JsonProcessingException {
    MyOrderBean myOrderBean = new MyOrderBean().setId(1).setName("dxsn");
    String jsonStr = new ObjectMapper().writeValueAsString(myOrderBean);
    log.info(jsonStr);
    assertThat(jsonStr).isEqualTo("{\"name\":\"dxsn\",\"id\":1}");
}

如上,可以看到序列化得到的Json對象中屬性的排列順序正是我們在註解中指定的順序。

@JsonRawValue

@JsonRawValue註解可以指示Jackson按原樣序列化屬性。

在下面的例子中,我們使用@JsonRawValue嵌入一些定製的JSON作為一個實體的值:

@Data
@AllArgsConstructor
@NoArgsConstructor
public static class RawBean {
    public String name;
    @JsonRawValue
    public String json;
}

編寫測試代碼:

@Test
public void testJsonRawValue() throws JsonProcessingException {
    RawBean rawBean = new RawBean("dxsn", "{\"love\":\"true\"}");
    log.info(new ObjectMapper().writeValueAsString(rawBean));
  	//輸出:{"name":"dxsn","json":{"love":"true"}}
    String result = new ObjectMapper().writeValueAsString(rawBean);
    assertThat(result).contains("dxsn");
    assertThat(result).contains("{\"love\":\"true\"}");
}

@JsonValue

@JsonValue表示Jackson將使用一個方法來序列化整個實例。

下面我們創建一個枚舉類:

@AllArgsConstructor
public static enum TypeEnumWithValue {
    TYPE1(1, "Type A"), TYPE2(2, "Type 2");
    private Integer id;
    private String name;

    @JsonValue
    public String getName() {
        return name;
    }
}

如上,我們在getName()上使用@JsonValue進行修飾。

編寫測試代碼:

@Test
public void testJsonValue() throws JsonProcessingException {
    String  jsonStr = new ObjectMapper().writeValueAsString(TypeEnumWithValue.TYPE2);
    log.info(jsonStr);
    assertThat(jsonStr).isEqualTo("Type 2");
}

可以看到,枚舉類的對象序列化后的值即getName()方法的返回值。

@JsonRootName

如果啟用了包裝(wrapping),則使用@JsonRootName註解可以指定要使用的根包裝器的名稱。

下面我們創建一個使用@JsonRootName修飾的Java類:

@JsonRootName(value = "user")
@Data
@AllArgsConstructor
public static class UserWithRoot {
    public int id;
    public String name;
}

編寫測試:

@Test
public void testJsonRootName() throws JsonProcessingException {
    UserWithRoot userWithRoot = new UserWithRoot(1, "dxsn");
    ObjectMapper mapper = new ObjectMapper();
  	//⬇️重點!!!
    mapper.enable(SerializationFeature.WRAP_ROOT_VALUE);
  
    String result = mapper.writeValueAsString(userWithRoot);
    log.info(result);
  	//輸出:{"user":{"id":1,"name":"dxsn"}}
    assertThat(result).contains("dxsn");
    assertThat(result).contains("user");
}

上面代碼中,我們通過開啟ObjectMapper的SerializationFeature.WRAP_ROOT_VALUE。可以看到UserWithRoot對象被序列化后的Json對象被包裝在user中,而非單純的{"id":1,"name":"dxsn"}

@JsonSerialize

@JsonSerialize註解表示序列化實體時要使用的自定義序列化器。

我們定義一個自定義的序列化器:

public static class CustomDateSerializer extends StdSerializer<Date> {
    private static SimpleDateFormat formatter = new SimpleDateFormat("dd-MM-yyyy hh:mm:ss");

    public CustomDateSerializer() {
        this(null);
    }

    public CustomDateSerializer(Class<Date> t) {
        super(t);
    }

    @Override
    public void serialize(
        Date value, JsonGenerator gen, SerializerProvider arg2) throws IOException, JsonProcessingException {
        gen.writeString(formatter.format(value));
    }
}

使用自定義的序列化器,創建Java類:

@Data
@AllArgsConstructor
public static class Event {
    public String name;
    @JsonSerialize(using = CustomDateSerializer.class)
    public Date eventDate;
}

編寫測試代碼:

@Test
public void testJsonSerialize() throws ParseException, JsonProcessingException {
    SimpleDateFormat formatter = new SimpleDateFormat("dd-MM-yyyy hh:mm:ss");
    String toParse = "20-12-2014 02:30:00";
    Date date = formatter.parse(toParse);
    Event event = new Event("party", date);
    String result = new ObjectMapper().writeValueAsString(event);
    assertThat(result).contains(toParse);
}

可以看到,使用@JsonSerialize註解修飾指定屬性后,將會使用指定的序列化器來序列化該屬性。

反序列化註解

@JsonCreator

我們可以使用@JsonCreator註解來優化/替換反序列化中使用的構造器/工廠。

當我們需要反序列化一些與我們需要獲取的目標實體不完全匹配的JSON時,它非常有用。

現在,有如下一個Json對象:

{"id":1,"theName":"My bean"}

我們聲名了一個Java類:

@Data
public static class BeanWithCreator {
    private int id;
    private String name;
}

此時,在我們的目標實體中沒有theName字段,只有name字段。現在,我們不想改變實體本身,此時可以通過使用@JsonCreator和@JsonProperty註解來修飾構造函數:

@Data
public static class BeanWithCreator {
    private int id;
    private String name;

    @JsonCreator
    public BeanWithCreator(@JsonProperty("id") int id, @JsonProperty("theName") String name) {
        this.id = id;
        this.name = name;
    }
}

編寫測試:

@Test
public void beanWithCreatorTest() throws JsonProcessingException {
    String str = "{\"id\":1,\"theName\":\"My bean\"}";
    BeanWithCreator bean = new ObjectMapper()
        .readerFor(BeanWithCreator.class)
        .readValue(str);
 	 	assertThat(bean.getId()).isEqualTo(1);
    assertThat(bean.getName()).isEqualTo("My bean");
}

可以看到,即使Json對象中的字段名和實體類中不一樣,但由於我們手動指定了映射字段的名字,從而反序列化成功。

@JacksonInject

@JacksonInject表示java對象中的屬性將通過注入來賦值,而不是從JSON數據中獲得其值。

創建如下實體類,其中有字段被@JacksonInject修飾:

public static class BeanWithInject {
    @JacksonInject
    public int id;
    public String name;
}

編寫測試:

@Test
public void jacksonInjectTest() throws JsonProcessingException {
    String json = "{\"name\":\"dxsn\"}";
    InjectableValues inject = new InjectableValues.Std()
        .addValue(int.class, 1);
    BeanWithInject bean = new ObjectMapper().reader(inject)
        .forType(BeanWithInject.class)
        .readValue(json);
    assertThat(bean.id).isEqualTo(1);
    assertThat(bean.name).isEqualTo("dxsn");
}

如上,我們在測試中將json字符串(僅存在name字段)進行反序列化,其中id通過注入的方式對屬性進行賦值。

@JsonAnySetter

@JsonAnySetter允許我們靈活地使用映射(鍵值對、Map)作為標準屬性。在反序列化時,JSON的屬性將被添加到映射中。

創建一個帶有@JsonAnySetter的實體類:

public static class ExtendableBean {
    public String name;
    public Map<String, String> properties;

    @JsonAnySetter
    public void add(String key, String value) {
        if (properties == null) {
            properties = new HashMap<>();
        }
        properties.put(key, value);
    }
}

編寫測試:

@Test
public void testJsonAnySetter() throws JsonProcessingException {
    String json = "{\"name\":\"dxsn\", \"attr2\":\"val2\", \"attr1\":\"val1\"}";
    ExtendableBean extendableBean = new ObjectMapper().readerFor(ExtendableBean.class).readValue(json);
    assertThat(extendableBean.name).isEqualTo("dxsn");
    assertThat(extendableBean.properties.size()).isEqualTo(2);
}

可以看到,json對象中的attr1,attr2屬性在反序列化之後進入了properties。

@JsonSetter

@JsonSetter是@JsonProperty的替代方法,它將方法標記為屬性的setter方法。
當我們需要讀取一些JSON數據,但目標實體類與該數據不完全匹配時,這非常有用,因此我們需要優化使其適合該數據。

創建如下實體類:

@Data
public static class MyBean {
    public int id;
    private String name;

    @JsonSetter("name")
    public void setTheName(String name) {
        this.name = "hello " + name;
    }
}

編寫測試:

@Test
public void testJsonSetter() throws JsonProcessingException {
    String json = "{\"id\":1,\"name\":\"dxsn\"}";
    MyBean bean = new ObjectMapper().readerFor(MyBean.class).readValue(json);
    assertThat(bean.getName()).isEqualTo("hello dxsn");
}

可以看到,json對象中的name屬性為“dxsn”,我們通過在MyBean類中定義了使用@JsonSetter(“name”)註解修飾的方法,這表明該類的對象在反序列話的時候,name屬性將來自此方法。最後MyBean對象中name的值變為了hello dxsn。

@JsonDeserialize

@JsonDeserialize註解指定了在反序列化的時候使用的反序列化器。

如下,定義了一個自定義的反序列化器:

public static class CustomDateDeserializer extends StdDeserializer<Date> {
    private static SimpleDateFormat formatter = new SimpleDateFormat("dd-MM-yyyy hh:mm:ss");

    public CustomDateDeserializer() {
        this(null);
    }

    public CustomDateDeserializer(Class<?> vc) {
        super(vc);
    }

    @Override
    public Date deserialize(JsonParser jsonparser, DeserializationContext context) throws IOException {
        String date = jsonparser.getText();
        try {
            return formatter.parse(date);
        } catch (ParseException e) {
            throw new RuntimeException(e);
        }
    }
}

創建一個使用@JsonDeserialize(using = CustomDateDeserializer.class)修飾的實體類:

public static class Event {
    public String name;
    @JsonDeserialize(using = CustomDateDeserializer.class)
    public Date eventDate;
}

編寫測試:

@Test
public void whenDeserializingUsingJsonDeserialize_thenCorrect()
    throws IOException {
    String json = "{\"name\":\"party\",\"eventDate\":\"20-12-2014 02:30:00\"}";
    SimpleDateFormat df = new SimpleDateFormat("dd-MM-yyyy hh:mm:ss");
    Event event = new ObjectMapper().readerFor(Event.class).readValue(json);
    assertThat(event.name).isEqualTo("party");
    assertThat(event.eventDate).isEqualTo(df.format(event.eventDate));

}

可以看到,在Event對象中,eventDate屬性通過自定義的反序列化器,將“20-12-2014 02:30:00”反序列化成了Date對象。

@JsonAlias

@JsonAlias在反序列化期間為屬性定義一個或多個替代名稱。讓我們通過一個簡單的例子來看看這個註解是如何工作的:

@Data
public static class AliasBean {
    @JsonAlias({"fName", "f_name"})
    private String firstName;
    private String lastName;
}

如上,我們編寫了一個使用@JsonAlias修飾的AliasBean實體類。

編寫測試:

@Test
public void whenDeserializingUsingJsonAlias_thenCorrect() throws IOException {
    String json = "{\"fName\": \"John\", \"lastName\": \"Green\"}";
    AliasBean aliasBean = new ObjectMapper().readerFor(AliasBean.class).readValue(json);
    assertThat(aliasBean.getFirstName()).isEqualTo("John");
}

可以看到,即使json對象中的字段名是fName,但是由於在AliasBean中使用@JsonAlias修飾了firstName屬性,並且指定了兩個別名。所以反序列化之後fName被映射到AliasBean對象的firstName屬性上。

更多

除上述註解之外,Jackson還提供了很多額外的註解,這裏不一一列舉,接下來會例舉幾個常用的註解:

  • @JsonProperty:可以在類的指定屬性上添加@JsonProperty註解來表示其對應在JSON中的屬性名。
  • @JsonFormat:此註解在序列化對象中的日期/時間類型屬性時可以指定一種字符串格式輸出,如:@JsonFormat(shape = JsonFormat.Shape.STRING, pattern = “dd-MM-yyyy hh:mm:ss”)。
  • @JsonUnwrapped:@JsonUnwrapped定義了在序列化/反序列化時應該被扁平化的值。
  • @JsonIgnore:序列化/反序列化時忽略被修飾的屬性。
  • ……

總結

本文主要介紹了Jackson常用的序列化/反序列化註解,最後介紹了幾個常用的通用註解。Jackson中提供的註解除了本文列舉的還有很多很多,使用註解可以讓我們的序列化/反序列化工作更加輕鬆。如果你想將某庫換成Jackson,希望這篇文章可以幫到你。

本文涉及的代碼地址:https://gitee.com/jeker8chen/jackson-annotation-demo

歡迎訪問筆者博客:blog.dongxishaonian.tech

關注筆者公眾號,推送各類原創/優質技術文章 ⬇️

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

台北網頁設計公司這麼多該如何選擇?

※智慧手機時代的來臨,RWD網頁設計為架站首選

※評比南投搬家公司費用收費行情懶人包大公開

※回頭車貨運收費標準

網頁設計最專業,超強功能平台可客製化

※別再煩惱如何寫文案,掌握八大原則!

分類
發燒車訊

微前端與項目實施方案研究

一、前言

微前端(micro-frontends)是近幾年在前端領域出現的一個新概念,主要內容是將前端應用分解成一些更小、更簡單的能夠獨立開發、測試、部署的小塊,而在用戶看來仍然是內聚的單個產品。微前端的理念源於微服務,是將龐大的整體拆成可控的小塊,並明確它們之間的依賴關係,而它的價值在於能將低耦合的代碼與組件進行組合,基座+基礎協議模式能接入大量應用,進行統一的管理和輸出,許多公司與團隊也都在不斷嘗試和優化相關解決技術與設計方案,為這一概念的落地和推廣添磚加瓦。結合自身遇到的問題,適時引用微前端架構能起到明顯的提效賦能作用。

二、背景

目前我司擁有大量的內部系統,這些系統採用相同的技術棧,在實際開發和使用過程中,逐漸暴露出如下幾個問題:

1.有大量可復用的部分,雖然有組件庫,但是依賴版本難統一;
2.靜態資源體積過大,影響頁面加載和渲染速度;
3.應用切換目前是通過鏈接跳轉的方式實現,會有白屏和等待時長的問題,對用戶體驗不夠友好;
針對上述幾個問題,決定採用微前端架構對內部系統進行統一的管理,本文也是圍繞微前端落地的技術預研方案。

三、方案調研

目前業界有多種解決方案,有各自的優缺點,具體如下:

  • 路由轉發:路由轉發嚴格意義上不屬於微前端,多個子模塊之間共享一個導航即可 簡單,易實現 體驗不好,切換應用整個頁面刷新;

  • 嵌套 iframe:每個子應用一個 iframe 嵌套 應用之間自帶沙箱隔離 重複加載腳本和樣式;

  • 構建時組合:獨立倉儲,獨立開發,構建時整體打包,合併應用 方便依賴管理,抽取公共模塊 無法獨立部署,技術棧,依賴版本必須統一;

  • 運行時組合:每個子應用獨立構建,運行時由主應用負責應用管理,加載,啟動,卸載,通信機制 良好的體驗,真正的獨立開發,獨立部署 複雜,需要設計加載,通信機制,無法做到徹底隔離,需要解決依賴衝突,樣式衝突問題;

    開源微前端框架也有多種,例如阿里出品的qiankun,icestark,還有針對angular提出的mooa等,都能快速接入項目,但結合公司內部系統的特點,直接採用會有有些限制,例如要實現定製界面,無刷新加載應用,且不能對現有項目的開發和部署造成影響,因此決定自研相關技術。

四、架構設計

4.1 應用層

應用層包括所有接入微服務工作台的內部系統,他們各自開發與部署,接入前後沒有多大影響,只是需要針對微服務層單獨輸出打包一份靜態資源;

4.2 微服務層

微服務層作為核心模塊,擁有資源加載、路由管理、狀態管理和用戶認證管理幾大功能,具體內容將在後面詳細闡述,架構整體工作流程如下:

4.3 基礎支撐層

基礎支撐層作為基座,提供微服務運行的環境和容器,同時接入其他後端服務,豐富實用場景和業務功能;

五、技術重難點

要實現自定義微前端架構,難點在於需要管理和整合多個應用,確保應用之間獨立運行,彼此不受影響,需要解決如下幾個問題:

5.1 資源管理

5.1.1資源加載

每個應用有一個應用資源管理和註冊的文件(app.regiser.js),其中包含路由信息,應用配置信息(configs.js)和靜態資源清單,當首次切換到某應用時,首先加載app.register.js文件,完成路由和應用信息的註冊,然後根據當前瀏覽器路由地址加載對應的靜態文件,完成頁面渲染,從而將各應用的靜態資源串聯起來,其中註冊入口文件通過webpack插件來實現,具體實現如下:
FuluAppRegisterPlugin.prototype.apply = function(compiler) {
   appId = extraAppId();
   var entry = compiler.options.entry;
   if (isArray(entry)) {
            for (var i = 0; i &lt; entry.length; i++) {
                if (isIndexFile(entry[i])) { // 入口文件
                    indexFileEdit(entry[i]);
                    entry[i] = entry[i].replace(indexEntryRegx, indeEntryTemp); // 替換入口文件
                    i = entry.length;
                }
            }
    } else {
            if (isIndexFile(entry)) { // 入口文件
                indexFileEdit(entry); // 重新生成和編輯入口文件
                compiler.options.entry = compiler.options.entry.replace(indexEntryRegx, indeEntryTemp); // 替換入口文件
            }
    }
    compiler.hooks.done.tap('fulu-app-register-done', function(compilation) {
            fs.unlinkSync(tempFilePath); // 刪除臨時文件
            return compilation;
    });
    compiler.hooks.emit.tap('fulu-app-register', function(compilation) {
        var contentStr = 'window.register("'+ appId + '", {\nrouter: [ \n ' + extraRouters() + ' \n],\nentry: {\n'; // 全局註冊方法
        var entryCssArr = [];
        var entryJsArr = [];
        for (var filename in compilation.assets) {
            if (filename.match(mainCssRegx)) { // 提取css文件
                entryCssArr.push('\"' + filename + '\"');
            } else if (filename.match(mainJsRegx) || filename.match(manifestJsRegx) || filename.match(vendorsJsRegx)) { // 提取js文件
                entryJsArr.push('\"' + filename + '\"');
            }
        }
        contentStr += ('css: ['+ entryCssArr.join(', ') +'],\n'); // css資源清單
        contentStr += ('js: ['+ entryJsArr.join(', ') +'],\n }\n});\n'); // js資源清單
        compilation.assets['resources/js/' + appId + '-app-register.js'] = { // 生成appid-app-register.js入口文件
            source: function() {
                return contentStr;
            },
            size: function() {
                return contentStr.length;
            }
        };
        return compilation;
    });
};
5.1.2資源文件名
微服務輸出打包模式下,靜態資源統一打包形式以項目id開頭,形如10000092-main.js, 文件名稱的修改通過webpack的插件實現;

核心實現代碼如下:

FuluAppRegisterPlugin.prototype.apply = function(compiler) {
    ......
    compiler.options.output.filename = addIdToFileName(compiler.options.output.filename, appId);
    compiler.options.output.chunkFilename = addIdToFileName(compiler.options.output.chunkFilename, appId);
    compiler.options.plugins.forEach((c) =&gt; {
        if (c.options) {
            if (c.options.filename) {
                c.options.filename = addIdToFileName(c.options.filename, appId);
            }
            if (c.options.chunkFilename) {
                c.options.chunkFilename = addIdToFileName(c.options.chunkFilename, appId);
            }
        }
    });
   ......
};

5.2 路由管理

路由分為應用級和菜單級兩大類,應用類以應用id為前綴,將各應用區分開,避免路由地址重名的情況,菜單級的路由由各應用的路由系統自行管理,結構如下:

5.3 狀態分隔

前端項目通過狀態管理庫來進行數據的管理,為了保證各應用彼此間獨立,因此需要修改狀態庫的映射關係,這一部分需要藉助於webpack插件來進行統一的代碼層面調整,包括model和view兩部分代碼,model定義了狀態對象,view藉助工具完成狀態對象的映射,調整規則為【應用id+舊狀態對象名稱】,下面來講解一下插件的實現;

插件的實現原理是藉助AST的搜索語法匹配源代碼中的狀態編寫和綁定的相關代碼,然後加上應用編號前綴,變成符合預期的AST,最後輸出成目標代碼:
module.exports = function(source) {
      var options = loaderUtils.getOptions(this);
	stuff = 'app' + options.appId;
	isView = !!~source.indexOf('React.createElement'); // 是否是視圖層
	allFunc = [];
	var connectFn = "function connect(state) {return Object.keys(state).reduce(function (obj, k) { var nk = k.startsWith('"+stuff+"') ? k.replace('"+stuff+"', '') : k; obj[nk] = state[k]; return obj;}, {});}";
	connctFnAst = parser.parse(connectFn);
	const ast = parser.parse(source, { sourceType: "module", plugins: ['dynamicImport'] });
	traverse(ast, {
		CallExpression: function(path) {
			if (path.node.callee && path.node.callee.name === 'connect') { // export default connext(...)
				if (isArray(path.node.arguments)) {
					var argNode = path.node.arguments[0];
					if (argNode.type === 'FunctionExpression') { // connect(() => {...})
						traverseMatchFunc(argNode);
					} else if (argNode.type === 'Identifier' && argNode.name !== 'mapStateToProps') { // connect(zk)
						var temp_node = allFunc.find((fnNode) => {
							return fnNode.id.name === argNode.name;
						});
						if (temp_node) {
							traverseMatchFunc(temp_node);
						}
					}
				}
			} else if (path.node.callee && path.node.callee.type === 'SequenceExpression') {
				if (isArray(path.node.callee.expressions)) {
					for (var i = 0; i < path.node.callee.expressions.length; i++) {
						if (path.node.callee.expressions[i].type === 'MemberExpression'
							&& path.node.callee.expressions[i].object.name === '_dva'
							&& path.node.callee.expressions[i].property.name === 'connect') {
								traverseMatchFunc(path.node.arguments[0]);
								i = path.node.callee.expressions.length;
						}
					}
				}
			}
		},
		FunctionDeclaration: function(path) {
			if (path.node.id.name === 'mapStateToProps' && path.node.body.type === 'BlockStatement') {
				traverseMatchFunc(path.node);
			}
			allFunc.push(path.node);
		},
		ObjectExpression: function(path) {
			if (isView) {
				return;
			}
			if (isArray(path.node.properties)) {
				var temp = path.node.properties;
				for (var i = 0; i < temp.length; i++) {
					if (temp[i].type === 'ObjectProperty' && temp[i].key.name === 'namespace') {
						temp[i].value.value = stuff + temp[i].value.value;
						i = temp.length;
					}
				}
			}
		}
	});
	return core.transformFromAstSync(ast).code;
};

5.4 框架容器渲染

完成以上步驟的改造,就可以實現容器中的頁面渲染,這一部分涉及到組件庫框架層面的調整,大流程如下圖:

六、構建流程

6.1 使用插件

構建過程中涉及到兩款自開發的插件,分別是fulu-app-register-plugin和fulu-app-loader;

6.1.1 安裝
npm i fulu-app-register-plugin fulu-app-loader -D;
6.1.2 配置

webpack配置修改:

const FuluAppRegisterPlugin = require('fulu-app-register-plugin');
module: {
   rules: [{
         test: /\.jsx?$/,
         loader: 'fulu-app-loader',
      }
   ]
}
plugins: [
    new FuluAppRegisterPlugin(),
    ......
]

6.2.編譯

編譯過程與目前項目保持一致,相比以前,多輸出了一份微前端項目編譯代碼,流程如下:

七、遺留問題

7.1 js環境隔離

由於各應用都加載到同一個運行環境,因此如果修改了公共的部分,則會對其他系統產生不可預知的影響,目前沒有比較好的辦法來解決,後續將持續關注這方面的內容,逐漸優化達到風險可制的效果。

7.2.獲取token

目前應用切換使用重定向來完成token獲取,要實現如上所述的微前端效果,需要放棄這種方式,改用接口調用異步獲取,或者其他解決方案。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※帶您來了解什麼是 USB CONNECTOR  ?

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!

※綠能、環保無空污,成為電動車最新代名詞,目前市場使用率逐漸普及化

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

※教你寫出一流的銷售文案?

※別再煩惱如何寫文案,掌握八大原則!

分類
發燒車訊

10_隱馬爾可夫模型

  今天是2020年3月13日星期五。不知不覺已經在家待了這麼多天了,從上一節EM算法開始,數學推導越來越多,用mathtype碼公式真的是太漫長了。本來該筆記是打算把《統計學習方法》這本書做詳細的解讀,起初面對書里大量的數學推導,感到非常恐懼。假期“空窗”時間不少,才有了細嚼慢咽學習的機會。其實很大的原因是自己掌握的東西太少,知道的算法太少,所以才對這本書恐懼。買了一直放着不願意學。現在到隱馬爾可夫模型,再有一章條件隨機場,監督學習部分就結束了。這一個月來,最大的收穫是知道了“怎麼學”。

  新的章節拋出一個新的算法模型,往往丈二和尚摸不着頭腦,什麼都是新的。越是拖延進度越慢,更不能一口吃個胖子指望看一遍就能懂。書讀百遍,其意自見,一遍不懂就再看一遍,一遍有一遍的收穫。但這個過程千萬不要盯着一本書看,一定要多找博客,多看知乎、CSDN,保持審視的態度,保留自己的見解。另外,我是喜歡直接看文字,實在不懂了才去翻視頻看,覺得這種模式挺適合我。

  學到第十章,發現書中的很多東西,沒必要面面俱到,要適當的取捨和放過。因為畢竟這本書不是一次性消耗品,是值得深究和研習的。第一次不懂的東西,完全可以學習完所有章節,建立大的思維格局后,再重新考慮小細節。

  接下來的所有章節,從例子出發,引入各個概念;手寫推導過程;圖解算法流程;最後實現代碼。掰扯開來,其實也就是三個問題:該模型是什麼樣子的(考慮如何引入);該模型為什麼可以這樣做(考慮如何理解推導過程);該模型怎麼應用(考慮代碼實現和應用場景)。

 GitHub:https://github.com/wangzycloud/statistical-learning-method

 隱馬爾科夫模型

引入

  隱馬爾科夫模型描述由隱藏的馬爾可夫鏈隨機生成觀測序列的過程,屬於生成模型。把這句話倒着思考一下:(1)該模型屬於生成模型,會不會類似EM算法中考慮的,一個觀測數據y的生成,中間需要經過一個隱藏狀態z。(2)很明顯這裏生成的不是單個數據,而是單個數據構成的一個序列,並存在時序關係。(3)馬爾可夫鏈是什麼?在生成數據序列的過程中扮演什麼角色?

  先區分兩個概念,“狀態and觀測”。在我的理解里,“狀態”也好,“觀測”也罷,不過是表達隨機變量的一個說法。狀態會有多個狀態,觀測會有多個觀測,但同時只允許一個狀態或者一個觀測出現。例如,現在有四個盒子(灰、黃、綠、藍),李華在五天內選盒子取球,規定每天只能取一個盒子(每個盒子被選的概率一樣大)。問,李華這五天可能會有多少種取盒子的序列,並問取到某種序列的概率是多少?如下:

  你知道的,這個組合數不小。因為每個盒子被選到的概率一樣大,所以每個序列出現的概率相同。李華每天在盒子里取球(紅、白),現在限制每個盒子紅球、白球數目相同(紅、白球各有五個)。問,李華五天內取到球的顏色的序列有多少種,並問取到某種序列的概率是多少?

   顯然,這個組合數要小一些。因為每個盒子中紅白球數目相同,且此時盒子的選擇(狀態)對球的選取無影響,所以每個序列出現的概率相同。可是如果每個盒子中,紅白球的數量不是五五開,各不相同呢?李華五天內取球的某個序列的概率,就不再相同了。另外,除了受到盒子內紅白球的概率分佈影響,還要受到某天會抽到哪個盒子的概率分佈影響。

  在上述例子中,把可能取到的盒子情況,稱作“狀態”;把可能會取到的球的情況,稱作“觀測”。在隱馬爾科夫模型中,盒子會取到的各種狀態,我們是觀測不到的。而球的各種情況我們是知道的,可以被觀測到。

  取球要受到盒子所在狀態的影響,示意圖如下:

  此時,還不能叫做隱馬爾可夫模型的示例。需要繼續給“取盒子->取球->得到觀測序列”的過程施加限制條件。比如說,t時刻取到某個盒子,要受到t-1時刻盒子的狀態影響。一個簡單的例子,t-1時刻盒子是綠盒子,t時刻一定取灰色盒子,且t-1時刻取到綠盒子不對t+1、t+2、…、T時刻產生影響。具體一點,就是讓“當前時刻隱藏狀態”只受上一時刻“隱藏狀態”影響,且與所處的時刻t無關

  通過一步步施加的各個條件,此時可以稱作隱馬爾可夫模型的示例了。

隱馬爾科夫模型的基本概念

  先上例子,盒子和球模型。

  在這個例子中有兩個隨機序列,一個是盒子的序列(狀態序列),也就是每次選取到的盒子序列,這個過程是隱藏的,觀測不到從哪個盒子取球;一個是球的顏色序列(觀測序列),我們只能知道取出來的各個球的顏色。

  先分析一下取盒子環節,這是一個環環相扣的過程。從當前t-1時刻的盒子出發,考慮t時刻會取到哪個盒子,要符合規則。如當前盒子是1,根據上述規則,下一個盒子一定是盒子2。考慮t+2時刻會取到哪個盒子,要站在t+1時刻的盒子狀態上,決定取哪一個盒子。所謂的馬爾可夫性,很重要的一點,就是t-1時刻的狀態只決定t時刻的狀態(盒子1之後一定會取到盒子2),並不能決定t+1時刻狀態的取值(盒子1之後,決定不了盒子2之後會取哪個盒子)。

  再看一下取球環節,對應着描述中的從盒子中隨機取球的過程。每個盒子裡邊紅、白球的數目不同,不同的盒子取到紅色球的概率不同。當前盒子有屬於自己的概率分佈,取球的概率不盡相同。

  用數學語言完善完善以下過程:盒子可以構成一個集合;當前時刻的盒子如何確定下一個盒子,需要有狀態轉移概率;球可以夠成一個集合;從不同盒子裡邊取球,需要知道每個盒子的概率分佈;取了多少個球,需要有序列長度;最開始怎麼選第一個盒子。

  根據所給的條件,有以下:

  重點看一下狀態轉移矩陣。

  熟悉了這個例子,再來理解數學上的各個概念。

  這裏的狀態隨機序列就是每次取到盒子組成的序列,觀測序列就是球顏色的序列。隱馬爾科夫模型由狀態的初始概率分佈、狀態中間的轉移概率分佈以及觀測概率分佈組成。

  對應着看,Q就是例子中盒子的集合,V就是球顏色的集合,I是盒子序列,O是顏色序列。

  令A為狀態轉移矩陣:

  這裏的變量i有點混亂,注意區分。公式10.2中,(1)aij中的i是狀態轉移矩陣A中的第i行的意思,aij也就是矩陣A中的第i行第j個元素,該值表示從第i個元素轉移到第j個元素的概率;(2)it+1it中的i是指該狀態序列中的第t+1、第t個狀態,這裏i是序列的意思;(3)qi中的i是在狀態集合中取到哪個狀態的意思。

  t+1時刻能夠取到哪個狀態,要受到t時刻狀態的影響。也就是在t時刻狀態取某個值的條件下,t+1時刻才會有什麼樣的取值。矩陣A維度為N*N,也就是要知道該時刻每個狀態對下一時刻每個狀態的影響。

  觀測有M種,vk可以理解為觀測集合V中的第k個觀測。在盒子和球的例子中,可以看到每個觀測的取值,是由隱變量的狀態->哪個盒子決定的,並且只與當前的盒子有關係,每個盒子有各自取球的概率分佈。用概率符號表示就是公式10.4,表示在狀態為第j個盒子的情況下,觀測到vk的概率。

  用π來表示初始概率向量,也就是t=1序列起始時,根據一定的概率分佈選擇第一個盒子。

  在這裏,狀態轉移概率矩陣A與初始狀態概率向量π確定了隱藏的馬爾可夫鏈,可生成不可觀測的狀態序列。觀測概率矩陣B確定了如何從狀態生成觀測,與狀態序列綜合確定了如何產生觀測序列。

  從上述描述及定義10.1可以看到,隱馬爾科夫模型做了兩個基本假設:

  (1)再次回顧盒子和球模型,盒子的選擇是不是只規定了時序上前後相鄰的盒子該怎麼選;而沒有第一次選盒子1,第三次一定會選到盒子3這樣的規定。也就是在任意時刻t的狀態只依賴於其前一時刻t-1的狀態,這就是馬爾科夫鏈“齊次”的重要性質。

  (2)觀測獨立性假設是指我們觀測到的每一次現象(紅球、白球),只與該球所在盒子的概率分佈有關,與其它盒子的概率分佈沒有一點關係!與其它時刻的觀測沒有一點關係!

  觀測序列的生成過程可以由算法10.1描述。

   HMM和CRF,與之前學習的各個模型,差別是比較大的,學習思路是要換一換。理解了隱馬爾科夫模型的基本概念,下一步就是要考慮該模型可以做什麼?怎麼做?這裏我接觸的不多,只能順着書本的思路,學習隱馬爾可夫模型的三個基本問題。

  1)概率計算問題。很自然的,考慮一下某個觀測序列O出現的概率P(O|λ)

  2)學習問題。已知觀測序列,用極大似然估計的方法估計模型參數λ=(A,B,π)

  3)預測問題,也稱解碼問題。知道模型參數,給定觀測序列,求最有可能的對應的狀態序列。

概率計算算法

1)直接計算

  已知模型參數λ=(A,B,π)和觀測序列O=(o1,o2,…,oT),計算觀測序列O出現的概率P(O|λ)。很容易想到,可以按照概率公式直接進行計算。把得到觀測數據的過程,想象成兩個階段:選取狀態和生成觀測。第一步得到狀態序列,第二步得到觀測序列,可以應用乘法原理。不同的觀測序列可以得到不同的觀測序列,可以應用加法原理。類似於全概率公式,通過列舉所有可能的狀態序列I,求各個狀態序列I上生成觀測O的概率(也就是I,O的聯合概率),然後對所有可能的狀態序列求和,得到P(O|λ)

  容易理解,公式(10.10)為全部狀態序列中某個狀態序列I的概率計算公式;公式(10.11)為在該狀態序列I條件下,觀測序列為O時的條件概率計算方法;公式(10.12)為聯合概率公式;公式(10.13)對所有可能的狀態I求和,也就是求O的邊緣概率(考慮在I出現的所有情況條件下,O出現的概率)。簡單分析下,若狀態數目為N,一共有T個狀態序列,所以狀態序列的可能性為NT。每一種狀態序列都要相應乘T個觀測概率,所以最後的時間複雜度為O(TNT)。用這種方法計算觀測序列O出現的概率,是非常低效的。接下來介紹高效的計算方式,前向-後向算法。

2)前向算法

  先來看一個新概念“前向概率”:

  放在示意圖上如藍色虛線框α3(i)=P(o1,o2,o3,it=qi|λ),可以從聯合概率的角度理解。具體為 αt=3(灰色盒子)=P(o1=紅球,o2=白球,o3=紅球,it=3=灰色盒子|λ)

  在前向概率的基礎上,定義前向算法為:

  步驟(1),計算初值。注意這裏α1(i)應用向量來表示,在t=1,觀測取到o1時,各個隱藏狀態i都有到達o1的概率。計算分兩步,從初始概率πi到隱狀態qi,再從qi經發射矩陣到觀測o1,需要對每個隱藏狀態i計算。

  步驟(2),前向算法遞推公式。αt(i)遞推到αt+1(i),公式(10.16)中的bi(ot+1)可以理解為下圖第二步,由所在的狀態qi經發射矩陣得到觀測ot+1aji可以理解為下圖中的第一步,也就是由t時刻狀態qj經轉移矩陣在t+1時刻狀態為qi的過程。

  公式(10.16)中的求和符號,實際上反映的是t+1時刻取qi時,其實t時刻的任何一個狀態都可以轉移到qi,因此要把t時刻的每種狀態都考慮到。

  步驟(3),終止。公式(10.17)的求和符號挺好理解的,因為,對iT=qi求和,實際上相當於求觀測序列O的邊緣概率。

  再來看一下書中的詳細解釋:

   通過畫圖,是不是要好理解一些~前向算法高效就高效在利用先前的局部計算結果,通過路徑結構將局部結果“遞推”到全局。

  看一下例10.2,基本上就可以理解這個計算過程了。

3)後向算法

  相應的,後向算法先了解“後向概率”這個概念。

   放在示意圖上,如綠色虛線框β2(i)=P(o3,…,oT-1,oT,it=qi|λ),可從條件概率的角度理解。具體為βt=2(綠色盒子)=P(o3=紅球,oT-1=紅,oT=紅球|it=2=綠色盒子,λ)

    在後向概率的基礎上,定義後向算法為:

  步驟(1),初始化後向概率。這裏將最終時刻的所有狀態qi規定為βT(i)=1以下示意圖簡單分析。

  這就好像是βt(i)=P(ot+1,ot+2,…,oT|it=qi, λ)變成了βt(i)=P(it=qi, λ),此時對於it的所有取值,it=qi,是一個不爭的事實。

  步驟(2),後向算法遞推公式。這裏的遞推方向是反向由T+1遞推到T,圖示如下:

  這裏由T+1遞推到T,仍然需要①②兩處的連接。①是公式(10.20)中的aij,②是公式(10.20)中的bj(ot+1)。求和符號是t時刻qi到t+1時刻qj所有情況的匯總。取(qi=灰色盒子,ot+1=白球)進行分析:

   T+1遞推到T,我覺得圖畫的應該差不多了…①②部分是怎樣起到連接作用的…大概就是上圖這樣吧…我解釋不出來…當然了,知乎也好CSDN也好,有詳細推導公式,我就不班門弄斧了。書面解釋如下:

  於是,利用前向概率和後向概率的定義,可以將觀測序列概率P(O|λ)同一寫成:

  示意圖好像是這個樣子:

  公式(10.22)中,先來看前向概率的求和部分,i=1時,αt(1)是t時刻盒子為灰盒子,觀測序列為(o1,o2,…ot,it=q1)的概率;相應的,αt(2)是t時刻盒子為黃盒子,觀測序列為(o1,o2,…ot,it=q2)的概率;αt(3)是t時刻盒子為綠盒子,觀測序列為(o1,o2,…ot,it=q3)的概率;αt(4)是t時刻盒子為藍盒子,觀測序列為(o1,o2,…ot,it=q4)的概率。那麼求和自然就代表着,不考慮盒子的影響,觀測序列為(o1,o2,…ot)的邊緣概率。對應示意圖,也就是消除了t時刻狀態的影響。

  同理,後向概率的求和部分,在示意圖中相當於消除了t+1時刻狀態的影響。①對應着公式(10.22)中的aij,建立連接。②對應着公式(10.22)中的bj(ot+1),將ot+1時刻的觀測計入統計。

4)一些概率與期望值的計算

  利用前向概率和後向概率,可以得到關於單個狀態和兩個狀態概率的計算公式。頭幾遍看這幾個公式的時候,丈二和尚摸不着頭腦,不知道這幾個概率計算有什麼用,就沒怎麼好好看。編寫這部分代碼的時候,發現這幾個公式挺重要的。在學習算法小結,對估計模型參數非常有用。公式介紹的挺具體的,這裏就不在畫圖了…學習的時候隨手畫畫圖,就能理解了~

  1)求單個狀態的條件概率:

  還是畫吧,這裏γt(i)反映是在給定觀測序列O條件下,t時刻處於狀態qi的概率。如下圖,γt(i=灰色盒子)

  2)求兩個連續狀態的條件概率:

   如下圖所示ξt(i,j)反映的是,在給定觀測序列O的條件下,t時刻狀態為灰色盒子、t+1時刻狀態為綠色盒子的條件概率。

  3)一些有用的期望,在學習算法小節可以看到用處:

學習算法

  書中提到,我們進行隱馬爾可夫模型的學習,也就是對模型參數進行估計。根據訓練數據是包括觀測序列和對應的狀態序列,還是只有觀測序列,可以分別由監督學習和無監督學習實現,這裏監督學習方法實際上就是利用極大似然估計。

  1)監督學習方法。書中直接給出了參數估計公式,這裏簡單摘抄下~

   2)無監督學習方法。顧名思義,無監督方法也就是只有觀測序列,進行參數估計的方法。由於監督學習需要使用標註的訓練數據,而人工標註訓練數據往往代價很高。因此有時候就會利用無監督學習的方法。我們可以將觀測序列數據看作EM算法中的不完全數據,狀態序列數據看作EM算法中不可觀測的隱數據,那麼隱馬爾可夫模型就可以看作是含有隱變量的概率模型。於是,可以通過EM算法求解。

  詳細過程如下:

  1.確定完全數據的對數似然函數

  2.EM算法的E步:求Q函數Q(λ,λ^)

  3.EM算法的M步:極大化Q函數Q(λ,λ^)求模型參數A,B,π

  書本上有詳細的推導公式,看懂了2/3,先不摘抄了。有空了把理解了的整理上來,參數估計公式如下:

  於是,有以下Baum-Welch算法,從這裏可以發現一些期望的用處:

預測算法  

  預測算法,也就是根據已知的觀測序列,找到概率最大的狀態序列(最有可能的對應的狀態序列)。

  應用維特比算法,相當於有向無環圖求最短路徑,網上有大量詳細的資料,暫不整理了~

代碼效果

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

台北網頁設計公司這麼多該如何選擇?

※智慧手機時代的來臨,RWD網頁設計為架站首選

※評比南投搬家公司費用收費行情懶人包大公開

※回頭車貨運收費標準

網頁設計最專業,超強功能平台可客製化

※別再煩惱如何寫文案,掌握八大原則!