標籤: 收購鏡頭

分類
發燒車訊

【Stream—5】MemoryStream相關知識分享

一、簡單介紹一下MemoryStream

MemoryStream是內存流，為系統內存提供讀寫操作，由於MemoryStream是通過無符號字節數組組成的，可以說MemoryStream的性能可以算比較出色，所以它擔當起了一些其他流進行數據交互安時的中間工作，同時可降低應用程序中對臨時緩衝區和臨時文件的需求，其實MemoryStream的重要性不亞於FileStream，在很多場合，我們必須使用它來提高性能

二、MemoryStream和FileStream的區別

前文中也提到了，FileStream主要對文件的一系列操作，屬於比較高層的操作，但是MemoryStream卻很不一樣，他更趨向於底層內存的操作，這樣能夠達到更快速度和性能，也是他們的根本區別，很多時候，操作文件都需要MemoryStream來實際進行讀寫，最後放入相應的FileStream中，不僅如此，在諸如XmlWriter的操作中也需要使用MemoryStream提高讀寫速度

三、分析MemoryStream最常見的OutOfMemory異常

先看一下下面一段簡單的代碼

 1             //測試byte數組 假設該數組容量是256M
 2             var testBytes = new byte[256 * 1024 * 1024];
 3             var ms = new MemoryStream();
 4             using (ms)
 5             {
 6                 for (int i = 0; i < 1000; i++)
 7                 {
 8                     try
 9                     {
10                         ms.Write(testBytes, 0, testBytes.Length);
11                     }
12                     catch
13                     {
14                         Console.WriteLine("該內存流已經使用了{0}M容量的內存,該內存流最大容量為{1}M,溢出時容量為{2}M",
15                             GC.GetTotalMemory(false) / (1024 * 1024),//MemoryStream已經消耗內存量
16                             ms.Capacity / (1024 * 1024), //MemoryStream最大的可用容量
17                             ms.Length / (1024 * 1024));//MemoryStream當前流的長度（容量）
18                         break;
19                     }
20                 }
21             }
22             Console.ReadLine();

輸出結果：

 

 

 從輸出結果來看，MemoryStream默認可用最大容量是1024M，發生異常時正好是其最大容量。

問題來了，假設我們需要操作比較大的文件，該怎麼辦呢？其實有2種方法可以搞定，一種是分段處理，我們將Byte數組分成等份進行處理，還有一種方式便是增加MomoryStream的最大可用容量(字節)，我們可以在聲明MomoryStream的構造函數時利用它的重載版本：MemoryStream(int capacity)

到底使用哪種方法比較好呢？其實筆者認為具體項目具體分析，前者分段處理的確能夠解決大數據量操作的問題，但是犧牲了性能和時間（多線程暫時不考慮），後者可以得到性能上的優勢，但是其允許最大容量是 int.Max，所以無法給出一個明確的答案，大家在做項目時，按照需求自己定製即可，最關鍵的還是要取到性能和開銷的最佳點位，還有一種更噁心的溢出方式，往往會讓大家抓狂，就是不定時溢出，就是MemoryStream處理的文件可能只有40M或更小時，也會發生OutOfMemory的異常，關於這個問題，終於在老外的一篇文章中得到了解釋，運氣還不錯，可以看看這篇博文：，由於涉及到windows的內存機制，包括內存也，進程的虛擬地址空間等，比較複雜，所以大家看他的文章前，我先和大家簡單的介紹一下頁和進程的虛擬地址：

內存頁：內存頁分為：文件頁和計算頁

內存中的文件頁是文件緩存區，即文件型的內存頁，用於存放文件數據的內存頁（也稱永久頁），作用在於讀寫文件時可以減少對磁盤的訪問，如果它的大小設置的太小，會引起系統頻繁的訪問磁盤，增加磁盤I/O，設置太大，會浪費內存資源。

內存中的計算頁也稱為計算型的內存頁，主要用於存放程序代碼和臨時使用的數據。

進程的虛擬地址：每一個進程被給予它的非常自由的虛擬地址空間。對於32位的進程，地址空間是4G，因為一個32位指針能夠從0x00000000到0xffffffff之間的任意值，這個範圍允許指針從4294967296個值得一個，覆蓋了一個進程得4G範圍，對於64位進程，地址空間是16eb因為一個64位指針能夠指向18,446,744,073,709,551,616個值中的一個，覆蓋一個進程的16eb範圍，這是十分寬廣的範圍，上述概念都在自windows核心編程這本書，其實這本書對於我們程序員來說很重要，對於內存的操作，本人也是小白。

四、MemoryStream的構造函數

1、MemoryStream()

MemoryStream允許不帶參數的構造

2、MemoryStream(byte[] byte)

Byte數組是包含了一定數據的byte數組，這個構造很重要，初學者或者用的不是很多的程序員會忽略這個構造函數導致後面讀取或寫入數據時發現MemoryStream中沒有byte數據，會導致很鬱悶的感覺，大家注意一下就行，有時候也可能無需這樣，因為很多方法返回值已經是MemoryStream了。

3、MemoryStream(int capacity)

這個是重中之重，為什麼這麼說呢？我在本文探討關於OutMemory異常中也提到了，如果你想額外提高MemoryStream的吞吐量，也只能靠這個方法提升一定的吞吐量，最多也只能到int.Max，這個方法也是解決OutOfMemory的一個可行方案。

4、MemoryStream(byte[] byte,bool writeable)

writeable參數定義該流是否可寫

5、MemoryStream(byte[] byte,int index,int count)

index：參數定義從byte數組中的索引index

count：參數是獲取的數據量的個數

6、MemoryStream(byte[] byte,int index,int count,bool writeable,bool publiclyVisible)

publiclyVisible：參數表示true可以啟用GetBuffer方法，它返回無符號字節數組，流從該數組創建，否則為false。（大家一定覺得這個很難理解，別急，下面的方法中我會詳細的講一下這個東西）

五、MemoryStream的屬性

 Memory的屬性大致都是和其父類很相似，這些功能在我的這篇文章中已經詳細討論過，所以我簡單列舉以下其屬性：

 

 其獨有的屬性：

Capacity：這個前文其實已經提及，它表示該流的可支配容量（字節），非常重要的一個屬性。

六、MemoryStream的方法

對於重寫的方法，這裏不再重複說明，大家可以去看一下

 以下是MemoryStream獨有的方法

1、virtual byte[] GetBuffer()

這個方法使用時需要小心，因為這個方法返回無符號字節數組，也就是說，即使我只輸入幾個字符例如“HellowWorld”我們只希望返回11個數據就行，可是這個方法會把整個緩衝區的數據，包括那些已經分配但是實際上沒有用到的字符數據都返回回來了，如果想啟用這個方法那必須使用上面最後一個構造函數，將publiclyVisible屬性設置成true就行，這也是上面那個構造函數的錯用所在。

2、virtual void WriteTo(Stream stream)

這個方法的目的其實在本文開始的時候討論性能問題時已經指出，MemoryStream常用起中間流的作用，所以讀寫在處理完后將內存吸入其他流中。

七、示例：

1、XmlWriter中使用MemoryStream

 1         public static void UseMemoryStreamInXmlWriter()
 2         {
 3             var ms = new MemoryStream();
 4             using (ms)
 5             {
 6                 //定義一個XmlWriter
 7                 using (XmlWriter writer= XmlWriter.Create(ms))
 8                 {
 9                     //寫入xml頭
10                     writer.WriteStartDocument(true);
11                     //寫入一個元素
12                     writer.WriteStartElement("Content");
13                     //為這個元素增加一個test屬性
14                     writer.WriteStartAttribute("test");
15                     //設置test屬性的值
16                     writer.WriteValue("萌萌小魔王");
17                     //釋放緩衝，這裏可以不用釋放，但是在實際項目中可能要考慮部分釋放對性能帶來的提升
18                     writer.Flush();
19                     Console.WriteLine($"此時內存使用量為：{GC.GetTotalMemory(false)/1024}KB,該MemoryStream已使用容量為：{Math.Round((double)ms.Length,4)}byte,默認容量為：{ms.Capacity}byte");
20                     Console.WriteLine($"重新定位前MemoryStream所在的位置是{ms.Position}");
21                     //將流中所在當前位置往後移動7位，相當於空格
22                     ms.Seek(7, SeekOrigin.Current);
23                     Console.WriteLine($"重新定位后MemoryStream所存在的位置是{ms.Position}");
24                     //如果將流所在的位置設置位如下示的位置，則XML文件會被打亂
25                     //ms.Position = 0;
26                     writer.WriteStartElement("Content2");
27                     writer.WriteStartAttribute("testInner");
28                     writer.WriteValue("萌萌小魔王2");
29                     writer.WriteEndElement();
30                     writer.WriteEndElement();
31                     //再次釋放
32                     writer.Flush();
33                     Console.WriteLine($"此時內存使用量為：{GC.GetTotalMemory(false) / 1024}KB,該MemoryStream已使用容量為：{Math.Round((double)ms.Length, 4)}byte,默認容量為：{ms.Capacity}byte");
34                     //建立一個FileStream 文件創建目的地是f:\test.xml
35                     var fs=new FileStream(@"f:\test.xml",FileMode.OpenOrCreate);
36                     using (fs)
37                     {
38                         //將內存流注入FileStream
39                         ms.WriteTo(fs);
40                         if (ms.CanWrite)
41                         {
42                             //釋放緩衝區
43                             fs.Flush();
44                         }
45                     }
46                     Console.WriteLine();
47                 }
48             }
49         }

運行結果：

 

 咱看一下XML文本是什麼樣的？

 

 2、自定義處理圖片的HttpHandler

有時項目里我們必須將圖片進行一定的操作，例如：水印，下載等，為了方便和管理我們可以自定義一個HttpHandler來負責這些工作

後台代碼：

 1     public class ImageHandler : IHttpHandler
 2     {
 3         /// <summary>
 4         /// 實現IHttpHandler接口中ProcessRequest方法
 5         /// </summary>
 6         /// <param name="context"></param>
 7         public void ProcessRequest(HttpContext context)
 8         {
 9             context.Response.Clear();
10             //得到圖片名
11             var imageName = context.Request["ImageName"] ?? "小魔王";
12             //得到圖片地址
13             var stringFilePath = context.Server.MapPath($"~/Image/{imageName}.jpg");
14             //聲明一個FileStream用來將圖片暫時放入流中
15             FileStream stream=new FileStream(stringFilePath,FileMode.Open);
16             using (stream)
17             {
18                 //通過GetImageFromStream方法將圖片放入Byte數組中
19                 var imageBytes = GetImageFromStream(stream, context);
20                 //上下文確定寫道客戶端時的文件類型
21                 context.Response.ContentType = "image/jpeg";
22                 //上下文將imageBytes中的數組寫到前端
23                 context.Response.BinaryWrite(imageBytes);
24             }
25         }
26 
27         public bool IsReusable => true;
28 
29         /// <summary>
30         /// 將流中的圖片信息放入byte數組后返回該數組
31         /// </summary>
32         /// <param name="stream">文件流</param>
33         /// <param name="context">上下文</param>
34         /// <returns></returns>
35         private byte[] GetImageFromStream(FileStream stream, HttpContext context)
36         {
37             //通過Stream到Image
38             var image = Image.FromStream(stream);
39             //加上水印
40             image = SetWaterImage(image, context);
41             //得到一個ms對象
42             MemoryStream ms = new MemoryStream();
43             using (ms)
44             {
45                 //將圖片保存至內存流
46                 image.Save(ms,ImageFormat.Jpeg);
47                 byte[] imageBytes = new byte[ms.Length];
48                 ms.Position = 0;
49                 //通過內存流放到imageBytes
50                 ms.Read(imageBytes, 0, imageBytes.Length);
51                 //ms.Close();
52                 //返回imageBytes
53                 return imageBytes;
54             }
55         }
56 
57         private Image SetWaterImage(Image image, HttpContext context)
58         {
59             Graphics graphics = Graphics.FromImage(image);
60             Image waterImage = Image.FromFile(context.Server.MapPath("~/Image/logo.jpg"));
61             graphics.DrawImage(waterImage, new Point { X = image.Size.Width - waterImage.Size.Width, Y = image.Size.Height - waterImage.Size.Height });
62             return image;
63         }
64     }

別忘了，還要再web.config中進行配置，如下：

 

 這樣前台就能使用了

 

 讓我們來看一下輸出結果：

 

 哈哈，還不錯。

好了，MemoryStream相關的知識就先分享到這裏了。同志們，再見！

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

分類
發燒車訊

蘋果傳將攜手韓廠研發電動車用電池

蘋果公司持續擴大業務範圍，除新成立的蘋果能源（Apple Energy）成功取得售電許可外，市場上關注度十足的蘋果電動車專案「泰坦計畫」（Project Titan）也時常傳出新消息。近期傳言蘋果將與南韓某企業合作，運用該南韓公司的電池專利，攜手開發電動車用電池。

根據日本蘋果情報網站iPhone Mania、南韓媒體ET News 等報導，蘋果看上某家南韓廠商所取得的鋰電池專利，打算與該廠合作開發電動車用電池。被看上的鋰電池專利技術，電池中央部位採中空設計，可使空氣流通來冷卻電池，等同降低冷卻系統的需求，騰出更多空間來增加電池容量。

日、韓媒體並未披露可能將與蘋果合作的韓廠名稱，但美國MacRumors 透剁歐洲專利局得知，這款「中央中空」的電池是由一家稱為Orange Power 的南韓廠商取得。該廠係一小廠，員工人數僅33人，其中多數為研發人員。

蘋果電動車計畫自曝光以來即備受矚目，但至今仍然只聞樓梯響。據了解，目前共有約1,000人參與蘋果電動車企劃，且蘋果已在柏林設立秘密開發實驗室。MoneyDJ引述The Information網站的說法，表示蘋果電動車可能在2021年亮相；但也有分析師認為，蘋果電動車可能會步上蘋果電視的後塵，胎死腹中。

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

分類
發燒車訊

PostgreSQL空間數據庫創建備份恢復（PostGIS vs ArcGIS）

梯子

PostGIS

創建

安裝就不必介紹了，windows下使用安裝工具Application Stack Builder，選擇空間擴展PostGIS即可自動安裝

然後新建庫后，在庫中執行以下語句創建控件擴展

CREATE EXTENSION postgis

也可以創建數據庫時選擇postgis的模板庫創建

create database postgisdb template postgis_template;

新建數據庫后添加postgis擴展後會發現庫內public模式下函數序列觸發器等都會增加一些postgis相關功能
然後就可以通過PostGIS Shapefile and DBF Loader工具導入shp數據

備份

postgersql的備份恢復主要有

  1. 增量備份和基於時間點恢復（RITR）
  2. pg_dump和pg_dumpall進行轉儲，從SQL轉儲文件恢復
  3. 文件系統級別備份

這裏我們使用簡單，容易掌握的pg_dump命令，一般在安裝目錄bin下
pg_dump備份單庫，不導出角色和表空間相關信息

pg_dump -h localhost -U postgres postgisdb > D:\backup\postgisdb.bak

有一些參數選項可以參考（很多，具體不列了，執行help可以查看到）

pg_dump --help
恢復

恢復可以使用psql

psql -h localhost -U postgres -d postgisdb2 < D:\backup\postgisdb.bak

恢復時可以指定不同的數據庫，如果pg_dump時-C創建數據庫，那也可以不用先新建數據庫

postgis庫的恢復備份還是挺簡單的，所有的東西都在public下

ArcGIS

創建

ArcGIS要連接到postgresql，需要將postgresql安裝目錄lib下的libeay32.dll、libiconv-2.dll、libintl-8.dll、libpq.dll 和 ssleay32.dll拷貝到ArcGIS Desktop的安裝目錄bin下
將ArcGIS Desktop目錄DatabaseSupport\PostgreSQL下的st_geometry.dll拷貝到postgresql的lib下

使用ArcGIS工具箱中Create Enterprise Geodatabase工具創建SDE，完事後會在創建一個sde登陸角色並在庫中創建一個sde模式，包含諸多函數序列管理表等。（注意：ArcGIS雖然可以在系統庫postgres中創建SDE擴展，然並連不上，ArcGIS不允許連接訪問系統數據庫）

然後ArcGIS可以連接該數據庫，並且進行空間數據管理操作。（注意：默認ArcGIS創建空間數據，只能創建在和登陸用戶同名的模式下）

備份

我們可以向上面PostGIS備份恢復一樣，直接備份整個庫

恢復

如果恢復至同名數據庫，像上面恢復是沒有問題的
但如果數據庫改名了，則會有驚喜發生，ArcGIS管理空間報底層gdb_release之類的錯誤，同樣的問題不止恢復庫時，修改數據庫名稱也不像其他庫那麼隨心所欲，以含SDE擴展的庫為模板創建新庫也會有問題

ArcGIS SDE未見文檔介紹內部結構邏輯，只能猜測大概，或不準確，願聞其詳

ArcSDE空間數據創建時會在SDE管理表裡註冊相關信息，比如空間參考，列啊，表的唯一標識等，便於它做數據管理、版本控制

修改庫名后，ArcSDE管理就出問題，主要是一些註冊項，安裝SDE時也會把該庫的信息註冊到SDE管理表中去，所以新庫名，它就不認識了

如果修改了庫名，我們找到以下錶

select * from sde.gdb_items
you need modify : name physicalname path etc...

update sde.sde_table_registry set database_name='testdb';
update sde.sde_column_registry set database_name='testdb';
update sde.sde_geometry_columns set f_table_catalog='testdb';
update sde.sde_raster_columns set database_name='testdb';
update sde.sde_layers set database_name='testdb';

然後就一切正常

當然我們建議不輕易改庫名

這就是商業軟件，足夠強大不夠靈活，封裝和靈活總會互相博弈

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

分類
發燒車訊

Go 多變量賦值時注意事項

說到多變量賦值時，先計算所有相關值，然後再從左到右依次賦值，但是這個規則不適用於python
我們來看一例：

package main

import "fmt"

func main() {
    data, i := [3]string{"喬幫主","慕容復","鳩摩智"}, 0
    i, data[i] = 2, "枯榮大師"
    fmt.Println(i, data)
}

輸出結果：

2 [枯榮大師 慕容復 鳩摩智]　　

有的朋友會認為，結果不應該是這樣么?(但是python下輸出的結果卻是下面的)？

2 [喬幫主 慕容復 枯榮大師]

事實並如此，我們來看賦值順序這段的理解：

1     data, i := [3]string{"喬幫主","慕容復","鳩摩智"}, 0
2     i, data[i] = 2, "枯榮大師" //注意原則：先計算所有相關值，然後再從左到右依次賦值
3     // 這裏變量i 的順序其實是(i = 0,因為上一行的變量i是0) -> (然後 i = 2), (data[i] 此時取的值是data[0]，而不是data[2],也就是data[0] = 枯榮大師)
4     fmt.Println(i, data) //所以這裏最終 輸出 i=2,[枯榮大師 慕容復 鳩摩智]

同樣的多變量賦值卻不適用於python.

data,i=["喬幫主", "慕容復", "鳩摩智"],0
i, data[i] = 2, "枯榮大師" # 注意這裏data[i] 已經是 data[2]了,即data[2]="枯榮大師"
print(i,data) # 輸出 2 ['喬幫主', '慕容復', '枯榮大師']

另外：我們要注意重新賦值與定義新同名變量的區別：再看一例：

package main

func main() {
    name := "喬幫主"
    println(&name)
    name, age := "鳩摩智", 30 // 重新賦值: 與前 name 在同層次的代碼塊中，且有新的變量被定義。
    println(&name, age)    // 通常函數多返回值 err 會被重複使用。
    {
        name, weight := "清風揚", 50 // 定義新同名變量: 不在同層次代碼塊。
        println(&name, weight)
    }
}

輸出：

0xc00002bf78
0xc00002bf78 30
0xc00002bf68 50

注意：因個人機器不同，大家返回的內存引用地址可能和我的不一樣，但是 這步是重點。重點在這裏：
同層級相同變量的賦值，內存地址並不會改變。不同層級相同變量的賦值，其實是定義了一個新同名變量，也就是大家看到的第三行內存地址變了。
接着我們再看有點意思的一段代碼(大家來找茬)：

package main

func main() {
    name := "喬幫主"
    println(&name)
    name, age := "鳩摩智", 30 // 重新賦值: 與前 name 在同 層次的代碼塊中，且有新的變量被定義。
    println(&name, age)    // 通常函數多返回值 err 會被重複使用。

    name, weight := 100, 50 // 定義新同名變量: 不在同 層次代碼塊。
    println(&name, weight, age)

}

輸出：

cannot use 100 (type int) as type string in assignment

原因很明顯，因為上面:name := “喬幫主” 已經隱試滴申明了name 是字符串，等同於 var name string. 同層級再次賦值100為整形。這是不允許滴，

但是：重點來了，我們稍改下：

package main

func main() {
    name := "喬幫主"
    println(&name)
    name, age := "鳩摩智", 30 // 重新賦值: 與前 name 在同 層次的代碼塊中，且有新的變量被定義。
    println(&name, age)    // 通常函數多返回值 err 會被重複使用。
    {
        name, weight := 100, 50 // 定義新同名變量: 不在同層次代碼塊。
        println(&name, weight, age)
    }
}

區別就是層級發生了變化，因為{}裏面的name已經是新的變量了。
好啦，到此介紹結束了。博友們有關golang變量使用中遇到的各種奇怪的“坑”，請留下寶貴滴足跡，歡迎拍磚留言.

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

分類
發燒車訊

附009.Kubernetes永久存儲之GlusterFS獨立部署

一 前期準備

1.1 基礎知識


Heketi提供了一個RESTful管理界面，可以用來管理GlusterFS卷的生命周期。Heketi會動態在集群內選擇bricks構建所需的volumes，從而確保數據的副本會分散到集群不同的故障域內。同時Heketi還支持任意數量的ClusterFS集群。

提示：本實驗基於glusterfs和Kubernetes分開部署，heketi管理glusterfs，Kubernetes使用heketi提供的API，從而實現glusterfs的永久存儲，，而非Kubernetes部署glusterfs。

1.2 架構示意






提示：本實驗Heketi僅管理單zone的glusterfs集群。

1.3 相關規劃

































主機 IP 磁盤 備註
servera 172.24.8.41 sdb glusterfs節點
serverb 172.24.8.42 sdb glusterfs節點
serverc 172.24.8.43 sdb glusterfs節點
heketi 172.24.8.44 Heketi主機










































servera serverb serverc
PV sdb1 sdb1 sdb1
VG vg0 vg0 vg0
LV datalv datalv datalv
bricks目錄 /bricks/data /bricks/data /bricks/data

1.4 其他準備


所有節點NTP配置；

所有節點添加相應主機名解析：

172.24.8.41 servera

172.24.8.42 serverb

172.24.8.43 serverc

172.24.8.44 heketi

注意：若非必要，建議關閉防火牆和SELinux。

二 規劃相應存儲卷

2.1 劃分LVM

  1 [root@servera ~]# fdisk /dev/sdb				#創建lvm的sdb1，過程略
  2 [root@servera ~]# pvcreate /dev/sdb1			#使用/dev/vdb1創建PV
  3 [root@servera ~]# vgcreate vg0 /dev/sdb1			#創建vg
  4 [root@servera ~]# lvcreate -L 15G -T vg0/thinpool		#創建支持thin的lv池
  5 [root@servera ~]# lvcreate -V 10G -T vg0/thinpool -n datalv	#創建相應brick的lv
  6 [root@servera ~]# vgdisplay					#驗證確認vg信息
  7 [root@servera ~]# pvdisplay					#驗證確認pv信息
  8 [root@servera ~]# lvdisplay					#驗證確認lv信息



提示：serverb、serverc類似操作，根據規劃需求創建完所有基於LVM的brick。

三 安裝glusterfs

3.1 安裝相應RPM源

  1 [root@servera ~]# yum -y install centos-release-gluster


提示：serverb、serverc、client類似操作，安裝相應glusterfs源；

安裝相應源之後，會在/etc/yum.repos.d/目錄多出文件CentOS-Storage-common.repo，內容如下：

  1 # CentOS-Storage.repo
  2 #
  3 # Please see http://wiki.centos.org/SpecialInterestGroup/Storage for more
  4 # information
  5 
  6 [centos-storage-debuginfo]
  7 name=CentOS-$releasever - Storage SIG - debuginfo
  8 baseurl=http://debuginfo.centos.org/$contentdir/$releasever/storage/$basearch/
  9 gpgcheck=1
 10 enabled=0
 11 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-Storage


3.2 安裝glusterfs

  1 [root@servera ~]# yum -y install glusterfs-server


提示：serverb、serverc類似操作，安裝glusterfs服務端。

3.3 啟動glusterfs

  1 [root@servera ~]# systemctl start glusterd
  2 [root@servera ~]# systemctl enable glusterd



提示：serverb、serverc類似操作，所有節點啟動glusterfs服務端；

安裝完glusterfs之後建議exit退出終端重新登錄，從而可以補全glusterfs相關命令。

3.4 添加信任池

  1 [root@servera ~]# gluster peer probe serverb
  2 peer probe: success.
  3 [root@servera ~]# gluster peer probe serverc
  4 peer probe: success.
  5 [root@servera ~]# gluster peer status		#查看信任池狀態
  6 [root@servera ~]# gluster pool list			#查看信任池列表




提示：加信任池的操作，只需要在servera、serverb、serverc所有集群節點主機中的任意一台上面執行添加其他三個節點的操作即可。

提示：若未關閉防火牆，在添加信任池之前必須放通防火牆相應規則，操作如下：

  1 [root@servera ~]# firewall­cmd ­­permanent ­­add­service=glusterfs
  2 [root@servera ~]# firewall­cmd ­­permanent ­­add­service=nfs
  3 [root@servera ~]# firewall­cmd ­­permanent ­­add­service=rpc­bind
  4 [root@servera ~]# firewall­cmd ­­permanent ­­add­service=mountd
  5 [root@servera ~]# firewall­cmd ­­permanent ­­add­port=5666/tcp
  6 [root@servera ~]# firewall­cmd ­­reload


四 部署Heketi

4.1 安裝heketi服務

  1 [root@heketi ~]# yum -y install centos-release-gluster
  2 [root@heketi ~]# yum -y install heketi heketi-client


4.2 配置heketi

  1 [root@heketi ~]# vi /etc/heketi/heketi.json
  2 {
  3   "_port_comment": "Heketi Server Port Number",
  4   "port": "8080",					#默認端口
  5 
  6   "_use_auth": "Enable JWT authorization. Please enable for deployment",
  7   "use_auth": true,					#基於安全考慮開啟認證
  8 
  9   "_jwt": "Private keys for access",
 10   "jwt": {
 11     "_admin": "Admin has access to all APIs",
 12     "admin": {
 13       "key": "admin123"					#管理員密碼
 14     },
 15     "_user": "User only has access to /volumes endpoint",
 16     "user": {
 17       "key": "xianghy"					#普通用戶
 18     }
 19   },
 20 
 21   "_glusterfs_comment": "GlusterFS Configuration",
 22   "glusterfs": {
 23     "_executor_comment": [
 24       "Execute plugin. Possible choices: mock, ssh",
 25       "mock: This setting is used for testing and development.",	#用於測試
 26       "      It will not send commands to any node.",
 27       "ssh:  This setting will notify Heketi to ssh to the nodes.",	#ssh方式
 28       "      It will need the values in sshexec to be configured.",
 29       "kubernetes: Communicate with GlusterFS containers over",		#在GlusterFS由kubernetes創建時採用
 30       "            Kubernetes exec api."
 31     ],
 32     "executor": "ssh",
 33 
 34     "_sshexec_comment": "SSH username and private key file information",
 35     "sshexec": {
 36       "keyfile": "/etc/heketi/heketi_key",
 37       "user": "root",
 38       "port": "22",
 39       "fstab": "/etc/fstab"
 40     },
 41 ……
 42 ……
 43     "loglevel" : "warning"
 44   }
 45 }


4.3 配置免秘鑰

  1 [root@heketi ~]# ssh-keygen -t rsa -q -f /etc/heketi/heketi_key -N ""
  2 [root@heketi ~]# chown heketi:heketi /etc/heketi/heketi_key
  3 [root@heketi ~]# ssh-copy-id -i /etc/heketi/heketi_key.pub root@servera
  4 [root@heketi ~]# ssh-copy-id -i /etc/heketi/heketi_key.pub root@serverb
  5 [root@heketi ~]# ssh-copy-id -i /etc/heketi/heketi_key.pub root@serverc


4.4 啟動heketi

  1 [root@heketi ~]# systemctl enable heketi.service
  2 [root@heketi ~]# systemctl start heketi.service
  3 [root@heketi ~]# systemctl status heketi.service
  4 [root@heketi ~]# curl http://localhost:8080/hello		#測試訪問
  5 Hello from Heketi


4.5 配置Heketi拓撲


       拓撲信息用於讓Heketi確認可以使用的存儲節點、磁盤和集群，必須自行確定節點的故障域。故障域是賦予一組節點的整數值，這組節點共享相同的交換機、電源或其他任何會導致它們同時失效的組件。必須確認哪些節點構成一個集群，Heketi使用這些信息來確保跨故障域中創建副本，從而提供數據冗餘能力，Heketi支持多個Gluster存儲集群。

配置Heketi拓撲注意以下幾點：

  • 可以通過topology.json文件定義組建的GlusterFS集群；

  • topology指定了層級關係：clusters –> nodes –> node/devices –> hostnames/zone；

  • node/hostnames字段的manage建議填寫主機ip，指管理通道，注意當heketi服務器不能通過hostname訪問GlusterFS節點時不能填寫hostname；

  • node/hostnames字段的storage建議填寫主機ip，指存儲數據通道，與manage可以不一樣，生產環境管理網絡和存儲網絡建議分離；

  • node/zone字段指定了node所處的故障域，heketi通過跨故障域創建副本，提高數據高可用性質，如可以通過rack的不同區分zone值，創建跨機架的故障域；

  • devices字段指定GlusterFS各節點的盤符（可以是多塊盤），必須是未創建文件系統的裸設備。

  1 [root@heketi ~]# vi /etc/heketi/topology.json
  2 {
  3     "clusters": [
  4         {
  5             "nodes": [
  6                 {
  7                     "node": {
  8                         "hostnames": {
  9                             "manage": [
 10                                 "172.24.8.41"
 11                             ],
 12                             "storage": [
 13                                 "172.24.8.41"
 14                             ]
 15                         },
 16                         "zone": 1
 17                     },
 18                     "devices": [
 19                         "/dev/mapper/vg0-datalv"
 20                     ]
 21                 },
 22                 {
 23                     "node": {
 24                         "hostnames": {
 25                             "manage": [
 26                                 "172.24.8.42"
 27                             ],
 28                             "storage": [
 29                                 "172.24.8.42"
 30                             ]
 31                         },
 32                         "zone": 1
 33                     },
 34                     "devices": [
 35                         "/dev/mapper/vg0-datalv"
 36                     ]
 37                 },
 38                 {
 39                     "node": {
 40                         "hostnames": {
 41                             "manage": [
 42                                 "172.24.8.43"
 43                             ],
 44                             "storage": [
 45                                 "172.24.8.43"
 46                             ]
 47                         },
 48                         "zone": 1
 49                     },
 50                     "devices": [
 51                         "/dev/mapper/vg0-datalv"
 52                     ]
 53                 }
 54             ]
 55         }
 56     ]
 57 }
 58 
 59 [root@heketi ~]# echo "export HEKETI_CLI_SERVER=http://heketi:8080" >> /etc/profile.d/heketi.sh
 60 [root@heketi ~]# echo "alias heketi-cli='heketi-cli --user admin --secret admin123'" >> .bashrc
 61 [root@heketi ~]# source /etc/profile.d/heketi.sh
 62 [root@heketi ~]# source .bashrc
 63 [root@heketi ~]# echo $HEKETI_CLI_SERVER
 64 http://heketi:8080
 65 [root@heketi ~]# heketi-cli --server $HEKETI_CLI_SERVER --user admin --secret admin123 topology load --json=/etc/heketi/topology.json




4.6 集群管理

  1 [root@heketi ~]# heketi-cli cluster list					#集群列表
  2 [root@heketi ~]# heketi-cli cluster info aa83b0045fafa362bfc7a8bfee0c24ad	#集群詳細信息
  3 Cluster id: aa83b0045fafa362bfc7a8bfee0c24ad
  4 Nodes:
  5 189ee41572ebf0bf1e297de2302cfb39
  6 46429de5666fc4c6cc570da4b100465d
  7 be0209387384299db34aaf8377c3964c
  8 Volumes:
  9 
 10 Block: true
 11 
 12 File: true
 13 [root@heketi ~]# heketi-cli topology info aa83b0045fafa362bfc7a8bfee0c24ad	#查看拓撲信息




  1 [root@heketi ~]# heketi-cli node list						#卷信息
  2 Id:189ee41572ebf0bf1e297de2302cfb39     Cluster:aa83b0045fafa362bfc7a8bfee0c24ad
  3 Id:46429de5666fc4c6cc570da4b100465d     Cluster:aa83b0045fafa362bfc7a8bfee0c24ad
  4 Id:be0209387384299db34aaf8377c3964c     Cluster:aa83b0045fafa362bfc7a8bfee0c24ad
  5 [root@heketi ~]# heketi-cli node info 189ee41572ebf0bf1e297de2302cfb39		#節點信息
  6 [root@heketi ~]# heketi-cli volume create --size=2 --replica=2			#默認為3副本的replica模式



  1 [root@heketi ~]# heketi-cli volume list						#卷信息
  2 [root@heketi ~]# heketi-cli volume info 7da55685ebeeaaca60708cd797a5e391
  3 [root@servera ~]# gluster volume info						#通過glusterfs節點查看


4.7 測試驗證

  1 [root@heketi ~]# yum -y install centos-release-gluster
  2 [root@heketi ~]# yum -y install glusterfs-fuse					#安裝glusterfs-fuse
  3 [root@heketi ~]# mount -t glusterfs 172.24.8.41:vol_7da55685ebeeaaca60708cd797a5e391 /mnt



  1 [root@heketi ~]# umount /mnt
  2 [root@heketi ~]# heketi-cli volume delete 7da55685ebeeaaca60708cd797a5e391	#驗證完畢刪除



參考：https://www.jianshu.com/p/1069ddaaea78

https://www.cnblogs.com/panwenbin-logs/p/10231859.html

五 Kubernetes動態掛載glusterfs

5.1 StorageClass動態存儲


kubernetes共享存儲provider模式：

靜態模式(Static)：集群管理員手工創建PV，在定義PV時設置後端存儲的特性；

動態模式(Dynamic)：集群管理員不需要手工創建PV，而是通過StorageClass的設置對後端存儲進行描述，標記為某種”類型(Class)”；此時要求PVC對存儲的類型進行說明，系統將自動完成PV的創建及與PVC的綁定；PVC可以聲明Class為””，說明PVC禁止使用動態模式。

基於StorageClass的動態存儲供應整體過程如下圖所示：


  1. 集群管理員預先創建存儲類（StorageClass）；

  2. 用戶創建使用存儲類的持久化存儲聲明(PVC：PersistentVolumeClaim)；

  3. 存儲持久化聲明通知系統，它需要一個持久化存儲(PV: PersistentVolume)；

  4. 系統讀取存儲類的信息；

  5. 系統基於存儲類的信息，在後台自動創建PVC需要的PV；

  6. 用戶創建一個使用PVC的Pod；

  7. Pod中的應用通過PVC進行數據的持久化；

  8. 而PVC使用PV進行數據的最終持久化處理。


提示：關於Kubernetes的部署參考《附003.Kubeadm部署Kubernetes》。

5.2 定義StorageClass


關鍵字說明：

  • provisioner：表示存儲分配器，需要根據後端存儲的不同而變更；

  • reclaimPolicy: 默認即”Delete”，刪除pvc后，相應的pv及後端的volume，brick(lvm)等一起刪除；設置為”Retain”時則保留數據，若需刪除則需要手工處理；

  • resturl：heketi API服務提供的url；

  • restauthenabled：可選參數，默認值為”false”，heketi服務開啟認證時必須設置為”true”；

  • restuser：可選參數，開啟認證時設置相應用戶名；

  • secretNamespace：可選參數，開啟認證時可以設置為使用持久化存儲的namespace；

  • secretName：可選參數，開啟認證時，需要將heketi服務的認證密碼保存在secret資源中；

  • clusterid：可選參數，指定集群id，也可以是1個clusterid列表，格式為”id1,id2”；

  • volumetype：可選參數，設置卷類型及其參數，如果未分配卷類型，則有分配器決定卷類型；如”volumetype: replicate:3”表示3副本的replicate卷，”volumetype: disperse:4:2”表示disperse卷，其中‘4’是數據，’2’是冗餘校驗，”volumetype: none”表示distribute卷


提示：關於glusterfs各種不同類型的卷見《004.RHGS-創建volume》。

  1 [root@k8smaster01 ~]# kubectl create ns heketi		#創建命名空間
  2 [root@k8smaster01 ~]# echo -n "admin123" | base64		#將密碼轉換為64位編碼
  3 YWRtaW4xMjM=
  4 [root@k8smaster01 ~]# mkdir -p heketi
  5 [root@k8smaster01 ~]# cd heketi/
  6 [root@k8smaster01 ~]# vi heketi-secret.yaml			#創建用於保存密碼的secret
  7 apiVersion: v1
  8 kind: Secret
  9 metadata:
 10   name: heketi-secret
 11   namespace: heketi
 12 data:
 13   # base64 encoded password. E.g.: echo -n "mypassword" | base64
 14   key: YWRtaW4xMjM=
 15 type: kubernetes.io/glusterfs
 16 [root@k8smaster01 heketi]# kubectl create -f heketi-secret.yaml	#創建heketi
 17 [root@k8smaster01 heketi]# kubectl get secrets -n heketi
 18 NAME                  TYPE                                  DATA   AGE
 19 default-token-5sn5d   kubernetes.io/service-account-token   3      43s
 20 heketi-secret         kubernetes.io/glusterfs               1      5s
 21 [root@kubenode1 heketi]# vim gluster-heketi-storageclass.yaml	#正式創建StorageClass
 22 apiVersion: storage.k8s.io/v1
 23 kind: StorageClass
 24 metadata:
 25   name: gluster-heketi-storageclass
 26 parameters:
 27   resturl: "http://172.24.8.44:8080"
 28   clusterid: "aa83b0045fafa362bfc7a8bfee0c24ad"
 29   restauthenabled: "true"					#若heketi開啟認證此處也必須開啟auth認證
 30   restuser: "admin"
 31   secretName: "heketi-secret"				#name/namespace與secret資源中定義一致
 32   secretNamespace: "heketi"
 33   volumetype: "replicate:3"
 34 provisioner: kubernetes.io/glusterfs
 35 reclaimPolicy: Delete
 36 [root@k8smaster01 heketi]# kubectl create -f gluster-heketi-storageclass.yaml



注意：storageclass資源創建后不可變更，如修改只能刪除后重建。

  1 [root@k8smaster01 heketi]# kubectl get storageclasses		#查看確認
  2 NAME                          PROVISIONER               AGE
  3 gluster-heketi-storageclass   kubernetes.io/glusterfs   85s
  4 [root@k8smaster01 heketi]# kubectl describe storageclasses gluster-heketi-storageclass




5.3 定義PVC

  1 [root@k8smaster01 heketi]# cat gluster-heketi-pvc.yaml
  2 apiVersion: v1
  3 metadata:
  4   name: gluster-heketi-pvc
  5   annotations:
  6     volume.beta.kubernetes.io/storage-class: gluster-heketi-storageclass
  7 spec:
  8   accessModes:
  9   - ReadWriteOnce
 10   resources:
 11     requests:
 12       storage: 1Gi



注意：accessModes可有如下簡寫：

  • ReadWriteOnce：簡寫RWO，讀寫權限，且只能被單個node掛載；

  • ReadOnlyMany：簡寫ROX，只讀權限，允許被多個node掛載；

  • ReadWriteMany：簡寫RWX，讀寫權限，允許被多個node掛載。

  1 [root@k8smaster01 heketi]# kubectl create -f gluster-heketi-pvc.yaml
  2 [root@k8smaster01 heketi]# kubectl get pvc
  3 [root@k8smaster01 heketi]# kubectl describe pvc gluster-heketi-pvc
  4 [root@k8smaster01 heketi]# kubectl get pv
  5 [root@k8smaster01 heketi]# kubectl describe pv pvc-5f7420ef-082d-11ea-badf-000c29fa7a79




  1 [root@k8smaster01 heketi]# kubectl describe endpoints glusterfs-dynamic-5f7420ef-082d-11ea-badf-000c29fa7a79




提示：由上可知：PVC狀態為Bound，Capacity為1G。查看PV詳細信息，除容量，引用storageclass信息，狀態，回收策略等外，同時可知GlusterFS的Endpoint與path。EndpointsName為固定格式：glusterfs-dynamic-PV_NAME，且endpoints資源中指定了掛載存儲時的具體地址。

5.4 確認查看


通過5.3所創建的信息：

  • volume與brick已經創建；

  • 主掛載點（通信）在172.24.8.41節點，其餘兩個節點備選；

  • 三副本的情況下，所有節點都會創建brick。

  1 [root@heketi ~]# heketi-cli topology info			#heketi主機查看
  2 [root@serverb ~]# lsblk						#glusterfs節點查看
  3 [root@serverb ~]# df -hT					#glusterfs節點查看
  4 [root@servera ~]# gluster volume list				#glusterfs節點查看
  5 [root@servera ~]# gluster volume info vol_e4c948687239df9833748d081ddb6fd5




5.5 Pod掛載測試

  1 [root@xxx ~]# yum -y install centos-release-gluster
  2 [root@xxx ~]# yum -y install glusterfs-fuse					#安裝glusterfs-fuse



提示：所有需要使用glusterfs volume的Kubernetes節點都必須安裝glusterfs-fuse以便於正常掛載，同時版本需要和glusterfs節點一致。

  1 [root@k8smaster01 heketi]# vi gluster-heketi-pod.yaml
  2 kind: Pod
  3 apiVersion: v1
  4 metadata:
  5   name: gluster-heketi-pod
  6 spec:
  7   containers:
  8   - name: gluster-heketi-container
  9     image: busybox
 10     command:
 11     - sleep
 12     - "3600"
 13     volumeMounts:
 14     - name: gluster-heketi-volume			#必須和volumes中name一致
 15       mountPath: "/pv-data"
 16       readOnly: false
 17   volumes:
 18   - name: gluster-heketi-volume
 19     persistentVolumeClaim:
 20       claimName: gluster-heketi-pvc			#必須和5.3創建的PVC中的name一致
 21 [root@k8smaster01 heketi]# kubectl create -f gluster-heketi-pod.yaml -n heketi		#創建Pod


5.6 確認驗證

  1 [root@k8smaster01 heketi]# kubectl get pod -n heketi | grep gluster
  2 gluster-heketi-pod          1/1     Running   0          2m43s
  3 [root@k8smaster01 heketi]# kubectl exec -it gluster-heketi-pod /bin/sh		#進入Pod寫入測試文件
  4 / # cd /pv-data/
  5 /pv-data # echo "This is a file!" >> a.txt
  6 /pv-data # echo "This is b file!" >> b.txt
  7 /pv-data # ls
  8 a.txt  b.txt
  9 [root@servera ~]# df -hT					#在glusterfs節點查看Kubernetes節點的測試文件
 10 [root@servera ~]# cd /var/lib/heketi/mounts/vg_47c90d90e03de79696f90bd94cfccdde/brick_721243c3e0cf8a2372f05d5085a4338c/brick/
 11 [root@servera brick]# ls
 12 [root@servera brick]# cat a.txt
 13 [root@servera brick]# cat b.txt




5.7 刪除資源

  1 [root@k8smaster01 heketi]# kubectl delete -f gluster-heketi-pod.yaml
  2 [root@k8smaster01 heketi]# kubectl delete -f gluster-heketi-pvc.yaml
  3 [root@k8smaster01 heketi]# kubectl get pvc
  4 [root@k8smaster01 heketi]# kubectl get pv
  5 [root@servera ~]# gluster volume list
  6 No volumes present in cluster



本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

分類
發燒車訊

小程序雲開發：菜鳥也能全棧做產品

我想獨立實現一個全棧產品為什麼這麼難

日常生活中，我們會使用很多軟件產品。在使用這些產品的時候，我們看得見的東西稱為“前端界面”如一個輸入框、一個按鈕，點擊按鈕之後發生的一切看不見的東西稱為“後端服務”。與之對應的創造者分別稱為“前端程序員”、“後端程序員”，然而，一個完整產品的開發不僅僅是只有前端和後端，還有設計師，架構師，運維等。有沒有可能這些所有的事情都一個人干呢？有可能，事實上如今就有很多的“全棧工程師”，他們身兼數職，是多面手。能獨立完成一個產品的方方面面。這種人固然十分了得，他們通常具有多年的經驗，涉獵廣泛，是老手，也是高手，當有一個產品想法的時候，他們可以用自己的全面專業技能，盡情的發揮去實現自己的想法。所以，從某種意義上講“全棧也是一種自由”，你可以自由的實現你的想法，這簡直太美妙了！

然而，很多時候當我們有一個產品想法的時候，我們往往發現，前端寫完了，後端怎麼搞？數據庫怎麼搞？域名怎麼搞？域名還要備案？應用部署怎麼搞？我的買什麼樣的服務器啊？靜態資源 CDN 怎麼搞？文件上傳服務器怎麼搞？萬一訪問用戶多了能撐住嗎？等等……問題很多，導致你的一個個想法，都只是在腦海中曇花一現，從來都無法將她們實現，或者說你激情飽滿的實現了其中自己最擅長的一部分，當碰到其他難題的時候就止步了。於是仰天長嘯：我就想獨立做一個完整的產品為什麼這麼難？年輕人，這一切都不怪你……

破局：小程序雲開發

為什麼使用小程序雲開發來破局？

為啥是用“小程序雲開發”來破局？首先，我們的目的是全棧實現一個產品。全棧可以有多種技術方案，你可用任何你能會的技能來達到全棧的目的。你可以開發安卓，IOS，或者 PC 站，然而小程序是最實際的！為啥？手機上能做的事情為啥要用 PC 版？OK,既然手機版比較好，那能不能再簡單一點？能，就是小程序，不需要開發IOS，安卓兩個版本。可以快速產出，快速試錯。

其次，前面說到了，全棧實現一個產品並不容易，對很多人來說甚至是巨難！選擇了小程序已經是比較划算的方案。而再集成雲開發，全棧立馬就有了。這就是為什麼選擇“小程序雲開發”來破局。

小程序雲開發是什麼?

小程序雲開發是什麼？官方文檔是這麼說的：開發者可以使用雲開發開發微信小程序、小遊戲，無需搭建服務器，即可使用雲端能力。雲開發為開發者提供完整的原生雲端支持和微信服務支持，弱化後端和運維概念，無需搭建服務器，使用平台提供的 API 進行核心業務開發，即可實現快速上線和迭代，同時這一能力，同開發者已經使用的雲服務相互兼容，並不互斥。

看完上面的描述，也許你仍然無法非常清楚的知道什麼是“小程序雲開發”，沒關係，你只需要注意加粗的部分，大概知道它“無需搭建服務器”，從傳統觀念將，這個似乎“毀三觀”咋可能沒服務器啊？是的，可以沒有傳統意義上的服務器，這種模式是 serveless 的。

那麼，小程序雲開發提供了哪些東西來破局呢？且看下面的表格：

能 力 作 用 說 明
雲函數 無需自建服務器 在雲端運行的代碼，微信私有協議天然鑒權，開發者只需編寫自身業務邏輯代碼
數據庫 無需自建數據庫 一個既可在小程序前端操作，也能在雲函數中讀寫的 JSON 數據庫
存儲 無需自建存儲和 CDN 在小程序前端直接上傳/下載雲端文件，在雲開發控制台可視化管理
雲調用 原生微信服務集成 基於雲函數免鑒權使用小程序開放接口的能力，包括服務端調用、獲取開放數據等能力

上面的表格中提到了“雲開發”中的一些能力：“雲函數”，“數據庫”，“存儲”，“雲調用”，我們可以將這些詞帶入你曾經開發過的應用，看看它們分別代表了哪些部分。對於程序員來說，如果有疑問的話，沒有什麼是一個 helloword 解決不了的。

實戰：獨立開發一個簡易的零售小程序

哆嗦再多，不如實戰。下面我們就來使用小程序雲開發實現一個簡單的零售小程序。

項目構思

既然是一個零售小程序，那麼我們可以思考一下零售小程序的大致業務流程，以及粗略的梳理一下，其功能點。現根據自己的想法，大致畫一下草圖，如果沒有靈感可以參考一下別的 APP 是如何設計的。

我根據自己的想法設計之後是這樣的：

功能模塊：首頁，商品列表頁，購物車，確認訂單，個人中心，個人訂單，管你模塊（商品添加，分類添加）其中商品需要上傳圖片。

梳理完功能之後，我們對於要實現的東西已經有個初步的概念了。接下來，我們需要大概畫一下頁面設計、及功能流轉。初次設計可能沒有太多經驗，沒關係，開始做就行了，做着做着就會想法越來越多，然後優化的越來越好。。我也是經過了多番修改調整，最終找到了一些思路。我的（拙劣）設計如下，圖片如果看不清楚可複製圖片鏈接在新窗口打開查看：

說明，以上圖片是根據成品（我真的開發了一個雲小程序並上線使用了）截圖的，而實際我再設計的時候也是經過幾番修改才最終定成這樣。

同時，補充說明一下，這裏前端頁面使用的是 vant-weapp控件，非常好用。推薦！如果你和我一樣是一個純後端程序員，建議使用 vant-weapp 來作為 ui，非常方便。否則自己寫頁面樣式的話可能就做不出來了。全棧不是那麼好乾的啊。選擇自己能駕馭的，能實現最終功能，就是一個合格的全棧。

創建小程序雲開發項目

我們先下載微信小程序開發工具，下載地址,安裝好了之後，新建項目，界面如下，APPID 需要你自己去註冊一個。然後注意，選擇“小程序雲開發”，如下圖所示：

創建好了之後，項目目錄如下,先看 1 標註的地方：

如果你曾經有過小程序的開發經驗，那麼miniprogram文件夾下面的結構你肯定熟悉了，miniprogram下面的子目錄分別是小程序對應的組件、圖片、頁面、樣式以及app.js,app.json,sitemap.json,其中components下面的vant-weapp就是上面提到的 ui 組件。

最後一個比較重要的文件夾就是cloudfunctions，這個目錄是用來存放“雲函數的”，雲函數就是我們的後端。每一個雲函數提供一個服務。一個個的雲函數組成了我們整體的後端服務。雲函數可以看做是 FaaS（function as a service）。途中，2 標記的位置的“雲開發”按鈕，我們點進去，就可以看到“雲開發的控制台”，如下圖所示：

如果上圖看不清楚，可以複製鏈接到新的瀏覽器窗口查看，如圖，小程序雲開發默認的免費套餐有一定的額度可供使用。首頁便是使用統計。然後我們能看到，有“數據庫”，“存儲”，“雲函數”。

這裏的“數據庫”其實就是類似於一個 MongoDB，你可以點進去創建一個個的 collection（即：關係型數據庫中的table）;這裏的“存儲”其實就是“文件夾”，我們可以通過微信提供的 api把圖片上傳到“存儲”中；這裏的“雲函數”就是我們需要實現的後端業務邏輯，他就是一個個的函數（函數由我們自己寫好後上傳）。一般開發過程中我們在開發者工具中的cloudfunctions目錄下創建雲函數（比方說是:user-add）開發完成之後在雲函數目錄點擊右鍵——上傳即可。然後就可以在小程序的代碼中調用這個user-add雲函數。

雲開發之——3 分鐘實現文件上傳

注意：在開始雲開發之前，我們現在 小程序代碼的 app.js 中加入wx.cloud.init,如下：

App({
  onLaunch: function () {
    if (!wx.cloud) {
      console.error('請使用 2.2.3 或以上的基礎庫以使用雲能力')
    } else {
      wx.cloud.init({
        // env 參數說明：
        //   env 參數決定接下來小程序發起的雲開發調用（wx.cloud.xxx）會默認請求到哪個雲環境的資源
        //   此處請填入環境 ID, 環境 ID 可打開雲控制台查看
        //   如不填則使用默認環境（第一個創建的環境）
        env: 'your-env-id',
        traceUser: true,
      })
    }
    this.globalData = {}
  }
})

上面的圖中，我們已經看到了“商品添加”頁面的效果，它需要我們輸入商品名稱、價格、並上傳圖片，然後保存。傳統架構中，上傳圖片需要前端頁面擺一個控件，然後後端提供一個 api用來接收前端傳來的文件，通常來說這個後端 api 接收到圖片之後，會將圖片文件保存到自己的文件服務器或者是阿里雲存儲、或者是七牛雲存儲之類的。然後返回給你一個文件鏈接地址。非常麻煩，然而，小程序雲開發上傳文件超級簡單，上代碼：

頁面代碼：
<van-notice-bar
  scrollable="false"
  text="發布商品"
/>
  <van-field
    value="{{ productName }}"
    required
    clearable
    label="商品名稱"
    placeholder="請輸入商品名稱"
    bind:change="inputName"
  />
    <van-field
    value="{{ productPrice }}"
    required
    clearable
    label="價格"
    icon="question-o"
     bind:click-icon="onClickPhoneIcon"
    placeholder="請輸入價格"
    error-message="{{phoneerr}}"
    border="{{ false }}"
    bind:change="inputPrice"
  />

<van-action-sheet
  required
  show="{{ showSelect }}"
  actions="{{ actions }}"
  close-on-click-overlay="true"
  bind:close="toggleSelect"
  bind:select="onSelect" cancel-text="取消"
/>
  <van-field
    value="{{ productCategory }}"
    center
    readonly
    label="商品分類"
    border="{{ false }}"
    use-button-slot
  >
    <van-button slot="button" size="small" plain type="primary"  
     bind:click="toggleSelect">選擇分類</van-button>
  </van-field>
  
  <van-button class="rightside" type="default" bind:click="uploadImage" >上傳商品圖片</van-button>
  <view class="imagePreview">
    <image src="{{productImg}}" />
  </view>
 <van-submit-bar
  price="{{ totalShow }}"
  button-text="提交"
  bind:submit="onSubmit"
  tip="{{ false }}"
 >
 </van-submit-bar> 
<van-toast id="van-toast" />
<van-dialog id="van-dialog" />

這裡有個控件，綁定了uploadImage方法，其代碼為：

  uploadImage:function(){
    let that = this;
    wx.chooseImage({
      count: 1,
      sizeType: ['compressed'],
      sourceType: ['album', 'camera'],
      success(res) {
        wx.showLoading({
          title: '上傳中...',
        })
        const tempFilePath = res.tempFilePaths[0]
        const name = Math.random() * 1000000;
        const cloudPath = name + tempFilePath.match(/\.[^.]+?$/)[0]
        wx.cloud.uploadFile({
          cloudPath:cloudPath,//雲存儲圖片名字
          filePath: tempFilePath,//臨時路徑
          success: res => {
            let fileID = res.fileID;
            that.setData({
              productImg: res.fileID,
            });
            wx.showToast({
              title: '圖片上傳成功',
            })
          },
          fail: e =>{
            wx.showToast({
              title: '上傳失敗',
            })
          },
          complete:()=>{
            wx.hideLoading();
          }
        });
      }
    })
  }

這裏，wx.chooseImage用於調起手機選擇圖片（相冊/相機拍照），然後wx.cloud.uploadFile用於上傳圖片到上面說到的雲開發能力之一的“存儲”中。上傳圖片成功之後返回一個文件 ID，類似：

cloud://release-0kj63.7265-release-0kj63-1300431985/100477.13363146288.jpg

這個鏈接可以直接在小程序頁面展示：

<image src="cloud://release-0kj63.7265-release-0kj63-1300431985/100477.13363146288.jpg  " />

也可以通過微信 api，裝換成 http 形式的圖片鏈接。

雲開發之——操作數據庫，1 分鐘寫完保存商品到數據庫的代碼

上面我們實現了商品圖片上傳，但是，商品圖片並沒有保存到數據庫。正常錄入商品的時候，我們會填好商品名稱，價格等，然後上傳圖片，最終點擊“保存”按鈕，將商品保存到數據庫。傳統模式下，前端仍然是需要調用一個後端接口，通過 post 提交數據，最終由後端服務（比如 java 服務）將數據保存到數據庫。小程序雲開發使得操作數據庫十分簡單，首先我們在雲開發控制台創建“商品表”，即一個 collection,取名為：products。然後我們就可以保存數據到數據庫了，代碼如下：

onSubmit:function(){
    // 校驗代碼，略
    let product = {};
    product.imgId = this.data.productImg;
    product.name= this.data.productName;
    product.categoryId = this.data.productCategoryId;
    product.price = this.data.productPrice;
    // 其他賦值，略
    const db = wx.cloud.database();
    db.collection('products').add({
     data: product,
     success(res) {
       wx.showToast({
         title: '保存成功',
       })
     }
   });
  }

以上就實現了數據入庫，就這點代碼，超簡單，1 分鐘寫完，誠不欺我。其中這裏的products就是我們的“商品表”，之前說過，類似 MongoDB 數據庫，這裏操作的是db.collection，這和 MongoDB 的語法差不多。

雲開發之——使用雲函數完成後端業務邏輯，訂單創建

小程序雲開發提供了幾大能力：“數據庫”，“存儲”，“雲函數”，前兩項我們已經有所體會了。下面我們能創建一個雲函數來實現訂單創建。這裏說明，雲函數其實就是 一段JavaScript 代碼，上傳至雲服務器之後，最終也是運行在 nodejs 環境的，只是這一切，我們不需要關心。我們只需要關心我們這個雲函數提供的功能是什麼就可以了。

創建雲函數很簡單，直接在開發工具中右鍵“新建Node.js 雲函數”。然後以創建訂單為例，假設我們創建一個雲函數名為c-order-add,創建好了之後，目錄是這樣：

雲函數的主要代碼在 index.js 中，其完整代碼是這樣：

// 雲函數入口文件
const cloud = require('wx-server-sdk')
cloud.init({
  env: 'release-xxx'// your-env-id
})
const db = cloud.database()

// 雲函數入口函數
exports.main = async (event, context) => {
  const wxContext = cloud.getWXContext();
  console.log("雲函數 c-order-add : ")  
  // 這裡是一些邏輯處理...
  
  return await db.collection('uorder').add({
    data: {
      openid: event.userInfo.openId,
      address: event.address,
      userName: event.userName,
      phone: event.phone,
      shoppingInfo: event.shoppingInfo,
      totlePrice: event.totlePrice,
      shoppingStr: event.shoppingStr,
      remark:event.remark,
      createTime: now,
      // ...
    }
  });
}

這個雲函數寫好之後，需要上傳到服務器，直接在雲函數目錄點擊右鍵，然後點擊“上傳並部署”即可，這就相當於部署好了後端服務。前端小程序頁面調用的寫法是這樣的：

let orderData={};
orderData.userName = this.data.userName;
orderData.phone = this.data.phone;
orderData.address = this.data.address;
// ....
wx.cloud.callFunction({
      // 雲函數名稱
      name: 'c-order-add',
      // 傳給雲函數的參數
      data: orderData,
      complete: res => {
        Dialog.alert({
          title: '提交成功',
          message: '您的訂單成功，即將配送，請保持手機通暢。'
        }).then(() => {
          // ....
          wx.redirectTo({
            url: '../uorder/uorder'
          });
        });
      }
})

這裏，向程序前端，通過wx.cloud.callFunction完成了對雲函數的調用，也可以理解為對後端服務的調用。至此我們我們介紹完了，小程序雲開發的功能。雖然，我只貼出了少量的代碼，即保存商品，和提交訂單。由於時間和篇幅有限，我不可能把整個完整的程序代碼貼出來。但是你可以參照這個用法示例，將剩下的業務邏輯補充完整，最終完成“項目構思”一節中展示的成品截圖效果。

小程序審核的一點經驗

我開發的小程序審核在提交審核的時候遭遇了兩次退回，第一次是因為：“小程序具備電商性質，個人小程序號不支持”。所以，我只好申請了一個企業小程序號，使用的是超市的營業執照。服務類目的選擇也被打回了一次，最後選擇了食品還提交了食品經營許可證。第二次打回是因為：“用戶體驗問題”。其實就是“授權索取”的問題，微信不讓打開首頁就“要求授權”，同時不能強制用戶接受授權，得提供拒絕授權也能使用部分功能。

上面兩條解決之後，更新新了好幾版，都沒有出現過被拒的情況。並且，有次我是夜晚 10 左右提價的審核，結果10 點多就提示審核通過，當時沒看具體時間，就是接盆水泡了個腳的時間審核通過了。所以，我推斷小程序審核初次審核會比較嚴，之後如果改動不大應該直接機審就過了。

總結及對比

這裏我們可以對小程序雲開發和傳統模式做一個對比：

對比條目 傳統模式 雲開發
是否需要後端服務 需要 （如一個java應用部署在 Tomcat 中） 不需要 只需要“雲函數”
是否需要域名 需要 （還得在微信後台的把域名加入安全域名） 不需要
是否需要購買服務器 需要 （你得部署後端 Java 應用，還得安裝數據庫） 不需要
開通雲開發之後免費套餐夠用
不夠的話購買套餐按調用量計費
是否需要懂運維 需要
（你得會折騰服務器，數據庫之類的
還得配置好相關的用戶，端口，啟動服務）		 不需要
圖片上傳及 CDN 麻煩 簡單
獲取微信 openID 麻煩 超級簡單，雲函數中直接獲取
···

就對比這麼多吧，總之，我非常喜歡小程序雲開發，小程序真的可以讓你輕鬆干全棧。或者咱們別動不動就提“全棧”，姑且說，小程序雲開發可以讓你更簡單、更快速、更便宜的實現你的產品落地。我自己開發的雲小程序上線之後，使用了一兩個月，沒出現任何問題。我也不用操心服務器什麼的。所以，我已經給身邊很多人安利了小程序雲開發了。這裏我就不貼出我的小程序碼了，因為已經正式給我同學的超市使用了，所以不方便讓別人去產生測試數據。如果你感興趣想看的話，可以聯繫我。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

分類
發燒車訊

PowerMock學習（四）之Mock static的使用

我們編寫代碼的時候，總會寫一些工具類，為了方便調用喜歡使用static關鍵字來修飾對應方法。

那麼現在舉例說明，還是準備兩個接口，第一個是查詢學生總數，第二個是新增學生兩個接口，具體示例代碼如下：

package com.rongrong.powermock.mockstatic;

import com.rongrong.powermock.service.Student;

/**
 * @author rongrong
 * @version 1.0
 * @date 2019/11/23 8:08
 */
public class StudentStaticService {

    /**
     * 獲取學生總數
     * @return
     */
    public int getStudentTotal(){
        return StudentUtils.getStudent();
    }

    /**
     * 創建一個學生
     * @param student
     */
    public void createStudent(Student student){
        StudentUtils.createStudent(student);
    }
}

接着我們再來看看這個靜態工具類StudentUtils，具體代碼示例如下：

package com.rongrong.powermock.mockstatic;

import com.rongrong.powermock.service.Student;

/**
 * @author rongrong
 * @version 1.0
 * @date 2019/11/23 7:38
 */
public class StudentUtils {
    /**
     * 獲取學生總數
     * @return
     */
    public static int getStudent(){
        throw new UnsupportedOperationException();
    }

    /**
     * 創建一個學生
     * @param student
     */
    public static void createStudent(Student student){
        throw new UnsupportedOperationException();
    }
}

接下來我們用傳統方式，來做單元測試，示例代碼如下：

    @Test
    public void testGetStudnetTotal(){
        StudentStaticService staticService = new StudentStaticService();
        int studentTotal = staticService.getStudentTotal();
        assertEquals(studentTotal,10);
    }

    @Test
    public void testCreateStudent(){
        StudentStaticService staticService = new StudentStaticService();
        staticService.createStudent(new Student());
        assertTrue(true);
    }

接着運行下測試用例，結果肯定報錯了，為什麼報錯，這裏就不再細說了，參考之前文章，報錯，如下圖所示：

 

接下來我們使用powermock來進行測試，具體示例代碼如下：

 @Test
    public void testGetStudentWithMock(){
        //先mock工具類對象
        PowerMockito.mockStatic(StudentUtils.class);
        //模擬靜態類調用
        PowerMockito.when(StudentUtils.getStudent()).thenReturn(10);
        //構建service
        StudentStaticService service = new StudentStaticService();
        int studentTotal = service.getStudentTotal();
        assertEquals(10,studentTotal);
    }

    @Test
    public void testCreateStudentWithMock(){
        //先模擬靜態工具類
        PowerMockito.mockStatic(StudentUtils.class);
        //模擬調用
        PowerMockito.doNothing().when(StudentUtils.class);
        //構建service
        StudentStaticService service = new StudentStaticService();
        Student student = new Student();
        service.createStudent(student);
        //這裏用powermock來驗證，而不是mock，更體現了powermock的強大
        PowerMockito.verifyStatic();
    }

再次運行，測試通過，如下圖所示：

 

 

運行之前先讓powermock為我們準備了StudentUtils工具類，而且採用mockstatic的方法，最後我們用powermock.verifyStatic()驗證，而不是mock，更體現了powermock的強大。

 

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

分類
發燒車訊

電動車發展快速，旭化成增產鋰電池材料「分隔模」

 

日刊工業新聞23日報導，因車廠加快電動車（EV）的研發腳步、帶動電池材料市場成長速度超乎預期，故旭化成（Asahi Kasei）計畫上修鋰離子電池關鍵材料「分隔膜（separator）」的增產計畫，目標在2020年結束前將分隔膜年產能最高擴增至15億平方公尺（m2）、將達現行的2.5倍，且將遠高於原先規劃的11億m2目標，期望藉由積極投資、鞏固全球龍頭位置。預估追加擴產所需的投資額約300億日圓。

據報導，2016年全球分隔膜市場規模約15億m2、且預估2020年最高將擴大至35億m2的水準。就用途別來看，車用需求佔整體比重7成；就國別來看，因強化環保規範、提振EV需求急增的中國為全球最大市場、佔全球比重過半。

旭化成於3月30日宣布，因電動車（EV）、油電混合車（HV）等車用鋰離子電池需求預估將呈現急速增長，故決議擴增鋰離子電池關鍵材料「分隔膜」產能，計畫投下約150億日圓，在守山製造所（滋賀縣守山市）增設年產能約2億平方公尺（m2）的分隔膜產線，並預計於2019年度上半年商轉。

旭化成指出，待上述增產工程完工後，該公司整體分隔膜年產能將從現行的約6.6億m2提高3成至約8.6億m2。

旭化成為全球分隔膜龍頭廠、全球市佔率達5成，目前於滋賀縣、宮崎縣以及美國和南韓生產分隔膜。

根據日本市調機構富士經濟（Fuji Keizai）預估，2020年全球分隔膜市場規模將增至3,000億日圓、將達2015年的2倍水準，而EV、HV等車用用途是推動分隔膜需求急增的最大功臣，預估2020年車用分隔膜佔整體市場比重將達約45%。

富士經濟6月22日公布調查報告指出，預估2030年時EV年銷售量將增至407萬台、超越HV（2030年銷售量預估為391萬台），且之後雙方的差距將持續擴大。富士經濟預估，在中國需求增加加持下，2035年EV全球銷售量將擴大至630萬台、將達2016年的13.4倍（較2016年增加12.4倍）。

（本文內容由授權使用。圖片出處：）  

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

分類
發燒車訊

精通awk系列(8)：awk劃分字段的3種方式

回到：

詳細分析awk字段分割

awk讀取每一條記錄之後，會將其賦值給$0，同時還會對這條記錄按照預定義變量FS劃分字段，將劃分好的各個字段分別賦值給$1 $2 $3 $4...$N，同時將劃分的字段數量賦值給預定義變量NF。

引用字段的方式

$N引用字段：

  • N=0：即$0，引用記錄本身
  • 0<N<=NF：引用對應字段
  • N>NF：表示引用不存在的字段，返回空字符串
  • N<0：報錯

可使用變量或計算的方式指定要獲取的字段序號。

awk '{n = 5;print $n}' a.txt
awk '{print $(2+2)}' a.txt   # 括號必不可少，用於改變優先級
awk '{print $(NF-3)}' a.txt

分割字段的方式

讀取record之後，將使用預定義變量FS、FIELDWIDTHS或FPAT中的一種來分割字段。分割完成之後，再進入main代碼段(所以，在main中設置FS對本次已經讀取的record是沒有影響的，但會影響下次讀取)。

劃分字段方式(一)：FS或-F

FS或者-F：字段分隔符

  • FS為單個字符時，該字符即為字段分隔符
  • FS為多個字符時，則採用正則表達式模式作為字段分隔符
  • 特殊的，也是FS默認的情況，FS為單個空格時，將以連續的空白（空格、製表符、換行符）作為字段分隔符
  • 特殊的，FS為空字符串””時，將對每個字符都進行分隔，即每個字符都作為一個字段
  • 設置預定義變量IGNORECASE為非零值，正則匹配時表示忽略大小寫(隻影響正則，所以FS為單字時無影響)
  • 如果record中無法找到FS指定的分隔符(例如將FS設置為”\n”)，則整個記錄作為一個字段，即$1和$0相等
# 字段分隔符指定為單個字符
awk -F":" '{print $1}' /etc/passwd
awk 'BEGIN{FS=":"}{print $1}' /etc/passwd

# 字段分隔符指定為正則表達式
awk 'BEGIN{FS=" +|@"}{print $1,$2,$3,$4,$5,$6}' a.txt

劃分字段方式(二)：FIELDWIDTHS

指定預定義變量FIELDWIDTHS按字符寬度分割字段，這是gawk提供的高級功能。在處理某字段缺失時非常好用。

用法：

示例1：

# 沒取完的字符串DDD被丟棄，且NF=3
$ awk 'BEGIN{FIELDWIDTHS="2 3 2"}{print $1,$2,$3,$4}' <<<"AABBBCCDDDD"
AA BBB CC 

# 字符串不夠長度時無視
$ awk 'BEGIN{FIELDWIDTHS="2 3 2 100"}{print $1,$2,$3,$4"-"}' <<<"AABBBCCDDDD"
AA BBB CC DDDD-

# *號取剩餘所有，NF=3
$ awk 'BEGIN{FIELDWIDTHS="2 3 *"}{print $1,$2,$3}' <<<"AABBBCCDDDD"      
AA BBB CCDDDD

# 字段數多了，則取完字符串即可，NF=2
$ awk 'BEGIN{FIELDWIDTHS="2 30 *"}{print $1,$2,NF}' <<<"AABBBCCDDDD"  
AA BBBCCDDDD 2

示例2：處理某些字段缺失的數據。

如果按照常規的FS進行字段分割，則對於缺失字段的行和沒有缺失字段的行很難統一處理，但使用FIELDWIDTHS則非常方便。

假設a.txt文本內容如下：

ID  name    gender  age  email          phone
1   Bob     male    28   abc@qq.com     18023394012
2   Alice   female  24   def@gmail.com  18084925203
3   Tony    male    21   aaa@163.com    17048792503
4   Kevin   male    21   bbb@189.com    17023929033
5   Alex    male    18                  18185904230
6   Andy    female  22   ddd@139.com    18923902352
7   Jerry   female  25   exdsa@189.com  18785234906
8   Peter   male    20   bax@qq.com     17729348758
9   Steven  female  23   bc@sohu.com    15947893212
10  Bruce   female  27   bcbd@139.com   13942943905

因為email字段有的是空字段，所以直接用FS劃分字段不便處理。可使用FIELDWIDTHS。

# 字段1：4字符
# 字段2：8字符
# 字段3：8字符
# 字段4：2字符
# 字段5：先跳過3字符，再讀13字符，該字段13字符
# 字段6：先跳過2字符，再讀11字符，該字段11字符
awk '
BEGIN{FIELDWIDTHS="4 8 8 2 3:13 2:11"}
NR>1{
    print "<"$1">","<"$2">","<"$3">","<"$4">","<"$5">","<"$6">"
}' a.txt

# 如果email為空，則輸出它
awk '
BEGIN{FIELDWIDTHS="4 8 8 2 3:13 2:11"}
NR>1{
    if($5 ~ /^ +$/){print $0}
}' a.txt

劃分字段方式(三)：FPAT

FS是指定字段分隔符，來取得除分隔符外的部分作為字段。

FPAT是取得匹配的字符部分作為字段。它是gawk提供的一個高級功能。

FPAT根據指定的正則來全局匹配record，然後將所有匹配成功的部分組成$1、$2...，不會修改$0。

  • awk 'BEGIN{FPAT="[0-9]+"}{print $3"-"}' a.txt
  • 之後再設置FS或FPAT，該變量將失效

FPAT常用於字段中包含了字段分隔符的場景。例如，CSV文件中的一行數據如下：

Robbins,Arnold,"1234 A Pretty Street, NE",MyTown,MyState,12345-6789,USA

其中逗號分隔每個字段，但雙引號包圍的是一個字段整體，即使其中有逗號。

這時使用FPAT來劃分各字段比使用FS要方便的多。

echo 'Robbins,Arnold,"1234 A Pretty Street, NE",MyTown,MyState,12345-6789,USA' |\
awk '
    BEGIN{FPAT="[^,]*|(\"[^\"]*\")"}
    {
        for (i=1;i<NF;i++){
            print "<"$i">"
        }
    }
'

最後，patsplit()函數和FPAT的功能一樣。

檢查字段劃分的方式

有FS、FIELDWIDTHS、FPAT三種獲取字段的方式，可使用PROCINFO數組來確定本次使用何種方式獲得字段。

PROCINFO是一個數組，記錄了awk進程工作時的狀態信息。

如果：

  • PROCINFO["FS"]=="FS"，表示使用FS分割獲取字段
  • PROCINFO["FPAT"]=="FPAT"，表示使用FPAT匹配獲取字段
  • PROCINFO["FIELDWIDTHS"]=="FIELDWIDTHS"，表示使用FIELDWIDTHS分割獲取字段

例如：

if(PROCINFO["FS"]=="FS"){
    ...FS spliting...
} else if(PROCINFO["FPAT"]=="FPAT"){
    ...FPAT spliting...
} else if(PROCINFO["FIELDWIDTHS"]=="FIELDWIDTHS"){
    ...FIELDWIDTHS spliting...
}

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

分類
發燒車訊

EV弱點一次解決！豐田傳推全固體電池車、數分鐘充飽電

東京新聞25日報導，豐田汽車（Toyota）計畫在2022年於日本國內開賣新型電動車（EV），其電池將採用充電量可達鋰離子電池2倍的「全固體電池」，將大幅提升EV的續航距離，且僅需數分鐘時間就可充飽電。在EV的研發上，由歐美廠商跑在前頭，而豐田期望藉由導入革新性技術扳回劣勢。

報導指出，現行市售的EV所搭載的電池以鋰離子電池為主，不過其弱點在於充飽一次電所能行駛的距離約300-400km、遜於汽油車，且即便使用快速充電技術、也需花費數十分鐘才能充飽電，而採用全固體電池的話，就有望一口氣將上述弱點全數解決。

據報導，全固體電池是將電解質從液體變更為固體，而豐田長年來持續進行全固體電池的研發，並於去年宣佈已攜手東京工業大學成功發現可適用於電解質的固體材料，並將在今年開始進行量產研發。

德國BMW、福斯（Volkswagen）等車廠也正研發全固體電池，不過量產相關計畫仍未明。

日經新聞曾於2011年10月報導，豐田汽車已和東京工業大學及高能源加速器研究機構攜手研發出一款使用新化合物的次世代電動車（EV）用「全固體電池」，其充飽一次電所能行駛的距離最長有望達1,000km左右的水準。

富士經濟6月22日公布調查報告指出，預估2030年時EV年銷售量將增至407萬台、超越油電混合車（HV、2030年銷售量預估為391萬台），且之後雙方的差距將持續擴大。富士經濟預估，在中國需求增加加持下，2035年EV全球銷售量將擴大至630萬台、將達2016年的13.4倍（較2016年增加12.4倍）。

（本文內容由授權使用。圖片出處：Toyota）

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選