云計算實驗報告

云計算原理課程

期末實踐報告題目：Linux集群、MapReduce和CloudSim實踐成績：學(xué)號：姓名： 羅滔登錄郵箱：任課老師： 許娟2016年11月12日目錄實驗一：AWS身份與訪問管理(P2~P11)實驗二：Hadoop實驗報告(P21)實驗二：AmazonRelationalDatabaseService實驗二：AmazonRelationalDatabaseService(P11~P20)AWS管理控制臺

使用qwikLABS登錄AWS管理控制臺6?在AWS管理控制臺中，單擊【服務(wù)/Services】，然后單擊【IAM或身份與訪問管理/IAMorIdentity&AccessManagement】。7?在IAM控制臺的左側(cè)面板中，單擊【用戶/Users】。8?找到“userone”，然后單擊其名稱以顯示有關(guān)該用戶的詳細(xì)信息。在用戶詳細(xì)信息中，找到有關(guān)該用戶的以下三方面的信息：已向該用戶分配了一個密碼該用戶不屬于任何組目前沒有任何策略與該用戶關(guān)聯(lián)（“附加到”該用戶）

9?現(xiàn)在，單擊左側(cè)導(dǎo)航窗格中的【組/Groups】。本實驗的CloudFormation模板還創(chuàng)建了三個組。在IAM控制臺中的【用戶/Users】儀表板中可以看到,自動化CloudFormation腳本在創(chuàng)建這些組時為其提供了唯一的名稱。這些唯一名稱包含以下字符串:EC2support”EC2admin”S3admin”完整組名的格式如下所示:EC2support--GA9LGREA7X4S從現(xiàn)在開始，我們在本實驗中將使用上面這些簡寫名稱來指代這些組。您可以在【組/Groups】儀表板中搜索子字符串，以便為后續(xù)實驗操作確定正確的組。單擊“EC2support”對應(yīng)的組名。其格式應(yīng)與上面的類似。向下滾動至組詳細(xì)信息頁面中的【權(quán)限/Permissions】部分后，在【內(nèi)聯(lián)策略/InlinePolicies】部分,可以看到一個名稱為“EC2supportpolicy”的策略與該組關(guān)聯(lián)。在策略中，您可以規(guī)定將允許或拒絕對特定AWS資源執(zhí)行哪些操作。您可以使用自定義策略，或通過

選擇AWS托管策略來使用一組預(yù)定義的權(quán)限。雖然我們不會更改此策略，但請單擊【編輯策略/EditPolicy】，使其顯示在一個窗口中，以便您進行查看和滾動。請留意IAM策略中語句的基本結(jié)構(gòu)?！癆ction”部分指定了該服務(wù)內(nèi)的AWS服務(wù)和功能?！癛esource”部分定義了該策略規(guī)則所涵蓋的實體范圍，而“Effect”部分則定義了所需結(jié)果。更多有關(guān)定義IAM策略的信息，請訪問“AWSIdentityandAccessManagement：權(quán)限和策略”文檔頁面。單擊另外兩個組(“EC2admin”和“S3admin”)，查看附加到這兩個組的策略。您現(xiàn)在能否識別出附加到這些組的策略所允許的權(quán)限？■W.siuir1■W.siuir1"Action"；r,R?sourtfl":"arn:;ws-^n:&c2:+:*:ins±m(xù)「c?/*?,"Effect";"Allan?"A-ction"! "clas七itlondb丄'嚏gu心叫“憶HEffect":18.完成后，再次單擊左側(cè)面板中的【組/Groups】。各組的【用戶/Users】列中應(yīng)顯示“1”，表示各組中的用戶數(shù)。設(shè)置自定義密碼替換和設(shè)置自定義密碼22.為“userone”設(shè)置一個密碼，然后在臨時的記事本文件中記下該密碼。24.重復(fù)上述步驟，為usertwouserthree設(shè)置密碼24.重復(fù)上述步驟，為usertwouserthree設(shè)置密碼創(chuàng)逢新用戶q篩選條件awsstudent□ qls-31277-Sc570dd1a0ql￡-31277-8t570dd1a0□ qls^31277-Sc570dd1a0awsstudent□ qls-31277-Sc570dd1a0ql￡-31277-8t570dd1a0□ qls^31277-Sc570dd1a0root-qwkl我們在處理您的請求時遇到以下錯誤:我們在處理您的請求時遇到以下錯誤:XUser:arn:aws-cn:iam::5833-52026625:user/awsstudentisnotauthorizedtopelUser:arn:aws-cn:iam::5S33-5^026625:user/awsstudentisnotauthorizedtopeiU3er:arn:aws-cn:13171：:5833-5^026625^3&^3^3studentisnotauthorizedtopeiUser:arn:aw3-cn:iam::5S33-5^026625:userj'awsstudentisnotauthorizedtopeiU^er:arn:aws-cn:iam::5833-5i026625:user/awsstudentisnotauthorizedtopei測試對S3的訪問權(quán)限您在本實驗中使用的“awsstudent”用戶所擁有的權(quán)限寥寥無幾，例如，您可以訪問S3儀表板，但無法查看其中的存儲桶。立即對此進行測試：在主AWS控制臺上，單擊【服務(wù)/Services】，然后單擊【S3】。您應(yīng)該會看到三個存儲桶。嘗試單擊存儲桶以查看其內(nèi)容-您將無法查看其內(nèi)容。在主IAM儀表板上，在【歡迎使用身份識別和訪問管理/WelcometoIdentityandAccessManagement】下方，您將看到IAM用戶登錄鏈接。復(fù)制此URL,然后將其粘貼到臨時記事本文件中。30.現(xiàn)在，您的記事本文件中應(yīng)包含登錄URL、完整的“userthree”登錄名和密碼。在新的瀏覽器中，使用這些信息以“userthree”的身份登錄。31?您應(yīng)該會看到標(biāo)準(zhǔn)的AWS控制臺。但是，在右上角，您的用戶名不再是“awsstudent”，而是

口ls-31277-ec570ddlaD2556c...*口ls-31277-ec570ddlaD2556c...*支持”qls-31Z77-3c57Odd1aOZ556c3-□5erthree-7ANZJXGPHUUE@58335入門M請參閱我們的文檔或查看我們的培訓(xùn)，以了解更多有關(guān)AWS的信息＜■"userthree”。32?現(xiàn)在，訪問S3服務(wù)儀表板。您可以看到之前的三個存儲桶，但現(xiàn)在，作為“S3admin”組的一部分，您可以查看這些存儲桶、復(fù)制文件、創(chuàng)建新的存儲桶和文件等。實驗二：AmazonRelationalDatabaseService(P12~P21)實驗二：AmazonRelationalDatabaseService(P12~P21)登錄AWS管理控制臺登錄之后，返回qwikLAB??網(wǎng)創(chuàng)建RelationalDatabaseService(RDS)實例要開始創(chuàng)建第？一個AmazonRDS實例，您需要訪問Amazon管理控制臺上的AmazonRDS圖標(biāo)，然后使？RelationalDatabaseService向?qū)?。單?首頁上的AmazonRDS圖標(biāo)并轉(zhuǎn)到該控制?面板。單擊“LaunchaDatabaselnstance/啟動數(shù)據(jù)庫實例”按鈕來啟動RDS向?qū)?。單擊MySQL數(shù)據(jù)庫引擎類型對?面的“Select/選擇”按鈕?？吹皆摂?shù)據(jù)庫是否？用于？生產(chǎn)？目的的詢問時，選擇“開發(fā)測試”單選按鈕，然后單擊“NextStep/下？一步”。

您是否計劃將此數(shù)據(jù)庫用于生產(chǎn)目的？歩菠1:認(rèn)諄可卑歩疆2：Tr您是否計劃將此數(shù)據(jù)庫用于生產(chǎn)目的？歩菠1:認(rèn)諄可卑歩疆2：Tr?歩驥2攔H掃據(jù)FTi干訓(xùn)話邑步慮4：沖MySQL創(chuàng)建此買例時，特參可用國制署和預(yù)貿(mào)OPS存儲用作獣訕-MySQL此女倒特右用0r RDSTf11-在接下來的“DBInstanceDetails/指定數(shù)據(jù)庫詳細(xì)信息"屏幕上，按以下內(nèi)容進?行設(shè)置:/數(shù)據(jù)庫實例類/多可?用區(qū)部署/分配的存儲空間:5/數(shù)據(jù)庫實例標(biāo)識符:RDSLab:/主?用戶名AWSMaster/主密碼:AWS1234512.單擊“NextStep/下？一步"。13?在接下來的“AdditionalConfig/配置？高級設(shè)置”屏幕上，按以下內(nèi)容進？行設(shè)置：/數(shù)據(jù)庫名稱:RDSLab/公開訪問:否/VPC安全組：選擇包含?文本“qlstack”的安全組14.在備份中，選擇備份保留期為0天。15.單擊“LaunchDBInstance/啟動數(shù)據(jù)庫實例”。從亞馬遜系統(tǒng)映像(AMI)創(chuàng)建AmazonLinux實例要開始創(chuàng)建第？一個Amazon實例，您需要訪問Amazon管理控制臺上的AmazonEC2圖標(biāo)，然后使?用向?qū)А?6?返回AWS管理控制臺(它在瀏覽器中仍是打開的)。單擊AWS管理控制臺?首頁上的EC2圖標(biāo)。單擊“Instances/實例"鏈接來創(chuàng)建實例。單擊“LaunchInstance/啟動實例”按鈕來開始該過程。20?在第?一個對話窗?.口中，步驟1：選擇?一個Amazon系統(tǒng)映像，然后單擊該AMI旁邊的“Select/選."來選擇AmazonLinuxAMI實例。注意：確認(rèn)是64位的映像。步驟2：使實例類型保留默認(rèn)設(shè)置，即。要繼續(xù)，則單擊"Next:ConfigureInstanceDetails/下?一步：配置實例詳細(xì)信息”。步驟3：ConfigureInstanceDetails/配置實例詳細(xì)信息，我們將保留所有默認(rèn)選項，并單擊“Next:AddStorage/下？一步：添加存儲"。步驟4：AddStorage/添加存儲，保留默認(rèn)虛擬擬硬。單擊“Next:TagInstance/下？一步：標(biāo)簽實例”。注意：您可以在此輕松增加更多虛擬硬盤或更改硬盤?大?小。24?步驟5：TagInstance/標(biāo)?實例，使?標(biāo)簽實例界?面為實例命名。您將注意到左邊?文本框填充了標(biāo)簽的名字為Name，右邊.文本框為空。在空?文，鍵?入名稱，例如“EC2FreeLab”并單擊“Next:ConfigureSecurityGroup/下?一步：配置安全組。步驟6：ConfigureSecurityGroup/配置安全組，接受默認(rèn)安全組，因為它允許通過端?？口22(SSH)從任意位置連接此Linux實例，單擊“ReviewandLaunch/審核和啟.步驟7：通過“ReviewInstanceLaunch/審核和啟.動”，您可以獲取全部設(shè)置的概覽。。單擊“Launch/啟動"以繼續(xù)。QwikLab?自動?您？生成的密鑰?應(yīng).自動填第?二個下拉框。單擊“acknowledgement/確認(rèn)”復(fù)選框，聲明。現(xiàn)在，單.“LaunchInstance/啟.實例。單擊“ViewInstances/查看實例。40.將ec2—user@鍵?入HostName字段，然后將您復(fù)制到剪貼板板的連接字符串粘貼到42.單擊單詞“Auth”選擇“Au七『'類（？而不是單詞“Auth”旁邊的+符號）。單擊“Browse”。瀏覽到您稍早在本實驗中保存.ppk?文件的位置。選擇您下載的.ppk?文件。單擊“Open”。47.在PuTTY客戶端，單擊“Open”。48.出現(xiàn)提?示時，單擊“Yes”允許PuTTY緩存服務(wù)器的主機鍵。您已成功登錄了Linux主機！

I0$Sshtr.D?1PuTTVComfiig^irJidDCSelectprivetkeyfile匚母passaitheftKatxroerrir?^I.SSH-2nriy?0 pK^autianK3?fibfai?SEH-2wi^'|MbwtKtfixindbxh厘iMbPI0$Sshtr.D?1PuTTVComfiig^irJidDCSelectprivetkeyfile匚母passaitheftKatxroerrir?^I.SSH-2nriy?0 pK^autianK3?fibfai?SEH-2wi^'|MbwtKtfixindbxh厘iMbPSlhtriJGtfwnU^gFfliMTt□屜申TlSaQ^oCaidmjTilSSH-i]墾 *h155H-3i^hwtKtftanMnsn^irr?□ ajtini『叫3心叩口iMm*EflEtHchampsd事曰吟弋町SSm-2FM■小k即FfelirB.tvirfltwiPuTTVPnvrtE<eyFibs-C<ipwfHKO)曾D 3tg3『InHantCorTtikiJiJXE**T?2砂q^ldLAHS-LJtO^l^GG^ipk叭立肯1嗣KBgEEEtDlnEI55H4U>hcrt>3flll0riCthti Can?4回到RDS頁?面，選中并展開之前創(chuàng)建的RDS實例。記錄下Endpoint/終端節(jié)點名字，？比如：回到LinuxEC2主機的終端，輸?入以下命令：$mysql-h<endpoint>--p-uAWSMaster在密碼的提?示符下輸?入AWS12345然后在mysql>提?示符下輸?入showdatabases;?并檢查結(jié)果。您現(xiàn)在已將MySQL客戶端連接到您新創(chuàng)建的RDS實例。恭喜您！Hadoop云計算實驗報告(P21-)1、 實驗?zāi)康脑谔摂M機Ubuntu上安裝Hadoop單機模式和集群；編寫一個用Hadoop處理數(shù)據(jù)的程序，在單機和集群上運行程序。2、 實驗環(huán)境虛擬機：VMware9操作系統(tǒng)：Hadoop和Jdk和EclipseHadoop集群：一臺namenode主機master,—臺datanode主機salve,3、 主要設(shè)計思路在ubuntu操作系統(tǒng)下，安裝必要軟件和環(huán)境搭建，使用eclipse編寫程序代碼。實現(xiàn)大數(shù)據(jù)的統(tǒng)計。本次實驗是統(tǒng)計軟件代理系統(tǒng)操作人員處理的信息量，即每個操作人員出現(xiàn)的次數(shù)。4、算法設(shè)計該算法首先將輸入文件都包含進來，然后交由map程序處理，map程序?qū)⑤斎胱x入后切出其中的用戶名，并標(biāo)記它的數(shù)目為1，形成〈word,l〉的形式，然后交由reduce處理，reduce將相同key值（也就是word）的value值收集起來，形成〈word,listofl〉的形式，之后再將這些1值加起來，即為用戶名出現(xiàn)的個數(shù),最后將這個〈key,value〉對以TextOutputFormat的形式輸出到HDFS中。5、安裝實驗環(huán)境安裝ubuntu操作系統(tǒng)1） 打開VMware,在Hometab中單擊“CreateaNewVirtualMachine”，2） 選擇custom，選擇虛擬硬件版本，選擇ios文件，next,3） 錄入目標(biāo)操作系統(tǒng)信息,包括Fullname、Uername和Password，next，4） 選擇默認(rèn)的選項，一般不做更改，最后確認(rèn)信息，F(xiàn)inish,5） 安裝成功后，會看到如下畫面，安裝配置Samba安裝samba主要為了實現(xiàn)與windows操作系統(tǒng)的通訊，由于server版本的ubuntu沒有自帶圖形操作界面，所以下載資料等操作不太方便，這也是安裝samba的目的之一。1） 安裝samba，輸入如下命令：2） 安裝vim3） 創(chuàng)建共享目錄，并修改權(quán)限4） 配置samba。修改samba的配置文件/etc/samba/，將security=share，并在文件的末尾追加如下內(nèi)容，5）測試。在windows實機中，通過ip訪問ubuntu虛擬機，可以見到share文件夾安裝配置JDK首先，下載java開發(fā)工具包JDK。在本次試驗中，我們下載的版本是。解壓安裝到/usr/lib/jvm/目錄下，更名為java-7-sun。配置環(huán)境變量/etc/environment,使配置生效測試安裝配置結(jié)果在單節(jié)點（偽分布式）環(huán)境下運行HADOOP1） 添加Hadoop用戶并賦予sudo權(quán)限2） 安裝配置SSH切換至hadoop用戶，配置密鑰，使得hadoop用戶能夠無須輸入密碼，通過SSH訪問localhost,測試結(jié)果：3） 安裝配置Hadoop首先下載Hadoop,解壓縮到/opt/hadoop目錄下，更改目錄名稱為hadoop。列舉。修改與hadoop相關(guān)的配置文件（在/opt/hadoop/conf目錄下），分別是,，，。在此不列舉。4） 運行Hadoop首先格式化HDFS，啟動單節(jié)點集群，通過jps查看，masterslave停止單節(jié)點集群，在多節(jié)點（分布式）環(huán)境下運行HADOOP1） 設(shè)置/etc/hosts文件2） 設(shè)置節(jié)點之間無密碼SSH登陸驗證配置SSH是否正確3） 修改集群配置文件修改master的masters、slaves，修改所有節(jié)點的，，，在此不一一列出。4） 在master上格式化HDFS5） 啟動和停止集群啟動集群，在master上啟動HDFS后，jps結(jié)果如下:masterslave在master上啟動mapreduce后，jps結(jié)果如下：masterslave停止集群6、運行程序在單機上運行程序（1） 在Eclipse下，新建map/reduce工程（2） 新建一個java類UserNameCount,編寫代碼（3） 運行程序，結(jié)果如下：（4） 在eclipse中編譯好源代碼后，導(dǎo)出程序的jar包，供在集群上使用。在集群上運行程序（1） 啟動集群，通過jps命令查看master,slave上啟動的服務(wù)列表，結(jié)果如下::/opt/hadoop/bin￡jps2049JobTz?ac^ez?|2956Jps[15^1NaLaeNaae2221Iask!rackst1929SecondaryNameNodelhadoopSubuTitu:/opt/hadoop/bin￡sshsiaveWelaometoUbuntu JLTS[GMU/LiniiK3?；2?D-23-gezieriak84q_64}*Docunientacion:nutps://Help.ubuntTEi?cbh/Newrelease114?04?2LIS1available?Runldo-工皂1皂ase-upgrad皂『toupgradeto:it?LastloginsSatMay23s:3B2015frcam.masterIhad.aop@LLbuntli;jps1526lasklracker1444DataNadeI1E91如（2） 在集群環(huán)境下運行該程序jar包（），結(jié)果如下：（3） 查看集群環(huán)境下啟動程序生成的結(jié)果，即output文件，結(jié)果如下:（4） 數(shù)據(jù)統(tǒng)計結(jié)果在part-r-OOOOO中，具體內(nèi)容如下，7、源代碼：packagehadoop;importim