2024哈佛大學(xué)韋德測試生成式 AI與 CEO 溝通

WorkingPaper25-TheWadeTest:GenerativeAIandCEO

韋德測試：生成式AI與CEO溝通TheWadeTest:GenerativeAIandCEOCommunicationPrithwirajHarvardBusinessBartS.UniversityCollegeAmirhosseinLeidenWorkingPaper25-

韋德測試：生成式AI與CEO溝通PrithwirajChoudhury哈佛B(yǎng)artSVannesteAmirhosseinZohrehvand萊頓大TheWadeGenerativeAIandCEOPrithwiraj(Raj)ChoudhuryHarvardBusinessSchoolHarvardUniversityBartS.VannesteUCLSchoolofManagementUniversityCollegeLondonAmirhosseinFacultyofScience,ScienceBasedBusinessLeidenUniversityAugust23,

AICEOPrithwiraj(Raj)BartS.VannesteAmirhossein2024年8月23 Cangenerativeartificialintelligence(AI)transformtheroleoftheCEObyeffectivelyautomatingCEOcommunication?ThisstudyinvestigateswhetherAIcanmimicahumanCEOandwhetheremployees’perceptionofthecommunication’ssourcematter.Inafieldexperimentwithafirm,weextendtheideaofaTuringtest(i.e.,acomputermimickingaperson),totheideaofgenerativeAImimickingaspecificperson,namelytheCEO.Wecallthisthe“Wadetest”andassessifemployeescandistinguishbetweencommunicationfromtheirCEOandcommunicationgeneratedbyanAItrainedontheCEO’spriorcommunications.WefindthatAIresponsesarecorrectlyidentified59%ofthetime,somewhatbetterthanrandomchance.WhenemployeesbelievearesponseisAIgenerated,regardlessofitsactualsource,theyperceiveitaslesshelpful.Toassesscausalmechanisms,asecondstudywithageneralaudience,usingpublicstatementsfromCEOsandfromanAIintendedtomimicthoseCEOs,findsthatAI-labeledresponses(irrespectiveoftheiractualsource)areratedaslesshelpful.Thesefindingshighlightthat,whenusinggenerativeAIinCEOcommunication,peoplemayinaccuratelyidentifythesourceofcommunicationandexhibitaversiontowardscommunicationtheyidentifyasbeingAIgenerated.

生成式人工智能（AI）能否通過有效地自動化CEO溝通來轉(zhuǎn)變CEO的角色？本研究調(diào)查了AI能否模仿人類CEO，以及員工對溝通來源的認(rèn)知是否重要。在一項針對企業(yè)的實(shí)地實(shí)驗中，我們將圖靈測試（即計算機(jī)模仿人類）的概念擴(kuò)展到生成式AI模仿特定個人，即CEO。我們稱之為“韋德測試”，以評估員工是否能夠區(qū)分來自他們的CEO和由AI生成的、基于CEO先前溝通的溝通。我們發(fā)現(xiàn)，AI的回應(yīng)被正確識別的次數(shù)為59%，略高于隨機(jī)機(jī)會。當(dāng)員工認(rèn)為回應(yīng)是由AI生成的，無論其實(shí)際來源如何，他們都會認(rèn)為它不太有幫助。為了評估因果機(jī)制，我們進(jìn)行了一項針對普通受眾的第二項研究，使用CEO的公開聲明和旨在模仿這些CEO的AI的聲明，發(fā)現(xiàn)標(biāo)記為AI的回應(yīng)（無論其實(shí)際來源如何）都被評為不太有幫助。這些發(fā)現(xiàn)突出表明，當(dāng)在CEO溝通中使用生成式AI時，人們可能無法準(zhǔn)確識別溝通的來源，并且會對他們識別為 Howgenerativeartificialintelligence(AI)willaffectfirmsandthefutureofworkisaquestionofgreatinteresttostrategyscholars(e.g.,Bergetal.2023),policymakers(e.g.,Cazzanigaetal.2024),andmanagers(e.g.,Microsoft2024).ThislineofinquiryfollowsinthefootstepsofstudiesonAIadoptionwithinfirms,itsimpactonindividualperformance(e.g.,AllenandChoudhury2022,GaesslerandPiezunka2023,Jiaetal.2024),anditspotentialtosubstitute,complement,oralterjobs(e.g.,Feltenetal.2021).RecentadvancesingenerativeAI,whichcancreatehigh-qualitydatasuchastext,images,audio,orvideo,areexpectedtoamplifyAI’simpactonorganizationsandtheiremployees(Bergetal.2023).Progressinlargelanguagemodels(LLMs)isparticularlynoteworthy,duetotheirabilitytogeneratenaturallanguage,theprimarymodeofcommunicationbothwithinandoutsideorganizations(YatesandOrlikowski1992).Forexample,LLMscanaidcommunicationsinternallybyfacilitatingorreducingtheneedformeetingsbetweengeographicallydispersedR&Dengineers(Zhangetal.2024)orexternallybysupportingorreplacingcustomerserviceagentsinteractingwithclients(Yangetal.2024).ThisraisesthequestionofwhethergenerativeAIcouldplayanimportantroleandevensubstitutehumansintheactofcommunicationacrossorganizationalroles(Eloundouetal.2024).Forstrategyscholarship,acentralquestionemergingiswhetherandhoweffectivelygenerativeAIcouldtransformtheroleoftheCEO.TheCEOisessentialnotonlyforformulating,butalsoforcommunicatingfirmstrategy(e.g.,Hambrick2007).ThereisextensiveliteratureontheimportanceofcommunicationinperformingtheCEO’srole(Bandieraetal.2020,Kotter1990).CEOscommunicatebothwithexternalconstituenciessuchasshareholders(throughseveraldevices,includingletterspublishedinthefirm’sannualreport,Kaplan,2008),andespeciallywithinternalconstituenciesoremployeesofthefirm(e.g.,ReytandWiesenfeld2014).1Usingfine-graineddatacollectedinaCEOdiary,Bandieraetal.(2020)documentthatCEOsspendonaverage70%oftheirtimeinteractingwithothers(eitherfacetofaceviameetingsorplantvisits,orvirtuallyviaphone,videoconferences,or1ThereisavastliteraturehighlightingtheimportanceofintrafirmcommunicationforCEOs,includingnotableworkbyorganizationalscholarssuchasSchein(1996),strategyscholarssuchasVandenSteen(2018),andeconomistssuchasRotembergandSaloner(2000).

生成式人工智能（AI）如何影響企業(yè)和工作的未來是一個備受戰(zhàn)略學(xué)者（例如，伯格等人2023年）、政策制定者（2024）和經(jīng)理（2024）關(guān)注的問題。這一研究路線繼承了企業(yè)內(nèi)部AI采用、其對個人績效的影響（例如，艾倫和喬杜里2022年，20232024）以及其替代、補(bǔ)充或改變工作的潛力（例如，費(fèi)爾2021）AI的進(jìn)步，能夠創(chuàng)建高質(zhì)量的文本、圖像、音頻或視頻等數(shù)據(jù)，預(yù)計將放大AI對組織和其員工的影響（伯格等人2023年）。大型語言模型（LLM）的進(jìn)步尤其值得關(guān)注，因為它們能夠生成自然語言，這是組織和外部組織內(nèi)部和外部的主要溝通方式（1992）。例如，LLM的研發(fā)工程師之間的會議（張等人2024年）或通過支持或替代與客戶互動的客戶服務(wù)代表（楊等人2024年）來幫助內(nèi)部溝通。這引發(fā)了生成式AI是否可以在組織角色之間的溝通中發(fā)揮重要作用甚至取代人類的問題（埃爾隆杜等人2024年）。對于戰(zhàn)略學(xué)術(shù)研究，一個核心問題是生成式AI能否以及如何有效地轉(zhuǎn)變CEO的角色。CEO不僅對制定公司戰(zhàn)略至關(guān)重要，而且對溝通公司戰(zhàn)略也至關(guān)重要（例如，漢布里克2007年）CEO（20201990）。CEO與外部利益相關(guān)者（如股東）以及公司內(nèi)部利益相關(guān)者或員工進(jìn)行溝通（例如，雷伊特和威森菲爾德2014年）。通過收集的CEO日記的細(xì)粒度數(shù)據(jù)，班迪亞等人（2020年）記錄CEO70（無論是面對面通過會議或工廠參觀，還是通過電話、大量文獻(xiàn)強(qiáng)調(diào)了企業(yè)內(nèi)部溝通對首席執(zhí)行官的重要性，包括組織學(xué)者如Schein（1996）、戰(zhàn)略學(xué)者如VandenSteen（2018年）以及經(jīng)濟(jì)學(xué)家如Rotemberg和Saloner（2000年）的杰出工作。emails).Relatedly,PorterandNohria(2018)reportthatCEOsspendabout40%oftheirtimenon-face-to-facecommunicationactivities,withonaverage15%oftheirtimeallocatedtoreadingandreplyingtowrittencorrespondenceand24%toelectroniccommunication.GenerativeAIcouldplayanimportantroleinautomatingcommunicationwithinorganizations,includingcommunicationbytheCEO,whichcouldhelpfreeuptimeforCEOstofocusonothertasks.Thisleadsustoask,cangenerativeAIeffectivelyautomateCEOcommunication?Wefurtheraskifemployeescandetectthesource(generativeAIorhumanCEO)ofCEOcommunicationandwhethertheirperceptionofthecommunication’ssourceaffectsjudgementsaboutthecommunication’shelpfulness?OurapproachtocomparinggenerativeAIwithahumanCEOinperformingCEOcommunicationbuildsontheclassicTuringtest(Turing1950).Originallycalledanimitationgame,theTuringtestisablindtestwhereahumanguesseswhethertheyarecommunicatingwithahumanoramachine.Ifthehuman’sguessesabouttheother’sidentityarenotbetterthanrandomchance,themachinehassuccessfullypassedtheTuringtest.PassingtheTuringtesthasbeenalongstandingchallenge.TheLoebnerPrize,anannualcompetitionheldfrom1991to2019,recognizedthetop-performingchatbotseachyear,butnoneclaimedthelargerprizesforpassingtheTuringtest(NeufeldandFinnestad2020).WiththerecentadvancesingenerativeAI,especiallylargelanguagemodels(LLMs),passingtheTuringtestnowappearsfeasible(Biever2023).Forexample,inanonlineexperiment,1.5millionuserscorrectlyidentifiedwhethertheotherwasahumanorchatbotonly68%ofthetime,withaccuracydroppingto60%whentheotherwasachatbot(Jannaietal.2023).Inafieldexperimentwithafirm,weextendtheideaofaTuringtestfrommimickingapersontomimickingaspecificperson,namelytheCEO.Wecallthisthe“Wadetest,”namedaftertheCEO.ThemachineisagenerativeAItrainedbythefirmontheCEO’spriorcommunication.Assummarizedindetaillater,theexperimentinvolvedfourmainsteps:(1)crowdsourcingquestionsfortheCEOfromemployeesatthefirm,(2)askingthehumanCEO,i.e.,Wade,torespondtothecrowdsourcedquestions,(3)creatinganswerstothesequestionsusinggenerativeAI,and(4)settingupanexperimentwhereemployeesatthefirmwererandomlyexposedtoeitherWade’sownanswersoranswersgeneratedbythe

電子郵件）。相關(guān)地，Porter和Nohria（2018）報告稱，首席執(zhí)行官大約40%的時間用于非面對面溝通活動，其中平均有15%的時間用于閱讀和回復(fù)書面通信，24%用于電子通信。生AIAI我們進(jìn)一步詢問，員工能否檢測到首席執(zhí)行官溝通的來源（AI），以及我們的方法是將生成式AI與人類CEO在執(zhí)行CEO（圖靈1950）之上。最初被稱為模仿游戲，圖靈測試是一種盲測，其中一個人猜測他們是在與19912019Loebner（Neufeld和Finnestad2020）。隨著生成式AI，特別是大型語言模型（LLM）的最近進(jìn)步，通過圖靈測試現(xiàn)在似乎可行（Biever2023）。例如，在一個在線實(shí)驗中，150萬用戶只有68%的時間正確地識別出對方是人是機(jī)?人，當(dāng)對方是聊天機(jī)?人時，準(zhǔn)確性下降到60%（Jannai2023）即CEO。我們稱之為“Wade測試”，以CEO的名字命名。這臺機(jī)?是由公司根據(jù)CEO之前的溝通訓(xùn)練的生成式AI。正如稍后詳細(xì)總結(jié)的那樣，實(shí)驗包括四個主要步驟：（1）從公司的CEO，（2）CEOWade，回答這些眾包的問題，（3）使用生成式AI創(chuàng)建這些問題答案，以及（4）設(shè)置一個實(shí)驗，讓公司的員工隨機(jī)接觸到Wade自己的答案或由生成式AI生成的答案。AIandaskingthemtoguesswhetherthehumanorAIhadgeneratedtheanswersandassessthehelpfulnessoftheanswers.Using105(approximately13%of)employeesofthefirm,weinvestigateifthemachinepassestheWadetest(i.e.,whetheritsanswersto10predefinedquestionsareindistinguishablefromthoseoftheCEO)andwhetheremployeesperceivemessagesdifferentlydependingontheirbeliefaboutwhethertheyarefromtheCEOorthemachine.Wefindthatemployeescorrectlyguessthesource’sidentityin59.0%of1,050instances,somewhatbetterthanrandomchance.Forsixoutof10questions,accuracyisnotstatisticallydifferentfrom50%.Insum,generativeAInearlypassestheWadeTestandthecommunicationthatitgeneratescouldbethoughtofasanauthenticsubstitutetocommunicationgeneratedbythehumanCEO.GiventhatourresearchquestionaskswhethergenerativeAIcaneffectivelyautomatecommunicationattributedtotheCEO,wealsotestwhetheremployeesratedanswersgeneratedbytheAIasequallyhelpfulastheanswersgeneratedbythehumanCEO.WefindthatpassingtheWadetestisconsequential.OuranalysissuggeststhatanswersgeneratedbythemachineandtheCEOareratedasequallyhelpful.However,employeesrateanswerstheybelieve(ofteninaccurately)tobegeneratedbythemachineaslesshelpfulthanthosetheybelievetobegeneratedbythehumanCEO.Inotherwords,theeffectivenessofgenerativeAIcommunicationdependsonwhetheremployeesareabletoguesswhichcontentisgeneratedbytheCEOvis-a-visgeneratedbythegenerativeAIalgorithm.Thisfindingsuggestsevidenceofalgorithmaversion(e.g.,Dietvorstetal.2015)ofemployeestowardsgenerativeAIToassesscausalityforthesecondfinding,weconductanadditionalexperimentwithageneralaudience.Participantswerepresentedwithanalysts’questionsposedduringearningcallstotheCEOsofHershey,GeneralMotors,Nvidia,andAmazonandtheanswersofeithertheCEOoranAI(anLLMinstructedtomimictheCEOinbothcontentandstyle).TheresearchersrandomizedwhetheranswerswerelabeledasbeinggeneratedbythehumanCEOorbygenerativeAI.Importantly,regardlessoftheiractualorigin,answerslabeledasAIgeneratedwereseenaslesshelpfulthanthoselabeledasgeneratedby

AI和讓他們猜測是人工還是AI105（13），我們調(diào)查了機(jī)?是否通過了韋德測試（10個預(yù)定義問題的答案是否與CEO的答案無法區(qū)分）以及員工是否根據(jù)他們是否認(rèn)為信息來CEO105059.010650總的來說，生成式AI幾乎通過了韋德測試，其生成的溝通可以被視為人類CEO生成的溝通的真鑒于我們的研究問題是詢問生成式AI是否能夠有效地自動化歸因于CEO的溝通，我們還測試了員工是否將AI生成的答案與人類CEO生成的答案同等有用。我們發(fā)現(xiàn)，通過韋德測試是有意義的。我們的分析表明，機(jī)?生成的答案和CEO生成的答案被認(rèn)為同樣有用。然而，員工認(rèn)為（通常不準(zhǔn)確）由機(jī)?生成的答案比他們認(rèn)為由人類CEO生成的答案要少。換句話說，生成式AI溝通的有效性取決于員工是否能夠猜測哪些內(nèi)容是由CEO還是由生成式AI算法生成的。這一發(fā)現(xiàn)表明了員工對生成式AI溝通的算法厭惡（例如，Dietvorst等人，2015年）。在Hershey、通用汽車、英偉達(dá)和亞馬遜的CEO的收益電話中分析師提出的問題以及CEO或AI（被指示在內(nèi)容和風(fēng)格上模仿CEO的LLM）的答案。研究人員隨機(jī)分配了答案被標(biāo)記為人類CEO生成或生成式AI生成的。重要的是，無論答案的實(shí)際來源如何，標(biāo)記為AI生成的答案被認(rèn)為比標(biāo)記為人類CEO生成的答案要少。theCEO.Thus,whetherthemessageisperceivedbyreceiversasgeneratedbyAI(study1)orlabeledbyresearchersasbeinggeneratedbyAI(study2),amessage’spotencyisreduced.ThisconfirmsthathumansubjectsexhibitalgorithmaversiontowardsgenerativeAIcommunication.ThisstudycontributestoresearchonhowgenerativeAImightimpactthefutureofwork(e.g.,Feltenetal.2023)andtakesanimportantstrategylensinexploringwhethergenerativeAImighteffectivelyautomatecommunicationbyCEOs.GenerativeAImayfundamentallychangethewayorganizationscommunicateandoperate,promptingresearchintohowrolesandtheperformanceoftaskswithinorganizationswillchange(Dell’Acquaetal.2024,Eloundouetal.2024;Otisetal.2024).AvibrantliteraturehasemergedinvestigatingtheimpactofAIonemployeeroles,includingconsultants,customersupportagents,andITsupportspecialists(AllenandChoudhury2020,Brynjolfssonetal.2023,Dell’Acquaetal.2024,Jiaetal.2024).However,theCEO’srole,perhapsthemostpivotalincommunicatingfirmstrategy,hasremainedunaddresseduntilnow.Webeginthisexplorationbyfocusingoncommunication,aprimarypartofaCEO’sroleandadomainwhereLLMsdemonstrateproficiency.OurapproachistoextendtheTuringtest(humanversusmachine)totheWadetest(specifichumanversusmachine).CEOcommunicationisinfluentialnotonlyforitscontentbutalsobecauseofwhoconveysit.Hence,wehighlightthatforgenerativeAItoeffectivelytransformtheCEOrole,itisimportanttoconsidernotonlythetechnicalcapabilitiesofgenerativeAIbutalsotheperceptionsitcreatesamongCEOTheCEOisthemostinfluentialpersoninthefirm(HambrickandQuigley2014),responsibleforformulatingandcommunicatingthefirm’sstrategy(HambrickandMason1984).CEOcommunicationisthusimportantforanorganization(Antonakisetal.2022,HelfatandPeteraf2015),alsoasevidencedbythefactthatCEOsspendapproximately70%oftheirdailyscheduleoncommunication(Bandieraetal.2020).Throughcommunication,aCEOengageswithbothinternalandexternalstakeholderstodirect

AI生成（1）AI生成（2），信息的效力都會降低。這證實(shí)了人類主體對生成式AI通信存在算法厭惡。這項研究有助于研究生成式AI可能如何影響未來的工作（例如，F(xiàn)elten等人2023年），并采取重要的戰(zhàn)略視角來探討生成式AI是否能夠有效地自動化CEO的溝通。生成式AI可能會從根本上改變組織的溝通和運(yùn)營方式，促使人們研究組織內(nèi)部角色和任務(wù)績效將如何改變（Dell’Acqua等人2024年，Eloundou等人2024年；Otis等人2024年）。關(guān)于AI對員工角色的影響，已經(jīng)出現(xiàn)了一篇充滿活力的文獻(xiàn)，包括顧問、客戶支持代理和IT支持專家（Allen和Choudhury2020年，Brynjolfsson等人2023年，Dell’Acqua等人2024年，Jia等人2024年）。然而，CEO的角色，可能是溝通公司戰(zhàn)略中最關(guān)鍵的角色，直到現(xiàn)在還沒有得到解決。我們開始這一探索，重點(diǎn)關(guān)注溝通，這是CEO角色的重要組成部分，也是LLMs表現(xiàn)出色的領(lǐng)域。我們的方法是將圖靈測試（人機(jī)對比）擴(kuò)展到韋德測試（特定人機(jī)對比）。CEO通不僅因其內(nèi)容而具有影響力，還因為傳達(dá)它的人。因此，我們強(qiáng)調(diào)，為了生成式AI能夠有效地轉(zhuǎn)變CEO的角色，不僅要考慮生成式AI的技術(shù)能力，還要考慮它在接收者中產(chǎn)生的感知。CEOCEO是公司最有影響力的人（Hambrick和Quigley2014年），（Hambrick和Mason1984年）。因此，CEO的溝通對組織來說很重要（Antonakis等人2022年，Helfat和Peteraf2015年），這一點(diǎn)也由CEO每天大約70%的時間用于溝通的事實(shí)所證明（Bandiera等人2020年）。通過溝通，CEO與內(nèi)部和外部利益相關(guān)者互動，以指theirattention(Ocasioetal.2018),coordinateresources,anddrivestrategicchange(HelfatandPeteraf2015).RecognizingtheimportanceofCEOcommunication,scholarshavedocumentedandstudieditsvariousforms(Liu,EHetal.2023),includingearningsconferencecalls(Crilly2017),shareholderletters(Fanellietal.2008),CEOletterstoothertopmanagers(Kaplan2015),internalsocialmediaposts(Leonardi2018),andemails(ReytandWiesenfeld2014).TheevolvingdemandsofeffectivecommunicationhaveledCEOstoincreasinglyrelyonothers’expertiseforcraftingclearmessagesandreachingmultipleaudiences(PorterandNohria2018,Sadunetal.2022).ThisdevelopmenthasbeenreinforcedbythewidespreadadoptionofcommunicationtechnologiesthatamplifythereachofCEOcommunication(e.g.,Heaveyetal.2020).Forexample,forexternalcommunication,thisincludesthecraftingofannualletterstoshareholders—acriticaltaskthatrequiresstrategicinsightandawell-structurednarrative(AmernicandCraig2007).Likewise,forinternalcommunication,thecreationandcommunicationofvisionandmissionstatementsreliesoncollaborativeefforts(e.g.,Fitzsimmonsetal.2022).Thus,toreinforcetheorganization’sstrategy,CEOsturntoothersforcraftingandconveyingtheirmessageseffectively.AI-generatedCEOGenerativeAI,particularlyLLMs,alsohasthepotentialtoaidCEOsincommunication.GenerativeAIprovidesmodelsthatcancreatenewdata,includingtext,images,sounds,andvideo.Duringtrainingonlargedatasets,thesemodelslearnthedistributionofthedata(Murphy2023).Aftertraining,theycandrawfromthisdistributiontocreatenewdatathatissimilarbutnotidenticaltotheoriginaldata.AnotablecategoryofgenerativeAIisLLMs,whichgeneratetextasoutput.ThiscapabilityallowsLLMstoexecuteabroadrangeoftasksthatrelyonnaturallanguage.RecentresearchhasdocumenteddifferentorganizationalusecasesofLLMs.Forexample,incustomerinteractions,LLMsareusedtoprescreensalescalls(Jiaetal.2024),functionascustomerchatbots(Gnewuchetal.2023),andprovidecallfeedbacktohumanagents(Brynjolfssonetal.2023,Tongetal.2021).Ininteractionswithinorganizations,theyfacilitatecommunicationinteamsthataregeographicallydistant(Zhangetal.2024).Furthermore,LLMsareintegratedforstandalonework,forexampleforadvicedrafting(Dell’Acquaetal.

他們的注意力（Ocasio等人，2018年），協(xié)調(diào)資源，并推動戰(zhàn)略變革（Helfat和Peteraf，2015年）。認(rèn)識到CEO溝通的重要性，學(xué)者們對其各種形式進(jìn)行了記錄和研究（Liu，EH人，2023年），包括收益電話會議（Crilly，2017年）、股東信函（Fanelli等人，2008年）、CEO致其他高級管理人員的信函（Kaplan，2015年）、內(nèi)部社交媒體帖子（Leonardi，2018年）和電子郵件（Reyt和Wiesenfeld，2014年）CEO及多個受眾（Porter和Nohria，2018年，Sadun等人，2022年）CEO（例如，Heavey2020）。例如，對于外部溝通，這包括制定年度股東信函——這是一項需要戰(zhàn)略洞察和良好結(jié)構(gòu)敘事的關(guān)鍵任務(wù)（Amernic和Craig，2007年）。同樣，對于內(nèi)部溝通，制定和傳達(dá)愿景和使命宣言需要協(xié)作努力（例如，F(xiàn)itzsimmons等人，2022年）。因此，為了加強(qiáng)組織的戰(zhàn)略，CEO們AI生成的CEO生成式AI，尤其是LLM，也有潛力幫助CEO進(jìn)行溝通。生成式AI提供可以創(chuàng)建新數(shù)據(jù)（包括（Murphy，2023年）。訓(xùn)練后，它們可以從這個分布中抽取數(shù)據(jù)來創(chuàng)建與原始數(shù)據(jù)相似但不相同的新數(shù)據(jù)。生成式AI的一個顯著類別是LLM，它生成文本作為輸出。這種能力使LLM能夠執(zhí)行依賴于自然語言的廣泛任務(wù)。最近的研究記錄了LLM的不同組織用例。例如，在客戶互動中，LLM用于預(yù)篩選銷售電話（Jia等人，2024年）、作為客戶聊天機(jī)?人（Gnewuch等人，2023年）以及為人類代理提供通話反饋（Brynjolfsson等人，2023年，Tong等人，2021年）。在組織內(nèi)部的互動中，它們促進(jìn)了地理上分散的團(tuán)隊之間的溝通（Zhang等人，2024年）。此外，LLM被集成到獨(dú)立工作中，例如用于起草建議（Dell’Acqua等人）2024,Otisetal.2024),ideageneration(Boussiouxetal.2024,DoshiandHauser2024),ordecisionmaking(Doshietal.2024).GenerativeAIandLLMshaveseveralappealingcharacteristicsthatmaybeusefulinCEOcommunication.First,oncetrained,theycanproducecontentatlowcost(Musser2023)comparedtoCEOs,whoincurhighcostoftimeandpotentiallycognitiveeffortforgeneratingcommunication.Second,LLMscanproducecontentatscaleandhavetheabilitytotailormessagestospecificcontexts(Matzetal.2024),whichmaybenefitCEOsseekingtoreachabroadaudience(e.g.,Heaveyetal.2020).Third,LLMscancreateandmaintaindifferentpersonas(e.g.,Tsengetal.2024),enablingthemtomimictheCEO’stoneandvoice.SincetheCEOistheleaderoftheorganization,audiencesdesireauthenticityintheircommunication(Gardneretal.2011).ReceptionofAI-generatedCEOTheuseofgenerativeAIinCEOcommunicationcouldhoweverchangehowanaudienceperceivesandevaluatesthecommunication.EvenifAI-generatedcommunicationcanmimicthatoftheCEO,theaudiencemayperceiveitdifferently.First,ingeneral,peoplemaypreferreceivingcommunicationfromahumanCEOthanfromanAI,basedontheliteratureonalgorithmaversion.Second,specificallyinthecontextofCEOcommunication,itmattersthatthesenderisnotonlyahuman(versusAI)butalsoaspecificindividual(namelytheCEO).Thus,wesuggestthatpeoplejudgemessagesdifferentlydependingonwhethertheyperceivethesourcetobetheCEOorAIfortwomainreasons.First,theliteratureonalgorithmaversion,whichisdefinedas“biasedassessmentofanalgorithmwhichmanifestsinnegativebehaviorsandattitudestowardsthealgorithmcomparedtoahumanagent”(Jussupowetal.2020:4),suggeststhatpeopleprefertorelyonotherhumansthanonAI.Forexample,Dietvorstetal.(2015)documentthatinthecaseofapredictiontask,humansexhibitaversiontowardsalgorithmicpredictionandprefertodependonhumanpredictioninstead.Otherstudiesalsoreportevidenceofalgorithmaversion(e.g.,AllenandChoudhury2022,Casteloetal.2019,Dietvorstetal.2018,Liu,Metal.2023,Tongetal.2021,butseealsoDargniesetal.2024,Loggetal.2019).Onereasonisthatpeoplemayperceivealgorithmstobelesscapableand

年年生成式AI和LLM具有一些吸引人的特性，這些特性可能對CEO的溝通有所幫助。首先，一旦訓(xùn)練完成，它們可以以低廉的成本（與CEO相比）生成內(nèi)容（Musser2023），CEO在生成溝通內(nèi)容時需要投入大量的時間和潛在的認(rèn)知努力。其次，LLM可以大規(guī)模地生成內(nèi)容，并具有根據(jù)特定情境定制信息的能力（Matz等人，2024年），這可能有助于尋求觸及廣泛受眾的CEO（例如，Heavey等人，2020年）。第三，LLM可以創(chuàng)建并維護(hù)不同的角色（例如，曾等人，2024年），從而能夠模仿CEO的語氣和聲音。由于CEO是組織的領(lǐng)導(dǎo)者，因此受眾希望他們的溝通具有真實(shí)性（Gardner等人，2011年）。AI生成CEO然而，在CEO溝通中使用生成式AI可能會改變受眾對溝通的感知和評估方式。即使AI生成的溝通可以模仿CEO的溝通，受眾也可能有不同的感知。首先，根據(jù)算法厭惡的文獻(xiàn)，人們可能更愿意從人類CEO那里而不是從AI那里接收溝通。例如，Dietvorst等人（2015年）記錄了了算法厭惡的證據(jù)（例如，Allen和Choudhury2022年，Castelo等人，2019年，Dietvorst等人，2018年，Liu等人，2023年，Tong等人，2021年，但也可以參見Dargnies等人，2024年，Logg等人，2019年）。一個原因是人們可能認(rèn)為算法的能力不如人類。因此，我們認(rèn)為人們根據(jù)他們是否認(rèn)為信息來源是CEO還是AI而以不同的方式判斷信息，主要原因有兩個。首先，關(guān)于算法厭惡的文獻(xiàn)，算法厭惡被定義為“對算法的偏見評估，表現(xiàn)為與人類代理相比對算法的負(fù)面行為和態(tài)度”（Jussupow等人，2020年：4），表明人們更愿意依賴人類而不是AI。例如，Dietvorst等人（2015年）記錄了在預(yù)測任務(wù)的情況下，人類Allen和Choudhury2022年，Castelo等人，2019年，Dietvorst等人，2018年，Liu等人，2023Tong2021Dargnies2024Logg2019）。knowledgeablethanahuman(Burtonetal.2020,Luoetal.2019,Reichetal.2021).AsappliedtoCEOcommunication,aCEOisperceivedasknowledgeableabouttheissuespertainingtothefirm(Finkelsteinetal.2009),whichdoesnotnecessarilyholdforanAI.Therefore,peoplemayperceivetheAI-generatedcontenttobeinferiorandlesshelpfulthanthatbeingproducedbytheCEO.Second,theCEOisnotjustanyindividualbuttheleaderoftheorganization.Theircommunicationisinfluentialnotonlyforitscontentbutalsobecauseofwhoconveysit.Asaresult,messagescomingfromaCEOarereceiveddifferentlythanthosefromanyothersource.ThepositionoftheCEOlendscredibility,legitimacy,andsymbolismtothecommunication(HambrickandLovelace2018,Men2012,Suchman1995).Acrediblesourceisasourcethattheaudienceperceivesashavingtheabilityandwillingnesstoproducecorrectcontent(HovlandandWeiss1951,Pornpitakpan2006).ThecredibilityofaCEO’scommunicationispartlybasedontheirabilitytofulfillthepromisesmadeintheirmessages,suchascommittingtoastrategythattheorganizationwilladopt.Legitimacyis“ageneralizedperceptionorassumptionthattheactionsofanentityaredesirable,proper,orappropriatewithinsomesociallyconstructedsystemofnorms,values,beliefs,anddefinitions”(Suchman1995,574).ThelegitimacyofaCEO’scommunicationislargelyderivedfromtheirposition,whichinherentlycarriesasenseofauthorityandappropriateness(Finkelsteinetal.2009).Finally,aCEO’scommunicationmayholdsymbolicsignificance,meaningthatamessageconveysinformationbeyonditsliteralcontent(HambrickandLovelace2018).Communicationthatishighoncredibility,legitimacy,andsymbolismisperceivedasmoreusefulandpersuasive(Bolsenetal.2019,HambrickandLovelace2018,Pornpitakpan2006,Tyler2006).TotheextentthatAI-generatedcommunicationhaslesscredibility,legitimacy,orsymbolism,weexpectthatitwillbeconsideredlesshelpfulthancommunicationattributedtotheCEO.Figure1summarizestherelationshipsweinvestigate.First,weassesstheextenttowhichrecipientscanidentifythesourceofcommunication,whetheritisfromaCEOoranAI(relationship1:fromTrueAItoPerceivedAI).Second,weinvestigatewhetherperceptionsaboutacommunication’ssourceaffectitsperceivedhelpfulness(relationship2:fromPerceivedAItoPerceivedhelpfulness),while

知識水平高于人類（Burton等人2020年，Luo等人2019年，Reich等人2021年）。將此應(yīng)用于CEO溝通，CEO被認(rèn)為對公司的相關(guān)問題有深入了解（Finkelstein等人2009年），而AI則不一定具備這種能力。因此，人們可能會認(rèn)為AI生成的內(nèi)容不如CEO生成的內(nèi)容，且其次，CEO不僅僅是任何個人，而是組織的領(lǐng)導(dǎo)者。他們的溝通影響力不僅體現(xiàn)在內(nèi)容上，還體現(xiàn)在溝通者是誰。因此，來自CEO的消息與來自其他來源的消息接收方式不同。CEO的職位為溝通增添了可信度、合法性和象征意義（Hambrick和Lovelace2018年，Men2012年，Suchman1995年）。一個可信的來源是受眾認(rèn)為有能力且愿意產(chǎn)生正確內(nèi)容的來源（Hovland和Weiss1951年，Pornpitakpan2006年）。CEO履行承諾的能力，例如承諾組織將采用的戰(zhàn)略。合法性是一種“對實(shí)體行為在社會構(gòu)建的規(guī)范、價值觀、信仰和定義體系中的適當(dāng)性、適宜性或可取性的普遍感知或假設(shè)”（Suchman1995年，第574頁）。CEO溝通的合法性主要來源于他們的職位，這本身就帶有權(quán)威性和適宜性的感覺（Finkelstein等人2009年）。最后，CEO的溝通可能具有象征意義，這意味著一條信息傳達(dá)的信息超出了其字面內(nèi)容（Hambrick和Lovelace2018年）?？尚哦?、合法性和象征性高的溝通被認(rèn)為更有用、更有說服力（Bolsen等人2019年，Hambrick和Lovelace2018年，Pornpitakpan2006年，Tyler2006年）。在AI生成的溝通可信度、合法性和象征性較低的情況下，我們預(yù)計它將不如歸因于CEO1CEOAI（1AIAI）。其次，我們調(diào)查對溝通來源的認(rèn)知是否會影響其感知的有用性（關(guān)系2：從感知AI到感知有用性），同時accountingforpossibledifferencesbetweenCEOandAIcommunication(relationship3:fromTrueAI

考慮到CEO和AI溝通之間可能存在的差異（關(guān)系3：從真實(shí)AI到感知的有用性）Perceived

[[INSERTFIGURE1ABOUTHERE

StudyWeconductedapre-registeredfieldexperimentwithcompanyPulse(apseudonym)toassess(1)theextenttowhichemployeescandistinguishbetweenCEOandAImessages,and(2)whetheramessage’sperceivedoriginimpactsitsperceivedhelpfulness.2Pulseisatechnologycompanywithmorethan800employees.TheCEOco-foundedthecompanyandiswellknownwithinthecompany.TheCEOwasmotivatedtoengageinthisstudyfortworeasons.First,theCEOofPulse,likeotherCEOs,isshadowedbyexecutiveassistantswhooftenrespondtocommunicationonbehalfoftheCEO.TheCEOwasintriguedbytheprospectofautomatingthisprocess.Second,leadingatechnologycompany,theCEOwantedtoseeiftheLLMcouldbeatestcaseforLLMmodelsinthefuture.ThecompanycreatedtheCEObotinthreesteps.Theunderlyingprinciplewasthatforthebottobeeffective,itwouldhavetomimicboththecontentandthestyleofCEOcommunication.Inthefirststep,allavailabletextualcommunicationwrittenbytheCEOfrominternalandexternalsources(suchasemails,Slackchannels,anddocuments)wascollected.ThegoalwastobuildamappingbetweentheCEO’sstyleandthatofa“typical”manager.Forthispurpose,theCEO’stextwasmadeavailabletoanLLM,whichconvertedsentenceswrittenbytheCEOintosentencesthatmightbewrittenbyatypicalmanager.Asanexample,iftheCEOinquestionhadsomefavoritephrasesorwords(e.g.,“basically”or“thanksamillion”),themappingremovedthesephrasesandwordsandgeneratedthetextinthestyleofanaveragemanager.Inthisway,thefirststepyieldedamappingoflanguageactuallywrittenbytheCEOintolanguagethatwasrepresentativeofanaveragemanagerwritingtextinEnglish(i.e.,CEOtextto2Thepre-registrationisavailablehere:

Pulse（化名）進(jìn)行了一項預(yù)先注冊的現(xiàn)場實(shí)驗，以評估（1）CEO和AI消息的程度，以及（2）消息的感知來源是否會影響其感知的有用性。Pulse是一家擁有800多名員工的技術(shù)公司。CEO共同創(chuàng)立了該公司，并在公司內(nèi)享有盛譽(yù)。Pulse的CEO參與這項研究有兩個原因。首先，Pulse的CEO和其他CEO一樣，經(jīng)常被行政CEOCEO為一家技術(shù)公司的領(lǐng)導(dǎo)者，CEO想看看LLM是否可以作為未來LLM模型的測試案例。CEOCEO的內(nèi)容和風(fēng)格。在第一步中，收集了來自內(nèi)部和外部來源（如電子郵件、Slack頻道和文檔）的將CEO的文本提供給一個LLM，該LLM將CEO撰寫的句子轉(zhuǎn)換為可能由典型經(jīng)理撰寫的句子。例如，如果某個CEO有一些喜歡的短語或詞匯（例如，“基本上”或“非常感謝”），則映射會刪除這些短語和詞匯，并生成平均經(jīng)理風(fēng)格的文本。因此，第一步產(chǎn)生了CEO實(shí)際撰寫的語言到代表英語中平均經(jīng)理撰寫文本的語言的映射（即CEO文本到plaintext).Thisstepwascriticaltocreatethe“rephraser,”whichmapstextintheoppositedirection(i.e.,translatingplainEnglishtexttotextthattheCEOcouldplausiblywrite),inthethirdstep(explainedbelow).Inthesecondstep,allavailablecompanydocuments(e.g.,Slackdata,emails,andcompanyreports)weremadeavailabletoadifferentLLM,suchthatitcouldanswerquestionspertainingtothepoliciesandfuturedirectionsofthecompany.Itisimportanttonotethatthe