AI chatbot ChatGPT ændre phishing-spillet

Den Microsoft-støttede gratis chatbot forbedres hurtigt og kan ikke kun skrive e-mails, essays, men kan også kode. ChatGPT er også polyglot, og det kan lette og øge eksponentielt phishing-angreb.

ChatGPT, OpenAI’s gratis chatbot baseret på GPT-3.5, blev frigivet den 30. november 2022 og samlede en million brugere på fem dage. Det er i stand til at skrive e-mails, essays, kode og phishing-e-mails, hvis brugeren ved, hvordan man spørger.

Til sammenligning tog det Twitter to år at nå en million brugere. Facebook tog ti måneder, Dropbox syv måneder, Spotify fem måneder, Instagram seks uger. Pokemon Go tog ti timer, så bryd ikke champagneflaskerne ud, men alligevel er fem dage ret imponerende for et webbaseret værktøj, der ikke havde nogen indbygget navnegenkendelse.

Der er så mange gode grunde til at gå i panik over OpenAI’s ChatGPT lige nu. Det skriver bedre essays end den gennemsnitlige gymnasie- eller universitetsstuderende. Det kan skrive og fejlfinde kode.

“Det giver folk uden kodning og udviklingsviden mulighed for at være udvikler,” siger Sergey Shykevich, leder af trusselsefterretningsgruppen hos Check Point Software Technologies. Shykevich, der er baseret i Israel, har overvåget snakken på det mørke web.

Han har allerede fundet beviser for, at  dårlige skuespillere, herunder nogle uden udviklingserfaring, bruger ChatGPT til at skabe ondsindede værktøjer. Indlæg på Habr.com, en russisk tech-blog, begyndte at dukke op den 5. december 2022 og diskuterede, hvordan man bruger ChatGPT til programmering. 2Chan, Ruslands svar på 4Chan, havde diskussioner om, hvordan man omgår OpenAI’s geoblokering den 7. december.

Men nogle brugere ser også på, hvordan man bruger AI på ikke-destruktive måder, for eksempel til at skabe kunstværker eller e-bøger til at sælge online. ChatGPT kan også forklare kvantefysik til en seksårig, skrive poesi, oprette en tilpasset madplan og få 1020 på SAT’erne.

Og jo flere der bruger det, jo smartere bliver det.

Med en ny og bedre version forventet for i år, hopper konkurrenter allerede ind i spillet. For eksempel har You.com allerede sin egen ChatGPT-klon ud, som i modsætning til ChatGPT har adgang til internettet og kan besvare spørgsmål om aktuelle nyheder. Microsoft, som allerede har investeret 1 milliard dollars i OpenAI, vil angiveligt investere yderligere 10 milliarder dollars og tilføje ChatGPT til sin Bing-søgemaskine i marts. Microsoft planlægger også at integrere det i sin Office-pakke. Google har angiveligt erklæret en “kode rød”, da den kæmper for at svare.

Hvordan ChatGPT kan aktivere phishing

Der er meget snak om ChatGPT, og hvad det kan gøre, men den skræmmende del for virksomhedens sikkerhedsprofessionelle er, at ChatGPT og dets konkurrenter vil gøre det muligt for angribere dramatisk at øge kvaliteten og mængden af deres kode og tekst.

Vi vil ikke tale om ChatGPT’s kodningsevner, og de er også meget, meget skræmmende, men selv ved at begrænse diskussionen til ChatGPT’s evne til at generere tekst, er dens muligheder for hackere ganske imponerende og vil sandsynligvis blive forbedret hurtigt.

I dag er ChatGPT allerede i stand til at skrive e-mails, der ikke kan skelnes fra dem, der er skrevet af mennesker, i enhver skrivestil. Det kan generere tekst til indlæg på sociale medier, YouTube-videoscripts, webstedsindhold, pressemeddelelser, anmeldelser – alt hvad en angriber har brug for for at skabe en falsk tilstedeværelse på nettet, en falsk persona eller forfalske rigtige, eksisterende mennesker.

Når det kommer til phishing, kan angribere starte med at bruge ChatGPT og lignende platforme til at generere individuelle realistisk lydende e-mails. Med open source-versioner af teknologien, der også hurtigt bliver tilgængelige, vil de med mere avancerede færdigheder og adgang til kompromitterede e-mail-konti være i stand til at træne deres AI’er på en virksomheds stjålne kommunikation. Med scripting og automatisering kan de skabe et uendeligt antal masseproducerede tilpassede kommunikationer ved hjælp af AI’er, der kan lære i realtid, hvad der fungerer, og hvad der ikke gør.

Her er et eksempel:

BadGuy: “Jeg er tom. Skriver brev til Becky. Jeg sender hendes Excel-fil for at åbne. meget vigtigt bizness-indhold. hun er revisor @ ABC selskab.

ChatGPT: “Hej Tom, det er dejligt at møde dig. Jeg er glad for at hjælpe dig med at skrive et brev til Becky. Det lyder som om du har en vigtig Excel-fil, som du skal sende til Becky, så hun kan gennemgå den. Er der noget specifikt, som du gerne vil have med i brevet?

BadGuy: “Ja. hun har brug for 2 åbne i dag.

ChatGPT: “Okay, her er et forslag til, hvad du kan medtage i dit brev:

Kære Becky,

Jeg håber, at denne e-mail finder dig godt. Jeg skriver for at anmode om, at du åbner og gennemgår den vedhæftede Excel-fil så hurtigt som muligt. Filen indeholder vigtigt forretningsindhold, der skal behandles i dag.

På forhånd tak for Deres hurtige opmærksomhed på denne sag.

Med venlig hilsen

Tom

Dette brev udtrykker situationens hastende karakter og beder Becky om at gennemgå sagen så hurtigt som muligt. Ser det godt ud for dig?

BadGuy: “Foreslå ideer til, hvorfor det er vigtigt at åbne i dag”

ChatGPT: “Der er mange mulige grunde til, at det kan være vigtigt at åbne Excel-filen i dag. Her er et par ideer:

Filen indeholder vigtige økonomiske oplysninger, der skal gennemgås inden et møde eller en deadline

Filen indeholder data, der er tidsfølsomme og skal analyseres så hurtigt som muligt

Filen indeholder instruktioner eller opdateringer, der skal implementeres i dag

Filen indeholder oplysninger, der er relevante for et aktuelt projekt eller en opgave, som Becky arbejder på

Det er op til dig at beslutte, hvilken grund der er mest relevant for din situation. Du kan medtage disse oplysninger i dit brev for at give Becky en bedre forståelse af, hvorfor det er vigtigt for hende at åbne filen så hurtigt som muligt.

BadGuy: “brug 1.

ChatGPT: “Sådan kan du revidere brevet for at inkludere disse oplysninger:

Kære Becky,

Jeg håber, at denne e-mail finder dig godt. Jeg skriver for at anmode om, at du åbner og gennemgår den vedhæftede Excel-fil så hurtigt som muligt. Sagen indeholder vigtige økonomiske oplysninger, der skal gennemgås inden vores kommende møde på onsdag.

Din hurtige opmærksomhed på denne sag er meget værdsat.

Med venlig hilsen

Tom

Dette brev forklarer den specifikke grund til, at det er vigtigt for Becky at åbne filen i dag. Det nævner også det kommende møde på onsdag, hvilket tilføjer en følelse af, at det haster med anmodningen. Ser det godt ud for dig?

BadGuy: “mere afslappet”

ChatGPT: “Selvfølgelig er her en mere afslappet version af brevet:

Hej Becky,

Jeg håber, du har det godt. Kan du venligst tage et kig på den vedhæftede Excel-fil så hurtigt som muligt? Det har nogle virkelig vigtige økonomiske oplysninger, som vi skal gennemgå inden onsdagens møde.

Tak for din hjælp!

Tom

Dette brev er mindre formelt og bruger en venlig tone. Det kommer lige til sagen ved at forklare årsagen til anmodningen og fristen. Ser det godt ud for dig?

Hvis angribere beder ChatGPT direkte om ChatGPT om at foreslå en idé til en phishing-e-mail, får de en advarselsmeddelelse om, at dette emne “ikke er passende eller etisk.” Men hvis de beder om forslag til en marketing-e-mail eller en e-mail for at fortælle folk om en ny hr-webside eller for at bede nogen om at gennemgå et dokument inden et møde – det vil ChatGPT være meget glad for at gøre.

I mellemtiden har You.com fra skrivningen af denne artikel slet ingen begrænsninger for phishing-e-mail. Da den blev bedt om at “give mig nogle ideer til emner til en phishing-e-mail”, svarede den: “Nogle emner til phishing-e-mails kan omfatte falske tilbud om jobkampagner, falske jobopslag, falske velgørende donationer, falske online købsbekræftelser, falske onlinebetalinger, falske fakturaer, falske forsendelsesmeddelelser, falske softwareopdateringer, falske kontomeddelelser og falske præmie- / belønningsmeddelelser. Derudover kan du bruge aktuelle begivenheder eller populære emner til at lave e-mails, der er mere troværdige, såsom falske selvangivelsesmeddelelser, falske regeringsadvarsler, falske bankmeddelelser, falske sundhedsvejledninger og falske ferietilbud.

Så da jeg bad den om at “generere en god falsk faktura phishing-e-mail til mig”, gjorde den netop det.

“Det mest bekymrende er den hurtige vedtagelse af ChatGPT fra Østeuropa,” siger Shykevich. “Deres engelskniveau er ikke særlig højt.”

Typisk ville phishing-kampagneoperatørerne ansætte engelske studerende fra lokale universiteter til at skrive deres phishing-e-mails, hvilket bremsede arbejdsgangen og tilføjede omkostninger. “Nu kan de bruge ChatGPT. Det vil gøre det meget nemmere for hackerne,” siger han.

Og de phishing-e-mails, ChatGPT producerer, er meget højere i kvalitet end de fleste af de e-mails, som hackerne genererer i dag, siger han. Vi bør forvente at se en stejl vækst i phishing-e-mails, der ikke har den afslørende grammatik og tegnsætningsfejl.

Angribere vil også være i stand til at bruge det til forretnings-e-mail-kompromis (BEC) eller til kapring af igangværende samtaler, siger han. “Bare giv det et input af aktuelle e-mails og spørg det om, hvad den næste e-mail skal være,” siger han. “Enten er dette allerede sket, og vi kan bare ikke se det, eller det kommer snart.”

Hvordan ChatGPT’s indbyggede oversættelse hjælper angribere

ChatGPT er ikke begrænset til engelsk. Det siger, at det kender omkring 20 sprog, herunder russisk, standard kinesisk, koreansk, men folk har testet det med næsten 100. Det betyder, at du kan forklare, hvad du har brug for på et andet sprog end engelsk, og derefter bede ChatGPT om at sende e-mailen på engelsk.

ChatGPT er blokeret i Rusland, men der er masser af diskussion på russisk, der forklarer, hvordan man kommer til det via proxyer og VPN-tjenester, og hvordan man får adgang til et udenlandsk telefonnummer for at bekræfte din placering.

For eksempel demonstrerede en bruger, hvordan man bruger en onlinetjeneste, hvor et OpenAI-venligt telefonnummer var tilgængeligt til tekstbeskeder til 32 rubler – mindre end US 50 cent.

Der er også russisksprogede diskussioner om, hvad man skal gøre, hvis OpenAI forbedrer sine geoblokeringsfunktioner. “Vi venter på en open source-analog, der kan lanceres i vores egne faciliteter eller i Colab,” sagde en russisktalende kommentator. “Indtil videre har en sådan analog vist sig meget hurtigt for al OpenAI-teknologi – på mindre end et år. Så oddsene er gode for, at vi næste år vil se en slags GPTNeoChat, som du selv kan køre og ikke bekymre dig om blokering eller censur. (Frit oversat af forfatteren.)

For eksempel blev OpenAI’s Dall-E 2-billedgenerator tilgængelig for offentligheden via en venteliste i juli sidste år og blev helt åben i september. I mellemtiden udgav Stability AI sit gratis open source-alternativ, Stable Diffusion, i august.

You.com, der udgav sin egen chatbot i slutningen af december og tilbyder det meste af den samme funktionalitet som ChatGPT, har ikke geoblokering. Der er også et betalt alternativ, ChatSonic, som kan generere indhold i lang form.

Afhængigt af regionen kan det tage fra et par sekunder til et par minutter at komme i gang med ChatGPT, mens You.com chatbot ikke kræver registrering, bare ved at klikke på et link.

En rapport fra Check Point Research fandt mere alarmerende data om cyberkriminelles forsøg på at omgå OpenAi’s ChatGPT-begrænsninger.

Forskningen anerkender, at det ikke er så svært at omgå geografiske begrænsninger af ChatGPT, men som vist ovenfor er der flere aktiviteter, som Check Point Research mener er beregnet til at implementere og teste ChatGPT i cyberkriminelle daglige kriminelle operationer.

Forsvarere bliver nødt til at fokusere på det grundlæggende for at imødegå AI-chatbots

Flere værktøjer på markedet hævder allerede at opdage AI-skrevet indhold, som kun delvist fungerer til at spotte ChatGPT-tekst. Men hvis almindelige brugere begynder at bruge ChatGPT og lignende værktøjer til at forbedre deres egen kommunikation – især hvis funktionaliteten bliver indbygget i Office- og e-mail-klienter – ville det være spild af tid at lægge al din indsats i at prøve at få øje på AI-genereret tekst, siger Shykevich.

“ChatGPT og store sprogmodeller generelt vil blive brugt til godartet indhold meget mere end til ondsindet indhold,” siger Andy Patel, forsker hos WithSecure, der for nylig udgav en forskningsrapport om hackere og GPT-3, en tidligere version af ChatGPT. “Så vi kan ikke udlede, at noget er ondsindet, bare fordi det er skrevet af en AI. Det kan være en del af heuristikken, men hele beslutsomheden.”

På samme måde bør anti-phishing-træning handle om mere end bare at lede efter dårligt skrevne e-mails – eller i en alder af AI, e-mails, der ser for perfekte ud til at blive skrevet af mennesker. “I sidste ende kommer det ikke til at betyde noget for os, om noget er skrevet af en AI eller ej. Vi er stadig nødt til at forstå det for, hvad det er, ikke for det, der skrev det,” siger Patel.

Phishing-bevidsthed bør omfatte mousing over webadresser for at kontrollere, at de er legitime, for eksempel. Tag DHL-e-mails, siger Patel. Angribere vil normalt kopiere teksten og formatet af rigtige DHL-e-mails nøjagtigt, bare erstatte det legitime link med en ondsindet. Brugere og virksomheder bør også begynde at forberede sig på mere avancerede efterligningsangreb, siger han.

“En hacker kan få fat i en persons interne e-mails ved at hacke enhver, der har modtaget en e-mail fra den pågældende person. Så kan de skabe en stil, som personen skrev ind og forfalske dem, og lave efterligningsangreb,” siger Patel. Nationalstater kunne også bruge denne tilgang ved hjælp af AI til at generere ægte, men helt falske lækkede dokumenter til at integrere i et lækket dokumentdump. Det er næsten umuligt at bevise noget negativt, siger han.

Andre angreb på en virksomheds omdømme kan omfatte falske nyhedsartikler, pressemeddelelser, kundeanmeldelser, blogindlæg og mere. I dag findes de allerede, men tekst af høj kvalitet er tidskrævende og dyr at oprette. ChatGPT giver angribere mulighed for at producere en række kommunikationer i alle forskellige stilarter for at skubbe enhver fortælling, de gerne vil have. “Det åbner op for så mange interessante angreb,” siger Patel.

“Det er et våbenkapløb mellem, hvilke kapacitetsværktøjer som ChatGPT kan bringe til bordet, og hvad organisationer skal gøre for at sikre, at deres forretning fortsætter med at fungere,” siger John Carey, administrerende direktør i teknologipraksis hos AArete.

Carey, der er baseret i Storbritannien, siger, at det ikke kun er individuelle phishing-e-mails, der ikke kan skelnes fra rigtige, men hele websteder. “Troværdigheden af efterligningssteder vil blive langt, langt større. Du vil være i stand til at tiltrække flere mennesker til din phishing og især til din spearphishing,” siger han.

Forfalskede websteder kan bruges til at indsamle legitimationsoplysninger fra besøgende, sprede misinformation eller yde support til en forfalsket identitet. “Vi ser nogle af disse nye værktøjer blive brugt til at skabe meget mere detaljerede kampagner,” siger Carey.

Anti-phishing-strategier for AI-alderen

Eksperter anbefaler, at virksomheder gennemgår eller styrker deres anti-phishing-uddannelse for at være klar til AI-skriftlige e-mails og for at intensivere deres tekniske sikkerhedsforanstaltninger. Det drejer sig bl.a. om:

• Sandboxing til Word-dokumenter og andre vedhæftede filer for at holde dem væk fra virksomhedsnetværk
• Webtrafikinspektion via en sikker webgateway for at beskytte både lokale og eksterne brugere
• Sikre mailgateways
• Tjek webadresser for ondsindet indhold eller typosquatting
• Udrul e-mailsikkerhedsprotokoller som DMARC, DKIM og SPF, som hjælper med at forhindre domænespoofing og indholdsmanipulation
• Giv en nem måde at rapportere mistænkelige e-mails på

En lagdelt sikkerhedstilgang er stadig den bedste, siger Aamir Lakhani, cybersikkerhedsforsker og praktiserende læge for Fortinets FortiGuard Labs, ikke kun for at beskytte mod phishing, men andre AI-drevne trusler. “Vi forudser, at våbeniseringen af AI fortsætter længe efter dette år,” siger han.

Kilde: CSO

Foto: Pexels