Apples Ferret AI giver Siri styring over iPhone-apps

Apple vil have Siri til at forstå din skærm – og Ferret peger på hvordan

Apple arbejder fortsat på at få Siri op på niveau med de mest aktuelle AI-assistenter på smartphone—ikke bare med bedre sprogforståelse, men med evnen til at “se” apps på skærmen og handle i dem. Et nyt forskningspaper beskriver, hvordan Apple udvikler en version af deres Ferret-model, der kan køre lokalt på en iPhone.

Det er især interessant, fordi Apple igen læner sig ind i sin klassiske superkraft: on-device processing. Altså mindre server-afhængighed, mere privatliv, og hurtigere respons—men også hårdere krav til effektivitet på Neural Engine og til, hvad der realistisk kan køre i realtid på iOS.

Hvad er Ferret – og hvorfor betyder det noget for Siri?

Ferret er i praksis Apples bud på en multimodal model: en AI, der kan kombinere tekst og visuelle input (computer vision) og dermed forstå, hvad der foregår på en skærm. Den type “skærmforståelse” er forudsætningen for, at Siri ikke bare kan svare på spørgsmål, men også kan navigere i apps, trykke de rigtige steder og udføre opgaver på dine vegne.

Hvis du har fulgt We❤️Apple-dækningen af Apple Intelligence, giver det her god mening: Apple har brug for et lag, hvor Siri kan forstå kontekst på tværs af apps—uden at alt nødvendigvis sendes til skyen. Det er den slags integration, der kan gøre “smarte genveje” mindre skrøbelige end klassiske workflow-tricks.

Lokalt på iPhone: Fordele, kompromiser og Apples strategi

At køre en Ferret-lignende model lokalt på iPhone har tre åbenlyse fordele:

• Privatliv: Skærmindhold kan være det mest følsomme datapunkt overhovedet—beskeder, bank, sundhed, mail, billeder. On-device AI passer til Apples privacy-position.
• Latency: Hvis Siri skal “se” og reagere i apps, må det ikke føles som fjernstyring med forsinkelse. Real-time eller tæt på er målet.
• Tilgængelighed offline: Opgaver skal kunne køre uden stabil forbindelse, især basisfunktioner.

Ulempen er selvfølgelig regnekraft. Multimodale modeller er tunge, og der er en grund til, at konkurrenternes mest imponerende demoer ofte er cloud-first. Apple skal klemme det ned til noget, der giver mening på iPhone-hardware—typisk rettet mod nyere chips med stærk Neural Engine (tænk iPhone 15 Pro-generationen og frem) og kommende iOS-iterationer.

“Siri kan styre apps” lyder simpelt—men det er den svære del

At Siri kan genkende elementer på skærmen er kun halvdelen. Den anden halvdel er handling: at kunne udføre sikre og forudsigelige app-interaktioner. Her er Apple fanget mellem to tilgange:

• UI-baseret styring (Siri “ser” knapper og trykker): fleksibelt, men risikerer at være skrøbeligt, hvis UI ændrer sig.
• API-baseret styring (apps eksponerer handlinger): stabilt og sikkert, men kræver udvikleradoption og standardisering på iOS.

Ferret-arbejdet peger på, at Apple vil have en robust visuel forståelse som fallback—men der er gode grunde til, at Apple historisk foretrækker strukturerede integrationer. App-kontrol skal være pålidelig, ellers ender det som “Siri, gør X” → “Her er et link til noget, du ikke bad om”.

Min vurdering: Ferret er mindre “wow-demo” og mere fundament

Det mest interessante her er, at Apple ser ud til at bygge Siri-opgraderingen nedefra: først en effektiv, lokal multimodal forståelse af skærmen, derefter en mere agent-lignende Siri, der kan handle i apps. Det er ikke den slags, der nødvendigvis giver den vildeste keynote-clip på 20 sekunder—men det er den type fundament, der afgør om Siri bliver konsekvent nyttig i hverdagen.

Og ja: Apple har haft udfordringer med at få den “nye Siri” klar i praksis. Men Ferret-sporet signalerer en ret tydelig prioritet: Apple Intelligence skal ikke kun være en tekstmaskine. Den skal være en iOS-funktion, der forstår kontekst, UI og handling—på en måde, der stadig føles som Apple: hurtig, privat og relativt kontrolleret.

Hvad betyder det for dig (og dit udstyr) de næste 12-18 måneder?

Hvis Apple vil have Siri til at kunne “se” og styre apps, bliver hardware en del af historien. On-device AI skalerer ikke gratis—det skalerer med chip, RAM og termisk budget. Det kan i praksis øge forskellen mellem nye og ældre iPhones, især når iOS-funktioner kobles til Neural Engine-kapacitet.

For almindelige brugere handler det om to ting: bedre automatik og mindre friktion. For power users handler det om, hvorvidt Siri bliver et rigtigt værktøj (agent) eller stadig mest en stemmestyret søgning. Hvis du alligevel er ved at optimere din iPhone-oplevelse, er det oplagt at kigge på praktisk tilbehør som covers og iPhone-tilbehør—for ja, den “intelligente” telefon ryger stadig lige hårdt på fliser.

Vil du nørde videre i emnet, kan du følge udviklingen via vores søgning på We❤️Apple og holde øje med, hvordan Apple Intelligence udvikler sig på tværs af iOS, Siri og de næste iPhone-generationer.

Kilde: AppleInsider