Strojové učení může poskytnout dotykové ovládání více zařízení Apple

Strojové učení by mohlo přinést dotykové ovládání základních AirPods a další

Zní to jako salonní trik. V nově uděleném patentu chce Apple, aby zařízení mohla předstírat, že mají dotykové ovládání. Zdůrazňuje, že je to pro jakékoli zařízení, ale opakovaným příkladem jsou sluchátka, kde by to mohlo znamenat ovládání hlasitosti tam, kde není žádné ovládání hlasitosti.

Patent se nazývá „Machine-Learning Based Gesture Recognition“, ale gesta jsou pouze jeho částí. Myšlenka Applu je, že zařízení, jako je nositelná sluchátka, by mohlo mít další senzory, obvykle optický nebo senzor přiblížení, ale možná teplotní senzor nebo pohybový senzor.

„Sluchátka do uší však nemusí obsahovat dotykový senzor pro detekci dotykových vstupů a/nebo dotykových gest,“ říká Apple, „s ohledem na velikost/prostorová omezení, omezení výkonu a/nebo výrobní náklady.“

Pokud nemáte dotykový senzor, dnes je to omezující. To však Apple nezastaví.

„Nicméně může být žádoucí umožnit zařízením, které neobsahují dotykové senzory, jako jsou sluchátka, aby detekovala dotykový vstup a/nebo dotyková gesta od uživatelů,“ pokračuje. „[This proposal] umožňuje zařízení, které neobsahuje dotykový senzor, detekovat dotykový vstup a/nebo dotyková gesta od uživatelů pomocí vstupů přijatých prostřednictvím jednoho nebo více nedotykových senzorů, které jsou součástí zařízení.“

Takže možná má vaše sluchátko mikrofon a mohl by zachytit zvuk, kdy klepete prstem na zařízení. Nebo má optický senzor a váš prst blokuje světlo, když jdete po zařízení hladit.

Strojové učení lze trénovat, aby reagovalo, když více senzorů zaznamená změnu

Apple velmi pečlivě zvažuje, jaké senzory by bylo možné použít – a použít je ve vzájemném spojení. „Snímače… mohou zahrnovat jeden nebo více senzorů pro detekci pohybu zařízení, biometrických informací uživatele (např. srdeční frekvence), zvuku, světla, větru a/nebo obecně jakéhokoli vstupu z prostředí,“ říká.

„Například,“ pokračuje, „snímače… mohou zahrnovat jeden nebo více akcelerometrů pro detekci zrychlení zařízení, jeden nebo více mikrofonů pro detekci zvuku a/nebo optický senzor pro detekci světla.“

Jde o to, že každý senzor sám o sobě může být chybný. Můžete se například drbat v uchu přímo u mikrofonu. Nebo je světlo blokováno, protože se opíráte o zeď.

Myšlenka Applu a důvod, proč to zahrnuje strojové učení, je ten, že jde o kombinaci senzorů, které mohou spolupracovat. „[The] vstupy detekované optickým senzorem, akcelerometrem a mikrofonem mohou jednotlivě a/nebo společně indikovat dotykový vstup,“ uvádí patent.

„Po zaškolení model strojového učení vygeneruje sadu výstupních predikcí odpovídajících předpokládaným gestům,“ pokračuje Apple. ML se tedy může naučit, že škrábání na mikrofonu samo o sobě nestačí, ale když je světlo do optického senzoru blokováno, něco se děje.

Jako vždy u patentů jsou popisy spíše o tom, jak je něco detekováno, než o tom, co se pak s informacemi udělá. V tomto případě, ačkoliv Apple říká, že poté, co jsou takové „předpovědi vygenerovány, může být na předpovědi aplikována politika, aby se určilo, zda indikovat akci, kterou má bezdrátové zvukové výstupní zařízení 104 provést.“

Pokud si tedy ML myslí, že změna, řekněme, tří senzorů, je významná, může to předat softwaru. Tento software pak může například zvýšit nebo snížit hlasitost na zařízení.

Lze kombinovat více senzorů na více zařízeních.

Zní to, jako by Apple cpal do zařízení mnoho senzorů a musel se rozhodnout, který z nich vynechat kvůli nedostatku místa. Ale pokud se ML může učit ze všech senzorů v zařízení, může se jistě učit z každého zařízení, které má uživatel.

Pokud tedy AirPod detekuje určitý zvuk, ale Apple Watch ne, pak se tento zvuk odehrává vedle sluchátka. Je tedy mnohem pravděpodobnější, že uživatel chce s AirPodem něco udělat.

Tento vynález je připisován osmi vynálezcům. Patří mezi ně Timothy S. Paek, jehož předchozí práce pro Apple zahrnovala to, že si Siri dělala poznámky, když jste na telefonu.