画圈搜寻现在可以帮助学生完成回家功课

「画圈搜寻」直接内建在使用者体验里,只要用简单的手势,就以搜寻在手机上看到的任何内容,而且不需要停止正在进行的操作,或切换到其他应用程式。自从在三星Unpacked发布以来,Google为画圈搜寻新增了全萤幕翻译等新功能,并且把这项功能扩大,支援更多Pixel和三星装置。

从今天开始,学生可以直接用手机和平板电脑画圈搜寻,轻松完成回家功课。当学生圈出他们遇到困难的部分时,不用离开数位资讯表或课程大纲,便能获得逐步的指引,解决许多物理和数学应用题。今年稍晚,画圈搜寻还能更进一步解决与符号公式、图表和图形等相关更复杂的问题。这些都可以透过应用Google专门针对学习进行微调的新模型系列 LearnLM 来实现。目前画圈搜寻已经在超过1亿台装置上使用,Google计划今年年底让使用者人数翻倍。

Gemini更能理解情境脉络,协助使用者完成工作

Android系统上的Gemini是一种新型助理,可以透过生成式AI来提高创造力和工作效率。这种整合到Android系统里的体验,能更准确地了解使用者萤幕画面上内容的上下文,还有正在使用的应用程式。 

不久之后,使用者就能够在使用的应用程式上叫出Gemini的附加功能,用更轻松、更多元的方式来使用Gemini。例如,把生成的图片拖放到Gmail、Google讯息和其他地方,或在YouTube影片中点击「询问有关这部影片的问题」,获取特定资讯。如果是Gemini Advanced使用者,还能够透过「询问有关这个 PDF的问题」选项快速获得答案。此功能将在未来几个月之内,向数亿台装置推出这项更新。

Gemini能更准确地了解萤幕画面上内容的上下文后做出回应。Google提供。
Gemini能更准确地了解萤幕画面上内容的上下文后做出回应。Google提供。

Gemini Nano将具备完整的多模态功能

Android是首创装置内建有基础模型的行动作业系统,今年稍晚,从Pixel开始,Gemini Nano将具备全面的多模态功能,除了处理文字输入外,手机还能理解更多与上下文相关的资讯,像是影像、声音和口说对话等。

透过 TalkBack 获得更清晰的描述内容
今年稍晚,Gemini Nano的多模态功能将整合到TalkBack功能里,帮助视障使用者获得更丰富、更清晰的影像描述。TalkBack使用者平均每天会遇到90张未标记的图片。这项更新,将会帮助弥补影像资讯不全的问题,未来无论是家人朋友传来照片中的更多细节,或是网路购物时要选择的衣服款式和剪裁,都能轻松掌握资讯。由于Gemini Nano是直接在装置上运作,因此能快速取得这些描述,而且即使没有网路时也能正常运作。

在电话中接收可疑诈骗警报
根据2023年10月的一份报告,在报告发表当下的过去12个月中,人们因为诈骗造成的损失超过1兆美元。Google也正在测试一项Gemini Nano的新功能,在通话过程中如果侦测到与诈骗有关的对话模式,就会立即发出警报。例如,如果有一个「银行代表」提出不常见的银行要求,要求用户紧急转帐、使用礼品卡付款,或是提供PIN码或密码这种个人资讯,使用者就会收到警报。这项保护可以直接在装置上进行,因此对话能够完全保密。Google预计今年稍晚与大家分享更多关于这项选用功能的资讯。 

 

Gemini测试中的新功能,如果侦测到与诈骗有关的对话模式,就会立即发出警报。Google提供。
Gemini测试中的新功能,如果侦测到与诈骗有关的对话模式,就会立即发出警报。Google提供。

Google也表示未来将会继续透过Pixel、三星和更多产品,将Google AI融入智慧型手机体验的各个层面,并稍晚会再分享Android 15和Android生态系的相关资讯。


點擊閱讀下一則新聞 點擊閱讀下一則新聞
富兰克林首波在LINE Bank上架逾50档基金 提供多元投资选择