Tiết lộ chi tiết về Smart Script và Math Notes trên iPadOS 18 của Apple trong cuộc phỏng vấn mới

Math Notes và Smart Script là hai tính năng ấn tượng nhất được bao gồm trong iPadOS 18 năm nay. Trong một cuộc phỏng vấn mới với Chris Lawley, Apple đã cung cấp thêm thông tin về cách các tính năng này hoạt động với sự sâu rộng vào một số công nghệ đằng sau chúng.

Làm mới, Math Notes là một tính năng mới trong iPadOS 18 cho phép bạn gõ hoặc viết các biểu thức toán học và xem chúng được giải ngay lập tức bằng chính viết tay của bạn.

Trong cuộc phỏng vấn, ông Ty Jordan của Apple, quản lý sản phẩm trải nghiệm hệ thống, mở rộng về Math Notes và lý do tại sao Apple cuối cùng quyết định mang ứng dụng Calculator đến iPad với iPadOS 18:

Chúng tôi suy nghĩ rất sâu khi đưa những trải nghiệm như thế này lên iPad vì cách mà những trải nghiệm đó có thể được thiết kế cho các khả năng đặc biệt của iPad và các phụ kiện độc đáo như Apple Pencil.

Chúng tôi có thể chỉ mang một máy tính cơ bản hoặc máy tính khoa học đến iPad, nhưng thay vào đó, chúng tôi đã dành thời gian để tái tưởng tượng cách bạn có thể làm toán học với Math Notes và Calculator. Nó hoạt động như phép màu.

Nó kết hợp việc nhập mà tự nhiên của bút viết với các mô hình học máy trên thiết bị tuyệt vời mà Jenny Chen, quản lý môi trường kỹ thuật của Apple cho các trải nghiệm nhập, và nhóm của cô ấy đã làm và sức mạnh của Apple Silicon. Vì vậy, bạn chỉ cần viết toán như trên một tờ giấy và như phép màu, nó chỉ đưa ra câu trả lời.

Jenny Chen, quản lý kỹ thuật của Apple cho các trải nghiệm nhập, chia sẻ thêm chi tiết về cách bạn có thể chèn một biểu đồ cho dữ liệu của mình chỉ bằng một lần chạm với Math Notes:

Một trong những điều tuyệt vời là làm thế nào chúng tôi có thể nhận ra rằng phương trình này có thể được đồ thị hóa chẳng hạn? Vì vậy, nếu chúng tôi có hai biến không xác định, trước hết, chúng tôi sử dụng bộ nhận dạng tuyệt vời dưới cốt lõi để hỏi, “Liệu chúng ta có thể đồ thị hóa được không?”

Và với biểu đồ, nó thực sự dựa trên tất cả các năm nỗ lực mà chúng tôi đã làm cho API biểu đồ của Swift và những gì mà nó cung cấp. Điều tuyệt vời là chúng ta cả cải thiện nó, nhưng cũng sử dụng nó trong các sản phẩm của chúng ta. Và vì vậy, một số thứ vui vẻ đã xuất phát từ đó là các hiệu ứng đồ họa mà khiến nó trở nên mượt mà và lịch lãm.

Khả năng chuyển từ từ theo đồ thị để bạn có thể nhìn thấy giá trị khi giá trị thay đổi theo trục X.

Trong khi đó, Smart Script trong iPadOS 18 là một tính năng mới nhằm cải thiện việc viết tay khi bạn ghi chú. Tính năng này làm mềm và làm thẳng văn bản viết tay của bạn khi bạn đang viết với Apple Pencil. Nó cũng cho phép bạn chỉnh sửa văn bản viết tay cũng dễ dàng như bạn chỉnh sửa văn bản đã gõ.

Jordan giải thích cách Smart Script hiểu thêm về bạn:

Smart Script là một mô hình học máy trên thiết bị học liên tục, nhưng cũng hoạt động rất nhanh chóng. Vì vậy, thậm chí nếu bạn bắt đầu với một iPad mới hoàn toàn sản phẩm, khi bạn bắt đầu viết từ, chúng tôi sẽ tinh chỉnh chúng. Chúng tôi biết làm thế nào để làm cho bạn gọn gàng hơn.

Chúng tôi cũng sẽ có kiểm tra chính tả ngay lập tức vì chúng tôi có thể thấy những gì bạn viết, như Jenny đã nói, hiểu nó, và chúng tôi có thể đề xuất những gợi ý cho bạn.

Có một số tính năng như “dán làm viết tay” mà càng ngày càng tốt hơn khi bạn viết nhiều hơn. Vì vậy, để điều chỉnh phong cách viết tay của bạn thực sự chỉ mất khoảng một đến hai đoạn văn của phong cách đó. Nhưng nó sẽ liên tục học và rất ngữ cảnh.

Vì vậy, nếu ví dụ, nếu bạn đi đến một đoạn văn trước đó mà bạn đã viết lỗi, chúng tôi sẽ phù hợp với bản viết tay đã rõ ràng dưới đó và không cố gắng sao chép những gì bạn đã viết trong các ghi chú khác.

Hãy xem cuộc phỏng vấn đầy đủ dưới đây:

#Apple #SmartScript #MathNotes #iPadOS18 #Ứngdụngvangstay #Côngnghệ

Math Notes and Smart Script are two of the most impressive features included as part of iPadOS 18 this year. In a new interview with Chris Lawley, Apple has provided more detail on how these features work with a deep dive into some of the tech behind them.

As a refresher, Math Notes is a new feature in iPadOS 18 that lets you type or write out mathematical expressions and see them solved instantly in your own handwriting.

In the interview, Apple’s Ty Jordan, system experiences product manager, elaborated on Math Notes and why Apple finally decided to bring the Calculator app to iPad with iPadOS 18:

We think very deeply when we’re bringing these types of experiences to iPad about how those experiences can be designed for the unique capabilities of iPad and its unique accessories like Apple pencil.

We could have just brought a basic or scientific calculator to iPad, but instead we took the time to really reimagine how you could even do math with Math Notes and Calculator. It sort of works like magic.

It combines the natural input of pencil with the amazing on-device machine learning models that (Jenny Chen, Apple’s engineering manager for input experiences) and her teams work on and the power of Apple Silicon. So you just write math like on a piece of paper and like magic, it just gives you the answer.

Jenny Chen, Apple’s engineering manager for input experiences, shared more details on how you can insert a graph for your data with just a single tap with Math Notes:

One of the great things first is, how are we even able to recognize that this equation is even graphable? So if we have two variables that are not defined, first of all, we use the amazing recognition engine under the hood to be like, “Hey, can we graph this?”

And then for the charts, it actually builds on all the years of work that we’ve done for the Swift charts API and what that provides. It’s great that we’re both enhancing that, but also using it in our own products. And so some of the fun things that came out of that is the fun animations that make it feel nice and smooth and fancy.

The ability to kind of scrub along the graph so that you can see the value as the value changes along the X axis.

Meanwhile, Smart Script in iPadOS 18 is a new feature that aims to improve your handwriting when taking notes. The feature smooths and straightens your handwritten text as you’re writing with Apple Pencil. It also lets you edit handwritten text just as easily as you edit typed text.

Jordan explained how Smart Script learns more about you:

Smart Script is an on-device machine learning model that learns continuously, but also works very quickly. So you’ll actually notice, even if you start with a fresh brand new iPad, as soon as you start writing words, we’re going to refine them. We know how to make that neater for you.

We’ll also have spell check working straight away because we can see what you wrote, like Jenny said, understand it, and we can offer those suggestions for you.

There are some features like “paste as handwriting” that get better over time as you write more. So really to like dial in your handwriting style takes like one to two paragraphs of that style. But it’ll continuously learn and it’s very contextual.

So for example, if you were to go to a previous paragraph where you had some bad handwriting, we’re going to match the handwriting that was refined there and not sort of try to replicate what you’ve had in other notes.

Check out the full interview below: