Inside the Tech là một chuỗi blog đi kèm với chúng tôi Podcast nói chuyện công nghệ. Trong tập 20 của podcast, Hình đại diện & Tự thể hiện, Giám đốc điều hành Roblox David Baszucki đã nói chuyện với Giám đốc Kỹ thuật Cấp cao Kiran Bhat, Giám đốc Sản phẩm Cấp cao Mahesh Ramasubramanian và Giám đốc Sản phẩm Chính Effie Goenawan, về tương lai của giao tiếp phong phú thông qua hình đại diện và những thách thức kỹ thuật mà chúng tôi đang giải quyết để kích hoạt nó. Trong ấn bản Inside the Tech này, chúng tôi đã trò chuyện với Giám đốc kỹ thuật Ian Sachs để tìm hiểu thêm về một trong những thách thức kỹ thuật đó—kích hoạt biểu cảm khuôn mặt cho hình đại diện của chúng tôi—và cách nhóm Sáng tạo Avatar (thuộc nhóm Engine) đang giúp người dùng thể hiện bản thân. trên Roblox.
Những thách thức kỹ thuật lớn nhất mà nhóm của bạn đang gặp phải là gì?
Khi nghĩ về cách hình đại diện đại diện cho ai đó trên Roblox, chúng tôi thường xem xét hai điều: Hình đại diện đó hoạt động như thế nào và trông như thế nào. Vì vậy, trọng tâm chính của nhóm tôi là cho phép hình đại diện phản ánh biểu cảm của một người. Ví dụ: khi ai đó cười, hình đại diện của họ cũng mỉm cười đồng bộ với họ.
Một trong những điều khó khăn khi theo dõi nét mặt là điều chỉnh hiệu quả của mô hình để chúng tôi có thể ghi lại những biểu cảm này trực tiếp trên thiết bị của người đó trong thời gian thực. Chúng tôi cam kết làm cho nhiều người trên Roblox có thể truy cập tính năng này nhất có thể và chúng tôi cần hỗ trợ nhiều loại thiết bị. Lượng sức mạnh tính toán mà thiết bị của ai đó có thể xử lý là một yếu tố quan trọng trong đó. Chúng tôi muốn mọi người có thể thể hiện bản thân, không chỉ những người có thiết bị mạnh mẽ. Vì vậy, chúng tôi đang triển khai một trong những mô hình deep learning đầu tiên của mình để biến điều này thành hiện thực.
Thách thức kỹ thuật quan trọng thứ hai mà chúng tôi đang giải quyết là đơn giản hóa quy trình mà người sáng tạo sử dụng để phát triển hình đại diện động mà mọi người có thể cá nhân hóa. Việc tạo hình đại diện như vậy khá phức tạp vì bạn phải tạo mô hình cho phần đầu và nếu bạn muốn nó hoạt hình, bạn phải làm những việc rất cụ thể để điều chỉnh mô hình, chẳng hạn như đặt các khớp và vật nặng để tạo lớp da hòa trộn tuyến tính. Chúng tôi muốn làm cho quá trình này trở nên dễ dàng hơn đối với người sáng tạo nên chúng tôi đang phát triển công nghệ để đơn giản hóa quy trình này. Họ chỉ cần tập trung vào việc xây dựng mô hình tĩnh. Khi họ làm vậy, chúng tôi có thể tự động sắp xếp và lồng nó vào lồng. Sau đó, tính năng theo dõi khuôn mặt và mặc quần áo nhiều lớp sẽ hoạt động ngay lập tức.
Một số phương pháp tiếp cận và giải pháp đổi mới mà chúng tôi đang sử dụng để giải quyết những thách thức kỹ thuật này là gì?
Chúng tôi đã thực hiện một số điều quan trọng để đảm bảo có được thông tin phù hợp về nét mặt. Điều đó bắt đầu bằng việc sử dụng FACS (Hệ thống kiểm soát hoạt ảnh khuôn mặt) tiêu chuẩn ngành. Đây là chìa khóa của mọi thứ vì chúng là thứ chúng ta sử dụng để điều khiển nét mặt của hình đại diện—miệng rộng bao nhiêu, mắt mở bao nhiêu, v.v. Chúng ta có thể sử dụng khoảng 50 điều khiển FACS khác nhau để mô tả biểu cảm khuôn mặt mong muốn.
Khi xây dựng một thuật toán máy học để ước tính biểu cảm khuôn mặt từ hình ảnh hoặc video, bạn sẽ huấn luyện một mô hình bằng cách hiển thị cho mô hình đó những hình ảnh mẫu có biểu thức thực tế cơ bản đã biết (được mô tả bằng FACS). Bằng cách hiển thị cho mô hình nhiều hình ảnh khác nhau với các biểu cảm khác nhau, mô hình sẽ học cách ước tính biểu cảm khuôn mặt của những khuôn mặt chưa từng thấy trước đó.
Thông thường, khi bạn đang theo dõi khuôn mặt, những biểu hiện này được con người gắn nhãn và phương pháp đơn giản nhất là sử dụng các mốc—ví dụ: đặt dấu chấm trên hình ảnh để đánh dấu vị trí pixel của các đặc điểm trên khuôn mặt như khóe mắt.
Nhưng trọng lượng FACS thì khác vì bạn không thể nhìn vào một bức tranh và nói, "Miệng há ra 0.9 so với 0.5." Để giải quyết vấn đề này, chúng tôi đang sử dụng dữ liệu tổng hợp để trực tiếp tạo ra các trọng số FACS bao gồm các mô hình 3D được hiển thị với các tư thế FACS từ các góc độ và điều kiện ánh sáng khác nhau.
Thật không may, vì mô hình cần khái quát hóa khuôn mặt thật nên chúng tôi không thể chỉ đào tạo trên dữ liệu tổng hợp. Vì vậy, chúng tôi đào tạo trước mô hình về nhiệm vụ dự đoán mốc bằng cách sử dụng kết hợp dữ liệu thực và tổng hợp, cho phép mô hình tìm hiểu nhiệm vụ dự đoán FACS bằng cách sử dụng dữ liệu tổng hợp thuần túy.
Chúng tôi muốn tính năng theo dõi khuôn mặt hoạt động với tất cả mọi người nhưng một số thiết bị mạnh hơn những thiết bị khác. Điều này có nghĩa là chúng tôi cần xây dựng một hệ thống có khả năng tự thích ứng linh hoạt với sức mạnh xử lý của bất kỳ thiết bị nào. Chúng tôi đã thực hiện điều này bằng cách chia mô hình của mình thành giai đoạn dự đoán FACS gần đúng nhanh được gọi là BaseNet và giai đoạn sàng lọc FACS chính xác hơn được gọi là HiFiNet. Trong thời gian chạy, hệ thống đo lường hiệu suất của nó và trong điều kiện tối ưu, chúng tôi chạy cả hai giai đoạn mô hình. Nhưng nếu phát hiện thấy tình trạng chậm lại (ví dụ: do thiết bị cấp thấp hơn), hệ thống chỉ chạy giai đoạn đầu tiên.
Một số điều quan trọng mà bạn đã học được khi thực hiện công việc kỹ thuật này là gì?
Một là việc làm cho một tính năng hoạt động chỉ là một phần nhỏ trong những gì thực sự cần để phát hành một thứ gì đó thành công. Rất nhiều công việc nằm trong quy trình kỹ thuật và thử nghiệm đơn vị. Chúng ta cần đảm bảo rằng chúng ta có những cách tốt để xác định xem chúng ta có nguồn dữ liệu tốt hay không. Và chúng ta cần tự hỏi: "Này, mô hình mới này có thực sự tốt hơn mô hình cũ không?"
Trước khi chúng tôi bắt đầu kỹ thuật cốt lõi, tất cả các quy trình chúng tôi áp dụng để theo dõi thử nghiệm, đảm bảo tập dữ liệu của chúng tôi thể hiện sự đa dạng của người dùng, đánh giá kết quả cũng như triển khai và nhận phản hồi về những kết quả mới đó sẽ giúp mô hình trở nên đầy đủ. Nhưng đó là một phần của quá trình không được nói đến nhiều, mặc dù nó rất quan trọng.
Nhóm của bạn phù hợp nhất với giá trị Roblox nào?
Hiểu được giai đoạn của một dự án là điều quan trọng, vì vậy trong quá trình đổi mới, việc có tầm nhìn dài hạn đóng vai trò rất quan trọng, đặc biệt là trong nghiên cứu khi bạn đang cố gắng giải quyết các vấn đề quan trọng. Nhưng tôn trọng cộng đồng cũng rất quan trọng khi bạn xác định những vấn đề đáng để đổi mới vì chúng tôi muốn giải quyết những vấn đề có giá trị cao nhất cho cộng đồng rộng lớn hơn của mình. Ví dụ: chúng tôi đặc biệt chọn nghiên cứu “theo dõi khuôn mặt cho tất cả” thay vì chỉ “theo dõi khuôn mặt”. Khi bạn đạt đến mốc 90% trong việc xây dựng một thứ gì đó, việc chuyển một nguyên mẫu thành một tính năng chức năng sẽ phụ thuộc vào việc thực thi và thích ứng với giai đoạn của dự án.
Điều gì khiến bạn phấn khích nhất về nơi Roblox và nhóm của bạn đang hướng tới?
Tôi luôn hướng tới việc tạo ra các công cụ giúp mọi người sáng tạo. Tạo ra thứ gì đó thật đặc biệt bởi vì cuối cùng bạn sẽ có được thứ gì đó chỉ thuộc về mình. Tôi đã làm việc trong lĩnh vực hiệu ứng hình ảnh và trên nhiều công cụ chỉnh sửa ảnh khác nhau, sử dụng những hiểu biết sâu sắc về toán học, khoa học, nghiên cứu và kỹ thuật để trao quyền cho mọi người làm những điều thực sự thú vị. Bây giờ, tại Roblox, tôi có thể nâng điều đó lên một tầm cao mới. Roblox là một nền tảng sáng tạo, không chỉ là một công cụ. Và quy mô mà chúng tôi đạt được để xây dựng các công cụ hỗ trợ khả năng sáng tạo lớn hơn nhiều so với bất kỳ công cụ nào tôi từng làm trước đây, điều này cực kỳ thú vị.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://blog.roblox.com/2023/12/inside-tech-solving-avatar-facial-expressions/
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 20
- 3d
- 50
- 9
- 90
- a
- Có khả năng
- Giới thiệu
- có thể truy cập
- thực hiện
- chính xác
- thực sự
- thuật toán
- sắp xếp
- Tất cả
- Cho phép
- Ngoài ra
- luôn luôn
- số lượng
- an
- và
- Animate
- hình ảnh động
- bất kì
- bất cứ điều gì
- cách tiếp cận
- gần đúng
- LÀ
- xung quanh
- AS
- xin
- At
- tự động
- hình đại diện
- Hình đại diện
- Bát
- BE
- bởi vì
- trước
- Hơn
- lớn hơn
- lớn nhất
- Trộn
- Blog
- cả hai
- rộng hơn
- xây dựng
- Xây dựng
- nhưng
- by
- gọi là
- CAN
- có khả năng
- nắm bắt
- giám đốc điều hành
- thách thức
- thách thức
- chọn
- Quần áo
- kết hợp
- cam kết
- Giao tiếp
- cộng đồng
- phức tạp
- Tính
- điều kiện
- Hãy xem xét
- điều khiển
- điều khiển
- Trung tâm
- góc
- Couple
- Tạo
- tạo
- Sáng tạo
- sáng tạo
- người sáng tạo
- quan trọng
- quan trọng
- dữ liệu
- David
- sâu
- học kĩ càng
- triển khai
- mô tả
- mô tả
- mong muốn
- phát hiện
- xác định
- phát triển
- phát triển
- thiết bị
- Thiết bị (Devices)
- khác nhau
- trực tiếp
- Giám đốc
- SỰ ĐA DẠNG
- do
- làm
- Không
- làm
- thực hiện
- lái xe
- suốt trong
- năng động
- năng động
- dễ dàng hơn
- dễ nhất
- chỉnh sửa
- phiên bản
- hiệu ứng
- hiệu quả
- trao quyền
- cho phép
- cho phép
- cuối
- Động cơ
- Kỹ Sư
- đảm bảo
- đảm bảo
- tập
- đặc biệt
- ước tính
- Ether (ETH)
- đánh giá
- Ngay cả
- mọi người
- tất cả mọi thứ
- ví dụ
- bị kích thích
- thú vị
- thực hiện
- thí nghiệm
- thể hiện
- biểu hiện
- biểu thức
- Mắt
- Đối mặt
- dò tìm khuôn mặt
- khuôn mặt
- mặt
- theo dõi khuôn mặt
- yếu tố
- NHANH
- Đặc tính
- Tính năng
- thông tin phản hồi
- Tên
- lần đầu tiên
- Tập trung
- Trong
- từ
- chức năng
- tương lai
- tạo ra
- được
- nhận được
- Go
- tốt
- Mặt đất
- Nhóm
- xử lý
- Cứng
- Có
- cái đầu
- đứng đầu
- giúp đỡ
- giúp đỡ
- bản lề
- Độ đáng tin của
- HTTPS
- lớn
- Con người
- i
- xác định
- if
- hình ảnh
- hình ảnh
- nhập vai
- quan trọng
- in
- vô cùng
- thông tin
- đổi mới
- sự đổi mới
- sáng tạo
- trong
- những hiểu biết
- thú vị
- trong
- IT
- ITS
- chính nó
- chỉ
- Key
- nổi tiếng
- mốc
- lớp
- LEARN
- học
- học tập
- Cấp
- Thắp sáng
- Lượt thích
- . Các địa điểm
- dài
- Xem
- NHÌN
- Rất nhiều
- máy
- học máy
- chính
- làm cho
- Làm
- giám đốc
- nhiều
- nhiều người
- dấu
- toán học
- Vấn đề
- có nghĩa
- các biện pháp
- phương pháp
- gương
- kiểu mẫu
- mô hình
- chi tiết
- hầu hết
- miệng
- nhiều
- my
- Cần
- cần thiết
- nhu cầu
- Mới
- tại
- of
- off
- Xưa
- on
- ONE
- có thể
- mở
- tối ưu
- or
- Khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- mình
- một phần
- người
- phần trăm
- hiệu suất
- cá nhân
- giai đoạn
- hình chụp
- chỉnh sửa ảnh
- hình ảnh
- đường ống dẫn
- điểm ảnh
- Nơi
- đặt
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Podcast
- đặt ra
- có thể
- quyền lực
- mạnh mẽ
- dự đoán
- khá
- trước đây
- Hiệu trưởng
- vấn đề
- quá trình
- xử lý
- Sức mạnh xử lý
- Sản phẩm
- giám đốc sản xuất
- dự án
- dự án
- nguyên mẫu
- hoàn toàn
- đặt
- phạm vi
- hơn
- đạt
- thực
- thời gian thực
- có thật không
- phát hành
- trả lại
- đại diện cho
- nghiên cứu
- tôn trọng
- Kết quả
- giàn khoan
- ngay
- ROBLOX
- chạy
- chạy
- Sachs
- nói
- Quy mô
- Khoa học
- Thứ hai
- cao cấp
- Loạt Sách
- nên
- hiển thị
- đơn giản hóa
- đơn giản hóa
- Chậm lại
- nhỏ
- So
- chỉ duy nhất
- Giải pháp
- động SOLVE
- Giải quyết
- một số
- Một người nào đó
- một cái gì đó
- đặc biệt
- riêng
- đặc biệt
- Traineeship
- Bắt đầu
- bắt đầu
- Thành công
- như vậy
- đủ
- hỗ trợ
- chắc chắn
- đồng bộ hóa.
- sợi tổng hợp
- dữ liệu tổng hợp
- hệ thống
- giải quyết
- giải quyết
- Hãy
- mất
- dùng
- Các cuộc đàm phán
- Nhiệm vụ
- nhóm
- công nghệ cao
- Kỹ thuật
- Công nghệ
- Kiểm tra
- hơn
- việc này
- Sản phẩm
- Tương lai
- cung cấp their dịch
- Them
- tự
- sau đó
- Kia là
- họ
- điều
- nghĩ
- điều này
- những
- Tuy nhiên?
- Thông qua
- thời gian
- đến
- tấn
- công cụ
- công cụ
- đối với
- Theo dõi
- Train
- chuyển đổi
- Sự thật
- cố gắng
- hai
- thường
- Dưới
- độc đáo
- đơn vị
- sử dụng
- Người sử dụng
- sử dụng
- giá trị
- khác nhau
- rất
- Video
- Xem
- trực quan
- quan trọng
- vs
- muốn
- cách
- we
- Điều gì
- khi nào
- cái nào
- toàn bộ
- rộng
- với
- Công việc
- làm việc
- đang làm việc
- giá trị
- bạn
- trên màn hình
- zephyrnet