Từ những ngày đầu của điện thoại thông minh với vài triệu điểm ảnh đến máy ảnh DSLR và điện thoại thông minh ngày nay với hàng chục triệu hoặc thậm chí hơn một trăm triệu điểm ảnh, việc theo đuổi không ngừng chất lượng hình ảnh hoàn hảo đã thúc đẩy những tiến bộ lặp đi lặp lại trong các thiết bị hình ảnh. Rốt cuộc, đối mặt với chính đôi mắt của chúng ta, với độ phân giải 576 triệu pixel đáng kinh ngạc của chúng, mọi thứ vẫn có vẻ kém thực tế hơn.
Sự phát triển của camera luôn dựa vào sự hỗ trợ của công nghệ ISP (Bộ xử lý tín hiệu hình ảnh). Đối với công nghệ ISP truyền thống, việc chụp cảnh đêm và cảnh dải động cao (HDR) đặc biệt là một thách thức. Các vấn đề như nhiễu, nhòe chuyển động, phơi sáng quá mức và mất thông tin ánh sáng yếu trong cảnh đêm động không chỉ không đáp ứng được nhu cầu ghi hình ngày càng tăng mà còn cản trở sự tiến bộ của các ngành như giám sát video và quản lý giao thông.
Tuy nhiên, công nghệ tiếp tục phá vỡ các rào cản, luôn vượt qua trí tưởng tượng của chúng ta. Trong khi mọi người vẫn chỉ trích những sai sót trong ISP truyền thống, sự tiến bộ nhanh chóng của AI mang lại cho chúng ta nhiều khả năng hơn. Sự xuất hiện của công nghệ AI-ISP giúp có thể chụp ảnh đủ màu sắc độ nét cao trong điều kiện ánh sáng cực yếu. Máy ảnh đang chuyển từ "nhìn" sang "nhìn rõ" và thậm chí "hiểu" các cảnh mà chúng chụp.
Kỷ nguyên của "Ánh sáng đen thực sự" đã chính thức đến với chúng ta.
"True Blacklight", trao quyền cho IoT thông minh
Hãy nói về "True Blacklight". Dựa trên các hiệu ứng tầm nhìn ban đêm khác nhau, máy ảnh có thể được phân biệt bằng nhiều tên khác nhau như ánh sáng yếu, ánh sao, siêu ánh sao và ánh sáng đen. Những thuật ngữ này không có một tiêu chuẩn thống nhất, nhưng trọng tâm là liệu máy ảnh có thể duy trì hình ảnh đủ màu trong điều kiện ánh sáng yếu hay không. Nói chung, "mức độ ánh sáng đen" có nghĩa là máy ảnh có thể hoạt động ở tốc độ 0.01lux hoặc thấp hơn.
Theo truyền thống, việc đạt được hiệu ứng ánh sáng đen liên quan đến việc sử dụng cảm biến định dạng lớn, cảm biến độ phân giải thấp với kích thước điểm ảnh lớn hơn, tăng kích thước khẩu độ hoặc giảm tốc độ khung hình video để thu được nhiều thông tin ánh sáng và màu sắc hơn vào ban đêm. Tuy nhiên, những phương pháp này thường dẫn đến độ bão hòa màu dưới 100%, hiện tượng tạo tác chuyển động và tăng chi phí do cảm biến và khẩu độ lớn hơn, không thể đáp ứng đầy đủ nhu cầu của ngành.
Nói cách khác, "bạn không thể có bánh của mình và ăn nó" trong môi trường cực kỳ tối.
Tuy nhiên, có một giải pháp với công nghệ AI-ISP mang hình ảnh đầy đủ màu sắc ánh sáng đen thực sự vào hiện thực. Máy ảnh được trang bị AI-ISP có thể phục hồi màu sắc theo thời gian thực ở mức dưới 0,01Lux mà không cần ánh sáng trắng hoặc chiếu sáng hồng ngoại. Độ bão hòa màu vẫn ở mức hoặc trên 100% và các đối tượng chuyển động xuất hiện mà không có vấn đề về đường mòn, bóng mờ hoặc phối cảnh đáng kể. Theo các chuyên gia, chỉ bằng cách đáp ứng sáu yếu tố chính sau đây thì mới có thể gọi là "True Blacklight" và thực sự giúp người dùng đạt được hiệu suất video tốt hơn trong các tình huống cực tối.
Nhờ sự đột phá của "True Blacklight", các thành phố thông minh và IoT thông minh đã mở rộng các kịch bản ứng dụng của chúng. Trong môi trường cực tối như giao lộ, núi, ao và đất nông nghiệp, độ sáng video có thể được nâng cao mà không làm giảm chất lượng hình ảnh, cho phép máy ảnh quay video màu có cấu trúc tốt, được khôi phục màu chính xác. Ngoài ra, công nghệ này đạt được hiệu ứng video toàn cảnh, cung cấp phân tích thông minh chính xác hơn ở những nơi như ao và đất nông nghiệp, nơi ánh sáng bổ sung không khả thi.
Các mô-đun chính được hỗ trợ bởi AI, được tối ưu hóa cho biên - tối đa hóa hiệu suất AI-ISP
ISP là viết tắt của Image Signal Processor, chịu trách nhiệm chuyển đổi tín hiệu từ cảm biến hình ảnh thành thông tin có thể nhận biết được cho con người và máy móc. Nó đóng một vai trò quan trọng đối với chất lượng hình ảnh. Theo cách tương tự của con người, ISP hoạt động giống như bộ não của hệ thống hình ảnh, xử lý, nâng cao và cải thiện hình ảnh thu thập được từ cảm biến ống kính để mang lại chất lượng hình ảnh trung thực hoặc thậm chí tốt hơn.
ISP truyền thống lấy đầu ra dữ liệu thô từ các cảm biến CIS và chuyển đổi nó thành dữ liệu YUV mà con người có thể đọc được theo một trình tự đường ống cụ thể. Xử lý hình ảnh trong ISP truyền thống dựa trên mô hình toán học và sự hiểu biết ngây thơ của con người về hình ảnh. Ngược lại, AI-ISP, một khái niệm công nghệ gần đây, được xây dựng dựa trên đường ống ISP truyền thống nhưng vượt qua những hạn chế của nó bằng cách sử dụng mạng nơ-ron AI. Bằng cách mô phỏng bộ não con người với các thông số phong phú hơn và thiết lập các mô hình phức tạp hơn, AI-ISP vượt qua mức trần của ISP truyền thống, đạt được chất lượng hình ảnh vượt trội.
Hiện tại, AI-ISP trao quyền cho bốn mô-đun quan trọng trong quy trình ISP — HDR, 3DNR, RLTM và Demosic — bằng cách liên tục nâng cao hiệu suất của chúng thông qua đào tạo AI. Bước đột phá này trong AI-ISP phá vỡ những hạn chế của hình ảnh ISP truyền thống.
Lý do để chọn AI trao quyền cho các mô-đun chính là sức mạnh tính toán phía biên thường bị hạn chế. Xem xét triển khai thực tế với những lo ngại về mức tiêu thụ điện năng và chi phí, việc áp dụng xử lý AI cho toàn bộ đường ống là không khả thi. Về bản chất, AI-ISP gần với sản phẩm hóa thực sự hơn, vì nó tập trung AI vào các chức năng quan trọng nhất và dễ nhận biết trực quan, tận dụng tốt nhất sức mạnh tính toán hạn chế để tối ưu hiệu suất AI-ISP.
Do đó, trong các ứng dụng thực tế, AI-ISP có thể nâng cao hiệu suất bằng cách lặp lại các mô hình trực quan, tạo điều kiện nâng cấp sản phẩm chip nhanh chóng về chất lượng hình ảnh. Điều này có nghĩa là một con chip duy nhất có thể bao phủ các kịch bản và thị trường khác nhau, giảm chi phí ứng dụng AI tổng thể và nâng cao đáng kể năng suất.
Hiện tại, chúng tôi không chỉ tiếp tục tối ưu hóa và lặp lại các thuật toán AI liên quan đến HDR, 3DNR, RLTM và Demosaic, mà còn khám phá việc trao quyền AI cho các mô-đun khác trong quy trình ISP truyền thống. Ngoài ra, để đáp ứng yêu cầu sức mạnh tính toán cao của AI-ISP, chúng tôi cũng đã độc lập phát triển NPU có độ chính xác hỗn hợp, đẩy nhanh hơn nữa hiệu quả phát triển và triển khai AI.
Về mối quan hệ giữa AI-ISP và "True Black Light", các chuyên gia chỉ ra rằng trong thời đại ánh sáng đen 0,01 lux, chỉ cần cải thiện ống kính và cảm biến không thể giải quyết được các vấn đề cơ bản. Các ISP truyền thống không thể đáp ứng nhu cầu tiến bộ công nghệ về ánh sáng đen, dẫn đến nhiều cách tiếp cận sai lầm khác nhau như giảm tốc độ khung hình và tăng ánh sáng bổ sung. Họ tin rằng một máy ảnh đủ màu ánh sáng đen thực sự đủ tiêu chuẩn sẽ đảm bảo hiệu suất thời gian thực (25-30) khung hình / giây mà không cần ánh sáng bổ sung trong các tình huống 0,01 lux, phân biệt chính xác các vật thể chuyển động và tái tạo màu sắc trung thực. Đây chính xác là ưu điểm nổi bật của AI-ISP.
Trên thực tế, chính vào năm 2020, AI-ISP chính thức gia nhập thị trường, dẫn đến sự phát triển nhanh chóng của danh mục mới "Máy ảnh Full Color True Black Light".
Như chúng ta có thể thấy, với nhu cầu ngày càng tăng về chất lượng hình ảnh cao hơn trong các tình huống khắc nghiệt như ánh sáng yếu, động lực học cao và ô nhiễm ánh sáng, AI-ISP ngày càng trở nên quan trọng trong lĩnh vực hình ảnh trực quan trí tuệ nhân tạo. Bằng cách giải quyết một cách sáng tạo các điểm khó khăn cốt lõi của ngành liên quan đến ánh sáng yếu và động lực học cao, AI-ISP đã tạo ra các danh mục sản phẩm mới như Camera Full Color True Black Light, mở ra khả năng hình ảnh mới cho mọi người. Trong tương lai, nó thậm chí có thể dẫn chúng ta vào một kỷ nguyên mới của hình ảnh.