Compréhension approfondie des connaissances de base de Camera (2)

3. Introduction aux caméras de téléphonie mobile

Insérer la description de l'image ici

Pour le système de caméra sur les téléphones portables, en raison des limites de taille et de consommation d'énergie, il ne peut pas être comme une caméra professionnelle.il peut être facilement remplacé par une lentille plus grande et un dispositif photosensible CCD/CMOS plus grand peut être ajoutéUn module de traitement d'image plus puissant a été incorporé, de sorte que l'espace laissé pour les téléphones mobiles n'est pas très grand.Les principaux fabricants de téléphones portables utilisent encore un espace et une autonomie limités pour rendre le système de caméra comparable aux caméras professionnelles dans certains domaines.Nous allons ensuite présenter brièvement ce système de caméra de petite taille mais de grande puissance.

Comme le montre la figure, le système de caméra d'un téléphone portable peut être divisé en deux parties, l'une est le module de caméra et l'autre est le processeur d'image ISP.Le module de caméra est utilisé pour la conversion photoélectriqueLe processeur d'image est utilisé pour le traitement d'images, et le processeur d'image est utilisé pour le traitement d'images.

1Module de caméra
En raison de restrictions de taille, les modules de caméra de téléphonie mobile sont souvent fabriqués très délicats et compacts, qui comprennent principalement des lentilles, des moteurs de mise au point, des filtres et des capteurs.

Les lentilles des téléphones portables utilisent généralement une combinaison de plusieurs lentilles pour éliminer l'aberration chromatique.La plupart de leurs matériaux sont une combinaison de verre et de plastiqueLes lentilles en plastique ont un coût inférieur et conviennent aux applications bas de gamme.mais le coût est légèrement plus élevé que celui des lentilles en plastique, il est donc souvent utilisé dans certains téléphones mobiles qui poursuivent la qualité d'imagerie.

En général, plus le champ de vision est grand, plus la gamme de paysages peut être vue,mais cela peut causer de graves distorsionsLes algorithmes de correction de distorsion post-étape sont généralement utilisés pour corriger la scène.

La longueur focale F stipule que le point où convergent tous les rayons lumineux parallèles à l'axe principal de la lentille est appelé la mise au point,et la distance de la mise au point au centre de la lentille est la distance focale iciEn général, plus la distance focale est grande, plus la FOV de l'objectif est petite.

La valeur d'ouverture f est déterminée par le rapport entre la distance focale de la lentille et le diamètre de l'ouverture réelle.Les lentilles de téléphonie mobile utilisent généralement une ouverture fixe de f/2.0.

Le moteur de mise au point est ensuite utilisé principalement dans les téléphones portables.La carte mère transmet des instructions à travers le bus I2C pour conduire le moteurPour déplacer et régler l'objectif pour atteindre la mise au point ou le zoom, nous présentons ici brièvement le moteur à bobine vocale.

Le moteur à bobine vocale est appelé moteur à bobine vocale en électronique.Il est à l'intérieur d'un champ magnétique permanent et change le courant continu de la bobine dans le moteurIl contrôle la position de levage de la feuille de ressort, puis entraîne l'objectif à se déplacer vers le haut et vers le bas pour atteindre la mise au point ou le zoom.Il est devenu un élément de référence pour les téléphones mobiles..

Sur les téléphones portables, l'utilisation de moteurs à bobine vocale est généralement divisée en deux modes, l'un est le zoom et l'autre est la mise au point.

Zoom: le moteur ajuste le mouvement d'une certaine lentille dans le groupe de lentilles, modifiant ainsi la distance focale de l'ensemble de la lentille, provoquant des changements dans le champ de vision,atteignant ainsi le but de zoomer dans et hors de la scèneCette méthode est souvent appelée zoom optique. L'avantage de cette méthode de zoom est que les détails de l'image ne seront pas perdus pendant le processus de zoom. Cependant, l'inconvénient est également évident.En raison de la limitation du volumePar conséquent, les fabricants de téléphones mobiles utilisent généralement une combinaison de zoom optique et numérique. méthode pour atteindre des objectifs de zoom à grande portée.

Focalisation: le moteur de bobine vocale déplace directement toute la lentille d'avant en arrière pour faire coïncider le plan d'image de l'objet avec le plan photosensible du photorécepteur,obtenant ainsi une image claireCette méthode est le processus de mise au point. Le but est d'obtenir une image claire.

Une fois la lumière passée à travers la lentille, elle pénètre d'abord dans le composant suivant - le filtre.

Filtrage des rayons infrarouges: puisque le photorécepteur détecte une partie des rayons infrarouges invisibles, ce qui interfère avec le traitement ultérieur de l'image,un filtre est nécessaire pour filtrer cette partie des rayons infrarouges et ne laisser passer que la lumière visible.

Correction de la lumière: Après le passage de la lumière à travers la lentille, elle n'est pas entièrement parallèle et verticale au photorécepteur.Évidemment si elle n'est pas interceptée, il provoquera une certaine interférence avec le photorécepteur,Les propriétés de polarisation physique du quartz retiennent la lumière directe et réfléchissent les parties obliques pour éviter d'affecter les points photosensibles à proximité, améliorant encore l'effet d'imagerie.

Après filtration et correction par le filtre, la lumière incident a une certaine stabilité.il est nécessaire d'effectuer une conversion photoélectrique à travers le photorécepteur central du système de caméra.

Les photorécepteurs des téléphones portables comprennent principalement le CCD et le CMOS. Cependant, en raison de leur coût élevé et de leur grande taille, le CCD n'est pas très utilisé dans les téléphones portables.Le CMOS est devenu le photorécepteur principal dans ce domaineLe système CMOS des téléphones portables utilise toujours une structure à trois couches. , microlentilles/filtre/couche photosensible, la définition spécifique est la suivante:

La couche de microlentilles est principalement utilisée pour élargir la zone de réception de la lumière d'un seul pixel.

Le mode Bayer utilisé par le filtre est similaire au mode RVB. Il utilise des composants de couleur RVB pour mesurer la valeur en gris des trois canaux de chaque pixel.basé sur la règle de base que l'œil humain est plus sensible au vert, Bayer Le mode met davantage l'accent sur la composante verte, définissant ainsi les composantes vertes comme Gr et Gb respectivement pour mieux exprimer la couleur et la luminosité de l'image.

La couche photosensible est utilisée pour convertir des photons en signaux électroniques,puis les convertir en signaux numériques à travers le circuit d'amplification et le circuit de conversion analogique en électrique.

Le noyau de la couche photosensible est une diode photosensible, et chaque diode contient un amplificateur et un circuit de conversion numérique-analogique.Bien que cela accélère la lecture dans une certaine mesure, il ne peut garantir que l'effet d'amplification de chaque amplificateur est cohérent, de sorte que cette conception entraînera un bruit possible.puisque CMOS ajoute des circuits matériels supplémentaires à côté de chaque diode, il réduira inévitablement la zone photosensible, donc cette conception affectera l'effet photosensible global. Cette conception est appelée front-illuminé.Les fabricants de CMOS ont introduit une conception rétroéclairéeCette conception place des pixels photosensibles et des transistors d'électrodes métalliques des deux côtés de la feuille photosensible, ce qui augmente le cycle de travail des pixels, augmente l'efficacité de détection de la lumière,augmente le nombre de pixelsL'effet d'imagerie est grandement amélioré.

2. Processeur d'image
Le processus d'implémentation du processeur d'image sur le téléphone mobile est fondamentalement similaire à celui du système de caméra de téléphone non mobile.il comprend principalement des modules matériels tels que IFE/BPS/IPE/JPEGIls sont respectivement responsables des tâches de traitement d'images non passées.

IFE (Image Front End): La sortie de données par le capteur arrivera d'abord à l'IFE. Ce module matériel effectuera une correction de couleur, un retrait d'échantillons,et statistiques de démosaïque pour l'aperçu et le traitement des données vidéo 3A.

BPS (Bayer Processing Segment): Ce module matériel est principalement utilisé pour l'élimination des pixels morts, la mise au point de phase, le démosaique, l'échantillonnage,Le traitement HDR et le traitement hybride de Bayer pour la réduction du bruit des images photographiées.

IPE (Image Processing Engine): Ce matériel est principalement composé de NPS et de PPS, et est responsable des tâches de traitement d'image telles que la réduction du bruit matériel (MFNR, MFSR), le recadrage d'image,réduction du bruit, le traitement des couleurs et l'amélioration des détails.

JPEG: Le stockage des données photographiques est effectué par ce module matériel pour l'encodage jpeg.

Comparé aux appareils photo professionnels, le public des appareils photo pour téléphones portables ne connaît pas beaucoup de connaissances en photographie professionnelle.Mais ce groupe a une caractéristique qui est évidemment différente du public pour les caméras professionnellesIl va sans dire que les appareils photo pour téléphones portables dans leur ensemble sont célèbres pour leur compacité.mais en termes de jouabilité, les principaux fabricants de téléphones mobiles ont également pris beaucoup de peine et adopté de nombreuses stratégies pour élargir la jouabilité des caméras, parmi lesquelles le multi-shot est un exemple classique de comparaison.

Les premières caméras de téléphonie mobile avaient généralement une seule caméra arrière et étaient populaires dans le monde entier.Avec l'évolution des temps et le nombre croissant de jeunes utilisateurs, la demande de selfies est devenue plus forte, et il y a aussi eu des percées technologiques dans ce domaine. Par conséquent, les fabricants de téléphones mobiles ont profité de cette tendance et ont lancé un mode double caméra, ajoutant un module de caméra supplémentaire à l'avant du téléphone principalement pour les selfies.Ils ont aussi ajouté un algorithme de beauté au FAI.Immédiatement après, les fabricants de téléphones mobiles ont intégré plusieurs modules dans les téléphones mobiles pour répondre aux besoins de photographie de plusieurs scènes.Le prochain., nous allons brièvement présenter le système multi-caméras.

Les appareils photo des téléphones portables d'aujourd'hui utilisent souvent plusieurs modules de caméra.et systèmes à double caméra développés pour répondre à des besoins spécifiquesEn raison du développement rapide de la technologie à double caméra, de nombreuses solutions matures ont été produites.

Comme son nom l'indique, la technologie à double caméra utilise deux modules de caméra pour l'image séparément,et les traite à travers des algorithmes spécifiques pour les fusionner en une seule image pour répondre à des exigences d'imagerie spécifiquesEn général, la solution actuelle à double caméra est principalement utilisée pour obtenir un fond flou, améliorer la qualité de l'image dans des conditions de lumière sombre / scène nocturne et le zoom optique.Voici une brève introduction:

a) Le fond est flou (RGB + RGB)
Pour atteindre cet objectif, deux modules de caméra RVB sont principalement utilisés pour imager la scène en même temps. Le principe de triangulation est utilisé pour calculer la profondeur de champ de chaque point.S'appuyant sur cette série de données, le premier plan et l'arrière-plan sont séparés, puis à travers L'algorithme de flou cible le traitement du fond flou et crée finalement un effet d'imagerie de fond flou.Il convient de noter qu'en raison de la limitation du principe de triangulation, les deux modules de caméra doivent être calibrés de manière à ce que les plans d'imagerie des deux soient sur le même plan et que les pixels soient alignés.

b) Amélioration de la luminosité sombre (RGB + MONO)

Dans un environnement plus sombre, l'effet de prise de vue est souvent insatisfaisant, de sorte que les fabricants de téléphones portables utilisent un RGB et un module de caméra noir et blanc (MONO) pour améliorer l'effet d'imagerie de la lumière sombre.Le principe spécifique est que parce que le module de caméra noir et blanc Il n'y a pas de filtre Bayer, de sorte que dans des conditions de lumière sombre, plus de lumière peut être obtenue, préservant ainsi plus de détails d'image.En ce qui concerne la qualité de l'image sous lumière sombre, puisque l'imagerie des deux modules de caméra doit également être fusionnée, une opération d'étalonnage est toujours nécessaire pour que les deux modules de caméra puissent maintenir l'alignement des pixels.

c) Zoom optique (grand angle + téléobjectif)

Le zoom optique, tel qu'il a été introduit précédemment, peut atteindre l'objectif du zoom en ajustant la distance focale d'une seule lentille dans le moteur de mise au point.il est souvent impossible d'obtenir une plus grande portée de zoom à partir d'un seul module de caméraPar conséquent, les fabricants de téléphones mobiles ont proposé d'utiliser deux modules de caméra avec des focales différentes (wide-angle et téléobjectif) pour atteindre conjointement l'objectif du zoom optique.Le principe est d'utiliser le module grand angle pour présenter un large éventail de scènesPour les scènes lointaines, le commutateur de module et d'excellents algorithmes de fusion permettent des opérations de zoom relativement fluides lors de la prise de photos.

D'après l'introduction ci-dessus, nous pouvons voir qu'un système de caméra est composé d'une lentille, d'un obturateur à ouverture, d'un photorécepteur et d'un processeur d'image.moteurs de mise au pointDans le même temps, pour intégrer le système de caméra dans le téléphone mobile, certaines coupures matérielles sont inévitables.Par exemple, l'ouverture est souvent abandonnée sous forme réglable et adopte une ouverture fixe.Les photorécepteurs traditionnels des téléphones mobiles sont principalement utilisés en CMOSLe moteur de mise au point est également réduit en raison des limitations de volume.grâce au développement continu des puces de traitement d'image et à l'optimisation continue des algorithmes au cours des dernières annéesLes caméras de téléphonie mobile réduisent progressivement l'écart avec les caméras professionnelles.Les effets d'imagerie des caméras de téléphonie mobile seront complètement comparables à ceux des caméras professionnelles..