Nova Patents
UA59366C2

Method and device for real-time detection, location and determination of the speed and direction of movement of an area of relative movement in a scene

Abstract

According to the present invention, a method and a device for detecting, determining location, speed, and direction of the relative movement of a television image section in real time are proposed. The proposed method provides the possibility for the space-time processing of an input video signal (S). The time-domain processing of the video signal consists in determining the variations of the intensity of each image element in the current frame and of the corresponding image element in the preceding frame, producing a binary signal (DP) indicating the presence or absence of the significant intensity change and a digital signal (CO) indicating the intensity of the said change. The space-domain processing of the video signal consists in determining, for each of the mentioned signals, the element of the image sensing array designed for scanning the image frames. The array element coordinates are used for detecting and determining the parameters of the relative movement of a television image section. For the realization of the method, a device is used that contains a time-domain signal processor (15), a memory unit (16), a space-domain signal processor (17), a time delay unit (18), a timing unit (20), and an adjusting unit (19).

Term

No projected expiry on record.

  1. Priority
  2. Filed
  3. Granted
  4. Today

14 claims: 6 independent, 8 dependent

  1. 1
    A method of real-time detecting and determining the location of the plot being carried out relative movement within the observation zone observed by using a surveillance system that has a digital video signal of the type included in the output the sequence of the corresponding frames, each of which consists of a sequence strings, each of which consists of a sequence of pixels, as well as a definition speed and oriented direction of movement, which differs in that which is to implement the output digital video signal of such a sequence operations:1. Спосіб здійснення у реальному часі виявлення и визначення місцеположення ділянки, що здійснює відносне переміщення у межах зони спостереження, за якою спостерігають за допомогою системи спостереження, що має на виході цифровий відеосигнал такого типу, що включає послідовність відповідних кадрів, кожний з яких складається з послідовності рядків, кожний з яких складається з послідовності пікселів, а також визначення швидкості й орієнтованого напряму переміщення, який відрізняється тим, що полягає у здійсненні з вихідним цифровим відеосигналом такої послідовності операцій: Smoothing processing of the mentioned output digital video signal using a digital constant whose numerical value can vary independently for each pixel of said output signal;згладжувальна обробка згаданого вихідного цифрового відеосигналу з використанням цифрової константи, чисельне значення якої може змінюватися незалежно для кожного піксела згаданого вихідного сигналу;introduction into the OP, first, the frame of the said output signal, which has undergone anti-aliasing, and, secondly, the corresponding smoothing constant this frame;введення в ЗП, по-перше, кадру згаданого вихідного сигналу, що зазнав згладжування, і, по-друге, константи згладжування, що відповідає даному кадру;Time processing, which includes for each pixel position, determining, first, the presence and, secondly, the magnitude of a significant change in the level pixel signal when moving to the current frame directly the previous smoothed and inserted in the FP frame, and the generation of two digital signals, the first of which is a binary one-bit signal with two possible values, one of which indicates the presence, and the other indicates the absence significant change in the transition between two consecutive frames, and the value said binary signal changes the value of the introduced constant in the ZΠ by reducing it, if said signal indicates a significant change, or an increase - if the signal is mentioned indicates the absence of such a change, and the reduction or increase is carried out step by step, while the second digital signal, that is, a signal characterizing the value the change is a multi-bit signal with a certain limited number of bits that quantitatively determine the magnitude of this change;and часова обробка, яка включає, для кожної піксельної позиції, визначення, по-перше, наявності і, по-друге, величини значущої зміни рівня піксельного сигналу при переході до поточного кадру від безпосередньо попереднього згладженого й введеного у ЗП кадру, і генерування двох цифрових сигналів, перший з яких є двійковим однобітовим сигналом із двома можливими значеннями, одне з яких вказує на наявність, а інше вказує на відсутність значущої зміни при переході між двома послідовними кадрами, причому значення згаданого двійкового сигналу змінює значення згаданої введеної в ЗΠ константи шляхом її зменшення, якщо згаданий сигнал вказує на наявність значущої зміни, або збільшення - якщо згаданий сигнал вказує на відсутність такої зміни, причому зменшення або збільшення здійснюють покроково, тоді як другий цифровий сигнал, тобто сигнал, що характеризує величину зміни, є багатобітовим сигналом з певною обмеженою кількістю бітів, що кількісно визначають величину даної зміни;і spatial processing, including performing such operations for Each frame of an incoming digital video signal: the distribution of pixel values ​​only for a part of the pixels of the frame that correspond to a specific observation moment (the part scanned through the matrix, over a time interval that corresponds to the frame length), first, the binary signal and, and secondly, the mentioned digital signal characterizing the magnitude of the change, by matrix, in which the number of rows and columns is insignificant compared, respectively, with the number of rows and the number of pixels per line in the video signal, for receiving characteristics of pixel values;definition in this two-dimensional a matrix form of a region in which said binary signal has a definite value a specific value, indicating the presence or absence of a meaningful change, and said digital signal characterizing the magnitude of the change is changing (or not changes) to a significant value by the pixels of the matrix, which are adjacent along a certain direction, starting from the original pixel, within the same range plot of a frame and, accordingly, at the same moment of observation;and generating signals indicating the presence and location of the land plot relative displacement, and also indicate the relative velocity in the transition from the frame to the frame, as well as the direction of the movement, if it occurs, relative to the environment, and these signals are determined by the instantaneous matrix the division of said two digital signals, a binary signal and a signal that characterizes the magnitude of the change. просторова обробка, що включає виконання таких операцій для кожного кадру вхідного цифрового відеосигналу: розподілення піксельних значень лише для частини з пікселів кадру, що відповідають певному моменту спостереження (частини, що сканується через згадану матрицю, впродовж інтервалу часу, що відповідає тривалості кадру), по-перше, згаданого двійкового сигналу і, по-друге, згаданого цифрового сигналу, що характеризує величину зміни, по матриці, в якій кількість рядків і стовпців є незначною у порівнянні, відповідно, з кількістю рядків і кількістю пікселів у рядку у відеосигналі, для отримання характеристик піксельних значень;визначення у цій двомиттєвій матричній формі такої ділянки, в якій згаданий двійковий сигнал має певне конкретне значення, вказуючи на наявність або відсутність значущої зміни, і згаданий цифровий сигнал, що характеризує величину зміни, змінюється (або не змінюється) на значущу величину по пікселах згаданої матриці, які є суміжними вздовж певного напряму, починаючи від початкового піксела, в межах тієї саме ділянки кадру і, відповідно, в той саме момент спостереження;і генерування сигналів, що вказують на наявність і місцеположення ділянки, що здійснює відносне переміщення, і також указують відносну швидкість при переході від кадру до кадру, а також напрям цього переміщення, якщо воно відбувається, відносно оточення, причому ці сигнали визначаються за згаданим миттєвим матричним розподілом згаданих двох цифрових сигналів, двійкового сигналу й сигналу, що характеризує величину зміни.
  2. 6
    Method according to any of the preceding paragraphs, which is different the fact that the mentioned constant has the form 2p, where p is a number not exceeding 16, hence - which can be expressed not more than four bits, and this constant is reduced or increased by way of subtracting or adding a unit from / to p. 6. Спосіб за будь-яким із попередніх пунктів, який відрізняється тим, що згадана константа має форму 2p, де p - число, що не перевищує 16, отже - яке може бути виражено не більш ніж чотирма бітами, причому цю константу зменшують або збільшують шляхом віднімання або додавання одиниці від/до р.
  3. 8
    Device for real-time detection of and determining the location of a site that carries out relative movement within Observation areas observed by the observation system which outputs a digital video signal of the type containing the sequence the corresponding frames, each of which consists of a sequence of rows, each of which consists of a sequence of pixels, as well as speed and orientation the direction of movement, using the method described above, and this the device receives at its input the output video signal that is different that includes:8. Пристрій для здійснення у реальному часі виявлення й визначення місцеположення ділянки, що здійснює відносне переміщення у межах зони спостереження, за якою спостерігають за допомогою системи спостереження, що має на виході цифровий відеосигнал такого типу, що містить послідовність відповідних кадрів, кожний з яких складається з послідовності рядків, кожний з яких складається з послідовності пікселів, а також визначення швидкості й орієнтованого напряму переміщення, із використанням описаного вище способу, причому цей пристрій приймає на своєму вході згаданий вихідний відеосигнал, який відрізняється тим, що включає в себе: means (15) for smoothing the said output digital video signal using a digital constant (CO), the numerical value of which may vary independently for each pixel of said output signal;засіб (15) для згладжування згаданого вихідного цифрового відеосигналу з використанням цифрової константи (СО), чисельне значення якої може змінюватися незалежно для кожного піксела згаданого вихідного сигналу;a means (16) for entering in the SP, first, a frame of the said Output signal (LI) that has undergone anti-aliasing, and, secondly, the corresponding smoothing constant (SI) this frame засіб (16) для введення в ЗП, по-перше, кадру згаданого вихідного сигналу (LI), що зазнав згладжування, і, по-друге, константи згладжування (СІ), що відповідає даному кадру, time processing unit (15) for analysis, for each pixel position in the frame of the input video signal, change over time pixel values ​​for the same pixel position when switching to the current frame from the front of the smoothed and inserted in the frame of the Z. said digital signal, and this unit includes a PL, executed from the ability to receive, store and publish information about the previous one smoothing frame, comparator (15a), designed to determine whether or not exceeds the absolute value of the difference between the pixel signal of the current pixel and the magnitude that characterizes the pixel signal in this same pixel position in a predetermined frame stored in said RF, a threshold value, by generating a binary or one-bit signal (DP) with two values, one of which indicates exceeding the threshold, and the other indicates the absence of such Excess, as well as computing device (15s), executed with the possibility determine the multiphase digital signal characterizing the change value, with a small number of bits whose value depends on the value of the value change the same pixel when moving to the current frame directly pre-smoothed and digitally inserted digital video signal;and блок часової обробки (15) для аналізування, для кожної піксельної позиції у кадрі вхідного відеосигналу, змінювання із плином часу значень піксельного сигналу для тієї саме піксельної позиції при переході до поточного кадру від безпосередньо переднього згладженого й введеного у ЗП кадру згаданого цифрового сигналу, причому цей блок включає в себе ЗП, виконаний із можливістю приймати, зберігати й видавати інформацію про відповідний попередній згладжений кадр, засіб порівняння (15а), призначений для визначення, чи не перевищує абсолютне значення різниці між піксельним сигналом поточного піксела і величиною, що характеризує піксельний сигнал у цій самій піксельній позиції у попередньому кадрі, що зберігається у згаданому ЗП, певне порогове значення, шляхом генерування двійкового, або однобітового, сигналу (DP) з двома значеннями, одне з яких вказує на перевищення порогового значення, а інше вказує на відсутність такого перевищення, а також обчислювальний засіб (15с), виконаний з можливістю визначати багатобітовий цифровий сигнал, що характеризує величину зміни, з невеликою кількістю бітів, значення якого залежить від величини зміни значення того саме піксела при переході до поточного кадру від безпосередньо попереднього згладженого і введеного в ЗП кадру цифрового відеосигналу;і a spatial processing unit (11), the input of which is fed said serial binary digital signal and a digital signal characterizing the magnitude of the change generated by the time processing unit for the pixels of a certain frame, and said spatial processing unit includes a means that characterizes the value of the pixels, which divides only the two- digit signal and signal characterizing the magnitude of the change corresponding to the same moment of time, that is, one frame, by matrix (21), in which number of rows and the number of columns is smaller than, respectively, the number of rows and the number pixels on the line in the frame of the mentioned digital video signal, and the frame scans through the matrix over the corresponding time interval frame length, localization tool to determine plot-aggregate pixels within the matrix, in which at a particular time point said binary signal has a certain specific value, and a means for determination in the matrix of a plots-pixel aggregate, in which at that instant of time the digital signal characterizing the magnitude of the change is changing for the adjacent ones pixels to a significant value, as well as a tool that is in response to the instructions from the two previous means generates the signals that determine the said plot-set of pixels, and, therefore, indicate the presence and location the area carrying out relative movement within the surveillance zone, as well at relative speed when switching from frame to frame and orientation direction movement of the area when it really moves relative to the environment. блок (11) просторової обробки, на вхід якого подаються згадані послідовні двійковий цифровий сигнал і цифровий сигнал, що характеризує величину зміни, що генеруються блоком часової обробки для пікселів певного кадру, причому згаданий блок просторової обробки включає в себе засіб, що характеризує значення пікселів, який здійснює розподілення лише двійкового сигналу й сигналу, що характеризує величину зміни, що відповідають тому саме моменту часу, тобто одному кадру, по матриці (21), в якій кількість рядків і кількість стовпців є меншими, ніж, відповідно, кількість рядків і кількість пікселів у рядку в кадрі згаданого цифрового відеосигналу, причому кадр сканується через згадану матрицю впродовж інтервалу часу, що відповідає тривалості кадру, локалізувальний засіб для визначення ділянки-сукупності пікселів в межах згаданої матриці, в якій у певний конкретний момент часу згаданий двійковий сигнал має певне конкретне значення, і засіб для визначення у згаданій матриці ділянки-сукупності пікселів, в якій у той саме момент часу цифровий сигнал, що характеризує величину зміни, змінюється для суміжних пікселів на значущу величину, а також засіб, який у відповідь на вказівки від двох попередніх засобів генерує сигнали, що визначають згадану ділянку-сукупність пікселів, і, отже, вказують на наявність і місцеположення ділянки, що здійснює відносне переміщення у межах зони спостереження, а також на відносну швидкість при переході від кадру до кадру і орієнтований напрям переміщення згаданої ділянки, коли вона дійсно переміщається відносно оточення.
  4. 11
    Device for pp. 8, 9 or 10, which is different because the said means (15s, 15d) for the anti-aliasing has an input for receiving the said digital video signal S (PI) and defines for each successive pixel the frame of the video signal Smooth signal (LO) which characterized by the fact that changes over time of the input digital video signal are reduced by using the threshold signal received on the other the input, and the constant (CO) correlated with each pixel position of the frame, the meaning of which varies consecutively in such a way that smoothing leaves unchanged, although it makes it weaker, the nature of the changes to the incoming digital a video signal, and said anti-aliasing means operates in conjunction with referred to by ZΠ (16), which serves for receiving, storing and displaying the values ​​of the smoothed signal and the mentioned Updating Constants for each plot-pixel frame combination, as well Also gives for each pixel position at least a sequence of values updated constant and binary signal values, indicating whether or not the threshold value is exceeded by the absolute value of the difference between the value of the pixel and its smoothed value;and the said block spatial processing makes the distribution of a matrix with a reduced number lines and columns of information on the outputs of said means for smoothing, and It is the sequential values ​​of the mentioned constant and the mentioned one-bit signal. 11. Пристрій за пп. 8, 9 або 10, який відрізняється тим, що згаданий засіб (15с, 15d) для згладжування має вхід для приймання згаданого цифрового відеосигналу S(PI) і визначає для кожного послідовного піксела кадру згаданого відеосигналу згладжений сигнал (LO), який характеризується тим, що зміни з плином часу вхідного цифрового відеосигналу зменшуються шляхом використання порогового сигналу, що приймається на іншому вході, і константи (СО), співвіднесеної з кожною піксельною позицією кадру, значення якої змінюється послідовно таким чином, що згладжування залишає незмінним, хоча і робить його слабкішим, характер змін вхідного цифрового відеосигналу, причому згаданий засіб для згладжування функціонує у взаємодії із згаданим ЗΠ (16), який служить для приймання, зберігання і видавання значень згладженого сигналу і згаданої константи, що оновлюються, для кожної ділянки-сукупності пікселів кадру, а також видає для кожної піксельної позиції принаймні послідовність значень оновленої константи і значень двійкового сигналу, які вказують, чи перевищується згадане порогове значення абсолютним значенням різниці між значенням піксела і його згладженим значенням;причому згаданий блок просторової обробки здійснює розподілення по матриці із зменшеною кількістю рядків і стовпців інформації з виходів згаданого засобу для згладжування, а саме послідовних значень згаданої константи і згаданого однобітового сигналу.
  5. 12
    A device according to any one of the preceding claims. 8-11, which is different the fact that said spatial processing unit (17, 18), which distributes by matrix with a reduced number of rows and columns of information from the outputs of the above a means for smoothing, namely, successive values ​​of said constant (CO) and said binary signal, includes means (17a) for detecting in said matrix distribution of a site-set of pixels, in which at the same time either the value of the binary signal corresponds to the case of exceeding the threshold the value and meaning of the constant for pixels that are adjacent along in a certain direction, differ in significant quantities, as well as for generation Output signals indicating the location of the site, as well the speed and orientation of the movement in this area, or the value The binary signal corresponds to a case where the threshold is not the value of the mentioned constant for adjacent pixels is not exceeded are different. 12. Пристрій за будь-яким із пп. 8-11, який відрізняється тим, що згаданий блок просторової обробки (17, 18), що здійснює розподілення по матриці зі зменшеною кількістю рядків і стовпців інформації з виходів згаданого засобу для згладжування, а саме - послідовних значень згаданої константи (СО) і згаданого двійкового сигналу, включає в себе засіб (17а) для виявлення у згаданому матричному розподілі ділянки-сукупності пікселів, в якій водночас або значення згаданого двійкового сигналу відповідає випадку перевищення порогового значення і значення згаданої константи для пікселів, які є суміжними вздовж певного напряму, відрізняються на значущу величину, а також для генерування вихідних сигналів, що вказують місцезнаходження згаданої ділянки, а також швидкість і орієнтований напрям переміщення у цій ділянці, або ж значення згаданого двійкового сигналу відповідає випадку, коли порогове значення не перевищено і значення згаданої константи для суміжних пікселів не відрізняються.
  6. 14
    Method of monitoring the car's driver's vigilance for Detection of possible driver falling asleep, which includes the following steps:14. Спосіб контролювання пильності водія автомобіля для виявлення можливого засинання водія, який включає такі стадії: (a) generating a video signal that is originally responsible sequential image of the driver's face, and then - continuously, in real time, sequential image of driver's eyes only;(a) генерування відеосигналу, що первісно відповідає послідовним зображенням обличчя водія, а потім - безперервно, в реальному часі, послідовним зображенням тільки очей водія;(b) processing said video signal only with respect to said eyes in order to consistently, in real time, be identified in the image Eye vertical movements of the eyelids, corresponding to the blinking, determine the speed these displacements and detect speed values ​​that do not exceed the threshold the blinking speed, which corresponds practically to the driver's state, intermediate between the state vigilance and a state of falling asleep;and (b) обробка згаданого відеосигналу лише щодо згаданих очей для того, щоб послідовно, в реальному часі, виявляти у згаданому зображенні очей вертикальні переміщення повік, що відповідає морганню, визначати швидкість цих переміщень і виявляти значення швидкості, що не перевищують порогової швидкості моргання, що практично відповідає стану водія, проміжному між станом пильнування й станом засинання;і (c) initiating a warning signal to the driver about danger, just mentioned threshold speed of blinking is exceeded. (c) ініціювання сигналу попередження, що повідомляє водія про небезпеку, тільки-но згадана порогова швидкість моргання перевищується.
Independent claims6