Как выполнить калибровку камеры с использованием шахматной доски Charuco для OpenCV 4.10.0?

Question

Я пытаюсь выполнить калибровку камеры с использованием OpenCV, версии 4.10.0. У меня уже есть рабочая версия для обычной шахматной доски, но я не могу понять, как это работает с charuco. Я был бы благодарен за любой рабочий пример кода.

С наилучшими пожеланиями

Мариус

Что я пробовал: Я следовал этому учебнику: https://medium.com/@ed.twomey1/using-charuco-boards-in-opencv-237d8bc9e40d

Похоже, что отсутствуют важные функции, такие как: cv.aruco.interpolateCornersCharuco и cv.aruco.interpolateCornersCharuco. Даже в документации указана существующая реализация на Python, см.: https://docs.opencv.org/4.10.0/d9/d6a/group__aruco.html#gadcc5dc30c9ad33dcf839e84e8638dcd1

Я также пробовал следовать официальной документации для C++, см. https://docs.opencv.org/4.10.0/da/d13/tutorial_aruco_calibration.html

У ArucoDetector в Python нет метода detectBoard. Поэтому невозможно полностью следовать этому учебнику.

Но я предполагаю, что по намеку в документации функции, использованные в Medium, устарели? Но нигде не отмечены как «удаленные»!

Я уже получил обнаруженные маркеры:

Но затем получить объект и точки изображения не удается:

`object_points_t, image_points_t = charuco_board.matchImagePoints( marker_corners, marker_ids)`

Любая помощь или рабочий код будут весьма оценены.

P.S.: Мой вывод метода “detectMarkers” кажется действительным. Обнаруженные углы имеют тип

std::vector<std::vector<Point2f>.

(Таким образом, переведено на Python как массив массивов, содержащий 4 точки с 2 координатами каждая.) ID — это

std::vector<int>

так что в Python это список целых чисел.

Так что я полагаю, что функция python “matchImagePoints” получает то, что ей нужно!

Обнаружение маркеров, похоже, успешно. Я уже пробовал изменить массив углов: метод detectMarkers возвращает кортеж. Я использовал следующий код, чтобы создать желаемый массив формы (X, 4, 2). (X — это количество обнаруженных маркеров. Каждый имеет 4 угла с 2 координатами x и y.)

marker_corners = np.array(marker_corners)
marker_corners = np.squeeze(marker_corners)

Таким образом, у меня есть следующее:

marker_corners = [
[[8812. 5445.]
[8830. 5923.]
[8344. 5932.]
[8324. 5452.]],

[[7172. 5469.]
[7184. 5947.]
[6695. 5949.]
[6687. 5476.]],

[[3896. 5481.]
[3885. 5952.]
[3396. 5951.]
[3406. 5483.]],
...
]

marker_ids = [
[11],
[27],
[19],
...
]

Оба варианта, передача оригинального результата, который я получаю от

detector.detectMarkers

в функцию и передача моего измененного массива, терпят неудачу. (Также не использование squeeze и ввод массива (X, 1, 4, 2) не удается!)

Я больше не могу продвинуться.

Минимальный рабочий пример:

Используйте это изображение:

    import cv2 as cv
    import numpy as np

    image = cv.imread("charuco_board.png")
    im_gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)
    charuco_marker_dictionary = cv.aruco.getPredefinedDictionary(cv.aruco.DICT_6X6_250)
    charuco_board = cv.aruco.CharucoBoard(
        size=(11, 8),
        squareLength=500,
        markerLength=300,
        dictionary=charuco_marker_dictionary
    )
    params = cv.aruco.DetectorParameters()
    detector = cv.aruco.ArucoDetector(charuco_marker_dictionary, params)
    marker_corners, marker_ids, rejected_candidates = detector.detectMarkers(im_gray)
    marker_corners = np.array(marker_corners)
    marker_corners = np.squeeze(marker_corners)
    print(marker_corners, marker_ids)
    try:
        object_points_t, image_points_t = charuco_board.matchImagePoints(
            marker_corners,
            marker_ids
        )
    except cv.error as err:
        print(err)

Как выполнить калибровку камеры с использованием шахматной доски Charuco для OpenCV 4.10.0?

Вопрос или проблема

Ответ или решение

Подготовка

Пример кода для калибровки камеры с использованием Charuco-доски

Объяснение кода

Примечания