Существует ли токенизатор для токенизации кода на языке Swift в Python?

Содержание

Вопрос или проблема
Ответ или решение
Подход 1: Использование регулярных выражений
Подход 2: Использование парсера
Подход 3: Составление собственного токенизатора
Определение релевантных токенов
Заключение

Вопрос или проблема

import SwiftUI

struct ContentView: View {
    
    @State var moveOnPath = false
    
    var body: some View {
        
        ZStack {
            Circle()
                .stroke()
                .frame(width: 100, height: 100, alignment: .center)
            
            Circle()
                .frame(width: 15, height: 15, alignment: .center)
                .foregroundColor(.blue)
                .offset(x: -50)
                .rotationEffect(.degrees(moveOnPath ? 0 : 360))
                .animation(Animation.linear(duration: 4).repeatCount(10, autoreverses: false))
                .onAppear() {
                    moveOnPath.toggle()
                }
               
        }
        .rotation3DEffect(
            .degrees(70),
            axis: (x: 10, y: 0.5, z: 0.0))
    }
}

struct ContentView_Previews: PreviewProvider {
    static var previews: some View {
        ContentView()
    }
}

Например, у меня есть приведенный выше код, и я хотел бы токенизировать его так, чтобы были извлечены только соответствующие токены, такие как анимация, Animation.linear, длительность и т.д.

В настоящее время я использую:

vectorizer = TfidfVectorizer()
vectors = vectorizer.fit_transform(document)
feature_names = vectorizer.get_feature_names()
dense = vectors.todense()
denselist = dense.tolist()

Это использует только английский язык.

Я не думаю, что это связано с НЛП, ваш подход рассматривать этот код как текст вряд ли сработает, по моему мнению.

Первое, что нужно сделать, это правильно определить задачу. Вы сказали, что хотите, чтобы система возвращала “только соответствующие токены, такие как анимация, Animation.linear, длительность и т.д.”. Так что должно быть определено как “соответствующий токен”?

Это язык программирования, поэтому, как правило, язык конечен. Может быть, вы сможете подготовить список всех возможных соответствующих токенов? В этом случае задача сводится к простому поиску подмножества “соответствующих токенов”, содержащихся в коде. Обратите внимание, что у вас также может быть список “несоответствующих токенов”, если это удобно.
Если “соответствующий” определяется семантикой кода, задача значительно усложняется. В основном, вам нужно спроектировать задачу так, как это сделал бы человек: какие подсказки вы бы использовали, чтобы решить, является ли токен соответствующим или нет? Как представить эти подсказки в виде признаков?

Ответ или решение

Для токенизации кода на языке Swift в Python можно использовать несколько подходов, поскольку токены в программировании могут иметь различные значения в зависимости от контекста. Ваша задача заключается в извлечении определенных "релевантных" токенов, таких как animation, Animation.linear, duration и других.

Подход 1: Использование регулярных выражений

Если ваша цель — извлекать токены на основе конкретных регистровых слов и структур, вы можете воспользоваться модулем re, который позволяет применять регулярные выражения. Например, давайте создадим простой скрипт, который будет извлекать токены, содержащие ‘Animation’:

import re

swift_code = """
import SwiftUI

struct ContentView: View {

    @State var moveOnPath = false

    var body: some View {
        ZStack {
            Circle()
                .stroke()
                .frame(width: 100, height: 100, alignment: .center)

            Circle()
                .frame(width: 15, height: 15, alignment: .center)
                .foregroundColor(.blue)
                .offset(x: -50)
                .rotationEffect(.degrees(moveOnPath ? 0 : 360))
                .animation(Animation.linear(duration: 4).repeatCount(10, autoreverses: False))
                .onAppear() {
                    moveOnPath.toggle()
                }
        }
    }
}
"""

# Извлечение токенов
tokens = re.findall(r'\bAnimation\w*|\banimation\w*|\bduration\b', swift_code)
print(tokens)

Этот код найдет все упоминания Animation и duration, извлекая их из текста кода. Однако, помните, что этот подход ограничен и потребует модификации, чтобы обрабатывать реализацию полный синтаксис Swift.

Подход 2: Использование парсера

Для более точного извлечения токенов вы можете использовать библиотеки для парсинга, такие как ANTLR или libclang. Эти библиотеки позволят вам создать более сложную структуру для анализа Swift-кода.

Вот пример использования ANTLR с грамматикой Swift:

Сначала вам потребуется установить ANTLR и создать грамматику Swift.
Используйте созданную грамматику для генерации парсера.
Запустите парсер для вашего Swift-кода и извлеките необходимые токены.

Подход 3: Составление собственного токенизатора

Если ни один из вышеперечисленных подходов вас не устраивает, вы можете создать собственный токенизатор, основываясь на спецификациях языка Swift. Разработайте алгоритм, который будет разделять код на токены, основываясь на синтаксисе языка. Это может быть сложнее, но позволит вам настроить процесс токенизации под ваши конкретные нужды.

Определение релевантных токенов

При определении "релевантных" токенов важно учитывать:

Контекст: Применимость токена к вашей задаче.
Функции: Содержит ли токен функции или методы, относящиеся к вашему проекту.
Структура кода: Если токен используется в конструкциях, которые определяют поведение программы.

Заключение

Итак, вы можете воспользоваться простыми регулярными выражениями для быстрого извлечения токенов или перейти к более сложным методам с использованием парсинга для получения более точных результатов. Главное — явно определить, какие токены вы считаете "релевантными", чтобы потом корректно извлекать и обрабатывать их.