Обновить .woodpecker.yml
This commit is contained in:
189
.woodpecker.yml
189
.woodpecker.yml
@@ -1,29 +1,30 @@
|
|||||||
# .woodpecker.yml
|
# .woodpecker.yml (Исправленная структура)
|
||||||
|
|
||||||
trigger:
|
# Определяем условия запуска пайплайна
|
||||||
# Запускать каждый час (или как вам нужно)
|
when:
|
||||||
cron:
|
event: cron
|
||||||
- 'sync-hourly@0 * * * *' # Имя крона@расписание
|
# Укажите имя cron-задания, которое вы создали в настройках репозитория Woodpecker
|
||||||
|
# Если вы еще не создали cron-задание в UI Woodpecker, сделайте это.
|
||||||
|
# Дайте ему имя, например 'sync-hourly', и установите расписание '0 * * * *'
|
||||||
|
name: sync-hourly # <-- Убедитесь, что это имя совпадает с именем cron в настройках Woodpecker!
|
||||||
|
|
||||||
pipeline:
|
# Определяем шаги пайплайна
|
||||||
sync_releases:
|
steps:
|
||||||
image: alpine/git # Базовый образ с git
|
# Наш единственный шаг теперь является элементом списка под 'steps:'
|
||||||
secrets: [ GITEA_TOKEN_RELEASE, github_token ]
|
- name: sync_releases # Имя шага
|
||||||
|
image: alpine/git
|
||||||
|
secrets: [ gitea_token, github_token ] # Токены (gitea_token обязателен!)
|
||||||
environment:
|
environment:
|
||||||
# GITEA_URL теперь берется из окружения, предоставленного Woodpecker
|
# Переменные окружения для скрипта
|
||||||
# Мы просто используем ее напрямую в скрипте, если она доступна,
|
# GITEA_URL будет унаследована из окружения агента (WOODPECKER_GITEA_URL)
|
||||||
# или можно явно присвоить для ясности:
|
GITEA_TOKEN: ${GITEA_TOKEN}
|
||||||
# SCRIPT_GITEA_URL: ${WOODPECKER_GITEA_URL} # Явное присваивание для скрипта
|
GITHUB_TOKEN: ${GITHUB_TOKEN}
|
||||||
|
REPO_LIST_FILE: repos_to_sync.txt
|
||||||
# Передаем нужные секреты и имя файла
|
|
||||||
GITEA_TOKEN: ${GITEA_TOKEN_RELEASE} # Этот секрет все еще НУЖЕН!
|
|
||||||
GITHUB_TOKEN: ${GITHUB_TOKEN} # Опционально, но рекомендуется
|
|
||||||
REPO_LIST_FILE: repos_to_sync.txt # Имя файла со списком репозиториев
|
|
||||||
commands:
|
commands:
|
||||||
# 1. Установка зависимостей (curl и jq)
|
# 1. Установка зависимостей
|
||||||
- apk update && apk add curl jq bash
|
- apk update && apk add curl jq bash
|
||||||
|
|
||||||
# 2. Запуск скрипта синхронизации
|
# 2. Запуск скрипта синхронизации (сам скрипт остается без изменений)
|
||||||
- |
|
- |
|
||||||
#!/bin/bash
|
#!/bin/bash
|
||||||
set -e # Останавливаться при ошибках
|
set -e # Останавливаться при ошибках
|
||||||
@@ -33,155 +34,55 @@ pipeline:
|
|||||||
|
|
||||||
# --- Конфигурация ---
|
# --- Конфигурация ---
|
||||||
REPO_FILE="${REPO_LIST_FILE:-repos_to_sync.txt}"
|
REPO_FILE="${REPO_LIST_FILE:-repos_to_sync.txt}"
|
||||||
|
|
||||||
# Используем переменную WOODPECKER_GITEA_URL из окружения шага
|
|
||||||
# Если ее нет, скрипт завершится с ошибкой ниже
|
|
||||||
CURRENT_GITEA_URL="${WOODPECKER_GITEA_URL}"
|
CURRENT_GITEA_URL="${WOODPECKER_GITEA_URL}"
|
||||||
|
|
||||||
# Проверка наличия GITEA_URL (полученного из WOODPECKER_GITEA_URL)
|
if [ -z "$CURRENT_GITEA_URL" ]; then echo "Error: GITEA_URL (from WOODPECKER_GITEA_URL) is not set!"; exit 1; fi
|
||||||
if [ -z "$CURRENT_GITEA_URL" ]; then
|
if [ -z "$GITEA_TOKEN" ]; then echo "Error: GITEA_TOKEN secret is not set!"; exit 1; fi
|
||||||
echo "Error: GITEA_URL (from WOODPECKER_GITEA_URL) is not set in the environment!"
|
if [ ! -f "$REPO_FILE" ]; then echo "Error: Repository list file '$REPO_FILE' not found!"; exit 1; fi
|
||||||
exit 1
|
|
||||||
fi
|
|
||||||
|
|
||||||
# Проверка наличия GITEA_TOKEN (из секрета)
|
|
||||||
if [ -z "$GITEA_TOKEN" ]; then
|
|
||||||
echo "Error: GITEA_TOKEN secret is not set!"
|
|
||||||
exit 1
|
|
||||||
fi
|
|
||||||
|
|
||||||
echo "Using Gitea URL: $CURRENT_GITEA_URL"
|
echo "Using Gitea URL: $CURRENT_GITEA_URL"
|
||||||
|
|
||||||
# Заголовок авторизации для Gitea
|
|
||||||
GITEA_AUTH_HEADER="Authorization: token ${GITEA_TOKEN}"
|
GITEA_AUTH_HEADER="Authorization: token ${GITEA_TOKEN}"
|
||||||
# Убираем /api/v1 из базового URL, если он там есть, и добавляем снова
|
|
||||||
GITEA_API_URL="$(echo ${CURRENT_GITEA_URL} | sed 's|/api/v1$||; s|/*$||')/api/v1"
|
GITEA_API_URL="$(echo ${CURRENT_GITEA_URL} | sed 's|/api/v1$||; s|/*$||')/api/v1"
|
||||||
echo "Using Gitea API URL: $GITEA_API_URL"
|
echo "Using Gitea API URL: $GITEA_API_URL"
|
||||||
|
|
||||||
|
|
||||||
# Заголовок авторизации для GitHub (если токен есть)
|
|
||||||
GITHUB_AUTH_HEADER=""
|
GITHUB_AUTH_HEADER=""
|
||||||
if [ -n "$GITHUB_TOKEN" ]; then
|
if [ -n "$GITHUB_TOKEN" ]; then GITHUB_AUTH_HEADER="Authorization: token ${GITHUB_TOKEN}"; fi
|
||||||
GITHUB_AUTH_HEADER="Authorization: token ${GITHUB_TOKEN}"
|
|
||||||
fi
|
|
||||||
GITHUB_API_URL="https://api.github.com"
|
GITHUB_API_URL="https://api.github.com"
|
||||||
|
|
||||||
# --- Вспомогательные функции (без изменений) ---
|
# --- Вспомогательные функции ---
|
||||||
download_asset() {
|
download_asset() { local url="$1"; local filename="$2"; echo "Downloading asset: $filename"; curl -L -H "$GITHUB_AUTH_HEADER" -o "$filename" "$url"; return $?; }
|
||||||
local url="$1"
|
upload_asset() { local repo="$1"; local id="$2"; local file="$3"; echo "Uploading asset: $file"; UPLOAD_URL="${GITEA_API_URL}/repos/${repo}/releases/${id}/assets?name=$(basename "$file")"; curl -sf --fail -X POST -H "$GITEA_AUTH_HEADER" -H "Content-Type: application/octet-stream" --data-binary "@$file" "$UPLOAD_URL"; local status=$?; if [ $status -eq 0 ]; then rm "$file"; fi; return $status; }
|
||||||
local filename="$2"
|
|
||||||
echo "Downloading asset: $filename from $url"
|
|
||||||
curl -L -H "$GITHUB_AUTH_HEADER" -o "$filename" "$url"
|
|
||||||
if [ $? -ne 0 ]; then
|
|
||||||
echo "Error downloading asset: $filename"
|
|
||||||
return 1
|
|
||||||
fi
|
|
||||||
return 0
|
|
||||||
}
|
|
||||||
|
|
||||||
upload_asset() {
|
# --- Основной цикл ---
|
||||||
local gitea_repo_path="$1"
|
|
||||||
local release_id="$2"
|
|
||||||
local filename="$3"
|
|
||||||
echo "Uploading asset: $filename to Gitea release ID $release_id"
|
|
||||||
UPLOAD_URL="${GITEA_API_URL}/repos/${gitea_repo_path}/releases/${release_id}/assets?name=$(basename "$filename")"
|
|
||||||
curl -sf --fail -X POST -H "$GITEA_AUTH_HEADER" -H "Content-Type: application/octet-stream" --data-binary "@$filename" "$UPLOAD_URL"
|
|
||||||
if [ $? -ne 0 ]; then
|
|
||||||
echo "Error uploading asset: $filename"
|
|
||||||
return 1
|
|
||||||
else
|
|
||||||
rm "$filename"
|
|
||||||
return 0
|
|
||||||
fi
|
|
||||||
}
|
|
||||||
|
|
||||||
# --- Основной цикл по репозиториям из файла (без изменений) ---
|
|
||||||
if [ ! -f "$REPO_FILE" ]; then
|
|
||||||
echo "Error: Repository list file '$REPO_FILE' not found!"
|
|
||||||
exit 1
|
|
||||||
fi
|
|
||||||
echo "Reading repository list from $REPO_FILE"
|
echo "Reading repository list from $REPO_FILE"
|
||||||
while IFS= read -r repo_pair || [[ -n "$repo_pair" ]]; do
|
while IFS= read -r repo_pair || [[ -n "$repo_pair" ]]; do
|
||||||
if [[ -z "$repo_pair" || "$repo_pair" == \#* ]]; then continue; fi
|
if [[ -z "$repo_pair" || "$repo_pair" == \#* ]]; then continue; fi
|
||||||
if ! echo "$repo_pair" | grep -q ':'; then
|
if ! echo "$repo_pair" | grep -q ':'; then echo "Warning: Skipping invalid line: $repo_pair"; continue; fi
|
||||||
echo "Warning: Skipping invalid line in $REPO_FILE: $repo_pair"
|
|
||||||
continue
|
|
||||||
fi
|
|
||||||
|
|
||||||
GITHUB_REPO_PATH=$(echo "$repo_pair" | cut -d':' -f1)
|
GITHUB_REPO_PATH=$(echo "$repo_pair" | cut -d':' -f1); GITEA_REPO_PATH=$(echo "$repo_pair" | cut -d':' -f2)
|
||||||
GITEA_REPO_PATH=$(echo "$repo_pair" | cut -d':' -f2)
|
echo "-------------------------------------"; echo "Syncing: $GITHUB_REPO_PATH -> $GITEA_REPO_PATH"
|
||||||
|
|
||||||
echo "-------------------------------------"
|
echo "Fetching Gitea releases..."; GITEA_RELEASES_JSON=$(curl -sf --fail -H "$GITEA_AUTH_HEADER" "${GITEA_API_URL}/repos/${GITEA_REPO_PATH}/releases") || { echo "Error Gitea fetch: $GITEA_REPO_PATH"; continue; }; EXISTING_GITEA_TAGS=$(echo "$GITEA_RELEASES_JSON" | jq -r '.[].tag_name')
|
||||||
echo "Syncing releases for $GITHUB_REPO_PATH -> $GITEA_REPO_PATH"
|
echo "Fetching GitHub releases..."; GITHUB_RELEASES_JSON=$(curl -sf --fail -H "$GITHUB_AUTH_HEADER" "${GITHUB_API_URL}/repos/${GITHUB_REPO_PATH}/releases?per_page=20") || { echo "Error GitHub fetch: $GITHUB_REPO_PATH"; continue; }
|
||||||
|
|
||||||
# 1. Получаем существующие теги релизов из Gitea
|
|
||||||
echo "Fetching existing Gitea releases for $GITEA_REPO_PATH..."
|
|
||||||
GITEA_RELEASES_JSON=$(curl -sf --fail -H "$GITEA_AUTH_HEADER" "${GITEA_API_URL}/repos/${GITEA_REPO_PATH}/releases") || \
|
|
||||||
{ echo "Error fetching Gitea releases for $GITEA_REPO_PATH. Does the repo exist and token have read access?"; continue; } # Пропускаем репо при ошибке Gitea
|
|
||||||
EXISTING_GITEA_TAGS=$(echo "$GITEA_RELEASES_JSON" | jq -r '.[].tag_name')
|
|
||||||
|
|
||||||
# 2. Получаем последние релизы из GitHub
|
|
||||||
echo "Fetching latest GitHub releases for $GITHUB_REPO_PATH..."
|
|
||||||
GITHUB_RELEASES_JSON=$(curl -sf --fail -H "$GITHUB_AUTH_HEADER" "${GITHUB_API_URL}/repos/${GITHUB_REPO_PATH}/releases?per_page=20") || \
|
|
||||||
{ echo "Error fetching GitHub releases for $GITHUB_REPO_PATH, skipping this repo."; continue; }
|
|
||||||
|
|
||||||
# 3. Итерируем по релизам GitHub в ОБРАТНОМ порядке
|
|
||||||
echo "$GITHUB_RELEASES_JSON" | jq -c '.[] | select(.draft == false)' | tac | while IFS= read -r release_json; do
|
echo "$GITHUB_RELEASES_JSON" | jq -c '.[] | select(.draft == false)' | tac | while IFS= read -r release_json; do
|
||||||
TAG_NAME=$(echo "$release_json" | jq -r '.tag_name')
|
TAG_NAME=$(echo "$release_json" | jq -r '.tag_name')
|
||||||
|
if echo "$EXISTING_GITEA_TAGS" | grep -q -x -F "$TAG_NAME"; then continue; fi
|
||||||
|
|
||||||
# Проверяем, есть ли уже релиз с таким тегом в Gitea
|
echo ">>> New release: $TAG_NAME"; RELEASE_NAME=$(echo "$release_json" | jq -r '.name'); RELEASE_BODY=$(echo "$release_json" | jq -r '.body // ""'); IS_PRERELEASE=$(echo "$release_json" | jq -r '.prerelease'); ASSETS=$(echo "$release_json" | jq -c '.assets[]')
|
||||||
if echo "$EXISTING_GITEA_TAGS" | grep -q -x -F "$TAG_NAME"; then
|
|
||||||
continue
|
|
||||||
fi
|
|
||||||
|
|
||||||
echo ">>> Found new release tag in GitHub: $TAG_NAME. Processing..."
|
echo "Creating Gitea release $TAG_NAME..."; CREATE_PAYLOAD=$(jq -n --arg t "$TAG_NAME" --arg n "$RELEASE_NAME" --arg b "$RELEASE_BODY" --argjson p "$IS_PRERELEASE" '{tag_name:$t, name:$n, body:$b, prerelease:$p}'); GITEA_NEW_RELEASE_JSON=$(curl -sf --fail -X POST -H "$GITEA_AUTH_HEADER" -H "Content-Type: application/json" -d "$CREATE_PAYLOAD" "${GITEA_API_URL}/repos/${GITEA_REPO_PATH}/releases") || { echo "Error creating Gitea release $TAG_NAME (maybe tag not synced?). Skipping."; continue; }
|
||||||
RELEASE_NAME=$(echo "$release_json" | jq -r '.name')
|
GITEA_RELEASE_ID=$(echo "$GITEA_NEW_RELEASE_JSON" | jq -r '.id'); echo "Gitea release ID: $GITEA_RELEASE_ID"
|
||||||
RELEASE_BODY=$(echo "$release_json" | jq -r '.body // ""')
|
|
||||||
IS_PRERELEASE=$(echo "$release_json" | jq -r '.prerelease')
|
|
||||||
ASSETS=$(echo "$release_json" | jq -c '.assets[]')
|
|
||||||
|
|
||||||
# 4. Создаем релиз в Gitea
|
|
||||||
echo "Creating release $RELEASE_NAME (tag: $TAG_NAME) in Gitea..."
|
|
||||||
CREATE_PAYLOAD=$(jq -n --arg tag "$TAG_NAME" --arg name "$RELEASE_NAME" --arg body "$RELEASE_BODY" --argjson prerelease "$IS_PRERELEASE" \
|
|
||||||
'{tag_name: $tag, name: $name, body: $body, prerelease: $prerelease}')
|
|
||||||
|
|
||||||
GITEA_NEW_RELEASE_JSON=$(curl -sf --fail -X POST -H "$GITEA_AUTH_HEADER" -H "Content-Type: application/json" \
|
|
||||||
-d "$CREATE_PAYLOAD" \
|
|
||||||
"${GITEA_API_URL}/repos/${GITEA_REPO_PATH}/releases")
|
|
||||||
|
|
||||||
if [ $? -ne 0 ]; then
|
|
||||||
echo "Error creating release $TAG_NAME in Gitea for repo $GITEA_REPO_PATH. Check if tag exists in Gitea Git repo and token permissions. Skipping."
|
|
||||||
continue
|
|
||||||
fi
|
|
||||||
GITEA_RELEASE_ID=$(echo "$GITEA_NEW_RELEASE_JSON" | jq -r '.id')
|
|
||||||
echo "Gitea release created with ID: $GITEA_RELEASE_ID"
|
|
||||||
|
|
||||||
# 5. Скачиваем и загружаем ассеты
|
|
||||||
UPLOAD_FAILED_COUNT=0
|
UPLOAD_FAILED_COUNT=0
|
||||||
if [ -n "$ASSETS" ]; then
|
if [ -n "$ASSETS" ]; then
|
||||||
echo "$ASSETS" | while IFS= read -r asset_json; do
|
echo "$ASSETS" | while IFS= read -r asset_json; do
|
||||||
ASSET_NAME=$(echo "$asset_json" | jq -r '.name')
|
ASSET_NAME=$(echo "$asset_json" | jq -r '.name'); ASSET_URL=$(echo "$asset_json" | jq -r '.browser_download_url'); TMP_ASSET_FILE="asset_${ASSET_NAME}"
|
||||||
ASSET_URL=$(echo "$asset_json" | jq -r '.browser_download_url')
|
if download_asset "$ASSET_URL" "$TMP_ASSET_FILE"; then if ! upload_asset "$GITEA_REPO_PATH" "$GITEA_RELEASE_ID" "$TMP_ASSET_FILE"; then ((UPLOAD_FAILED_COUNT++)); fi; else echo "Download failed: $ASSET_NAME"; ((UPLOAD_FAILED_COUNT++)); fi
|
||||||
TMP_ASSET_FILE="asset_${ASSET_NAME}"
|
|
||||||
if download_asset "$ASSET_URL" "$TMP_ASSET_FILE"; then
|
|
||||||
if ! upload_asset "$GITEA_REPO_PATH" "$GITEA_RELEASE_ID" "$TMP_ASSET_FILE"; then
|
|
||||||
((UPLOAD_FAILED_COUNT++))
|
|
||||||
fi
|
|
||||||
else
|
|
||||||
echo "Skipping asset $ASSET_NAME due to download error."
|
|
||||||
((UPLOAD_FAILED_COUNT++))
|
|
||||||
fi
|
|
||||||
done
|
done
|
||||||
else
|
else echo "No assets."; fi
|
||||||
echo "No assets found for release $TAG_NAME."
|
if [ $UPLOAD_FAILED_COUNT -eq 0 ]; then echo "Release $TAG_NAME sync OK."; else echo "Release $TAG_NAME sync processed, $UPLOAD_FAILED_COUNT asset errors."; fi
|
||||||
fi
|
done
|
||||||
if [ $UPLOAD_FAILED_COUNT -eq 0 ]; then echo "Successfully processed release $TAG_NAME with all assets."; else echo "Processed release $TAG_NAME, but $UPLOAD_FAILED_COUNT asset(s) failed to download or upload."; fi
|
echo "Finished: $GITHUB_REPO_PATH -> $GITEA_REPO_PATH"; echo "-------------------------------------"
|
||||||
|
done < "$REPO_FILE"
|
||||||
done # Конец цикла по релизам GitHub
|
|
||||||
|
|
||||||
echo "Finished sync for $GITHUB_REPO_PATH -> $GITEA_REPO_PATH"
|
|
||||||
echo "-------------------------------------"
|
|
||||||
|
|
||||||
done < "$REPO_FILE" # Перенаправляем файл в цикл while
|
|
||||||
|
|
||||||
echo "Release sync finished."
|
echo "Release sync finished."
|
||||||
Reference in New Issue
Block a user