Этот бандл позволяет создать robots.txt для своего проекта на Symfony2.

Установка через Composer - менеджер php пакетов

$ composer require evheniy/robots-txt-bundle "1.*"

Или добавить в composer.json:

"evheniy/robots-txt-bundle": "1.*"

AppKernel:

public function registerBundles()
    {
        $bundles = array(
            ...
            new Evheniy\RobotsTxtBundle\RobotsTxtBundle(),
            ...
        );
        ...

config.yml:

robots_txt:
   - 'User-agent: *'

Или вместе с sitemap:

robots_txt:
   - 'User-agent: *'
   - 'Sitemap: https://test.com/sitemap.xml'

И последний шаг

app/console robots.txt:dump

Использование разных окружений (dev, prod)

Главная идея robots.txt генератора - возможность генерировать разные файлы для разного окружения. Например:

config_prod.yml:

robots_txt:
   - 'User-agent: *'
   - 'Sitemap: https://test.com/sitemap.xml'

config_dev.yml:

robots_txt:
   - 'User-agent: *'
   - 'Disallow: /'

И запустить команду для prod

app/console robots.txt:dump --env=prod

И запустить команду для dev

app/console robots.txt:dump --env=dev

Или так

app/console robots.txt:dump

Создание robots.txt

Лицензия

Этот бандл использует лицензию MIT.

Демо